Eu vi Claude reservar um voo para mim no mês passado. Não através de uma integração API — mas por meio de um navegador. Ele abriu o Google Flights, digitou minha cidade de partida e meu destino, selecionou datas, rolou pelos resultados, comparou os preços e estava prestes a clicar em “Reservar” quando parou e me pediu para confirmar. Todo o processo levou cerca de quatro minutos.
Era como se eu estivesse assistindo alguém controlar meu computador remotamente. Porque isso é basicamente o que estava acontecendo.
Os agentes de uso de computador com AI — sistemas de AI capazes de ver sua tela e usar um mouse e um teclado — são a categoria de ferramentas de AI mais ambiciosa e superestimada no momento. Eles são simultaneamente incríveis e terríveis, dependendo do que você pede para fazer.
Como eles funcionam na prática
A lógica é simples: captura de tela → analisar → agir → repetir.
O agente faz uma captura de tela da tela atual. Um modelo de visão-linguagem (como Claude ou GPT-4o) analisa a captura de tela e identifica os elementos da interface do usuário — botões, campos de texto, menus, links. O modelo decide o que fazer em seguida com base no objetivo (“reservar o voo mais barato”) e no estado atual da tela. Ele executa uma ação — clicar aqui, digitar isso, rolar para baixo. Nova captura de tela. Repetir até que a tarefa esteja completa.
O que torna isso diferente da automação tradicional (Selenium, Playwright, etc.) é que não precisa de seletores pré-programados. Ele observa a tela como um humano faria e determina o que deve ser clicado. Isso significa que ele funciona em qualquer site ou aplicativo sem código de integração personalizado.
O que eu experimentei
Claude Computer Use é o mais capaz que eu testei. A Anthropic claramente pensou na segurança — Claude para e pede confirmação antes de qualquer ação potencialmente impactante (compras, envios de formulários, alterações de conta). A compreensão visual é impressionante: ele identifica corretamente layouts UI complexos, menus suspensos e até mesmo lê texto de imagens.
Eu usei ele para preencher um formulário governamental entediante. 47 campos em 6 páginas, extraindo informações de um PDF. Claude leu o PDF, navegou pelo formulário, preencheu cada campo corretamente e terminou tudo em cerca de 8 minutos. Eu verifiquei cada campo — tudo estava correto. Manualmente, isso me levaria 45 minutos de cópia e colagem exaustivas.
OpenAI Operator se concentra na navegação na web e lida bem com tarefas comuns — reservas de restaurantes, pesquisas de compras, compilação de pesquisas. É menos técnico que Claude Computer Use, mas mais polido para tarefas direcionadas a consumidores. Disponível para assinantes do ChatGPT Pro.
Browser-Use (código aberto) é o que eu recomendaria se você quiser experimentar e construir automações personalizadas. É uma estrutura em Python que conecta qualquer LLM ao controle do navegador. Menos polido que Claude ou Operator, mas totalmente personalizável. Eu construí alguns fluxos de scraping com isso que teriam sido dolorosos com as ferramentas tradicionais.
Onde ele se destaca
Formulários e inserção de dados. Este é o caso de uso ideal no momento. Qualquer tarefa que envolva ler informações de um lugar e inseri-las em outro — formulários de seguro, documentos fiscais, inserção de dados de CRM, relatórios de despesas — os agentes de uso de computador lidam bem com isso. Eles são pacientes, não se entediam e não transcrevem os números de forma errada.
Fluxo de trabalho entre aplicações. “Baixe o relatório do Sistema A, extraia as métricas-chave e coloque-as no painel do Sistema B.” Quando o Sistema A e o Sistema B não têm API e nenhuma integração, um agente de uso de computador é a única opção de automação.
Compilação de pesquisas. “Visite estes 10 sites de empresas, encontre suas páginas de preços e compile as informações tarifárias em uma tabela.” O agente navega por cada site, vai para a página certa, extrai as informações e as organiza. Tedioso para os humanos, simples para os agentes.
Onde as coisas ficam complicadas
É lento. Cada ação leva de 3 a 10 segundos (captura de tela + análise + execução). Uma tarefa de 20 etapas leva de 1 a 3 minutos. Um humano realizando a mesma tarefa poderia levar de 2 a 5 minutos — então, as economias de tempo não são sempre dramáticas para tarefas curtas.
Navegação complexa o bloqueia. Menus suspensos de múltiplos níveis, interfaces de arrastar e soltar, e páginas altamente dinâmicas (muitos pop-ups e animações JavaScript) perturbam o modelo visual. Eu assisti Claude falhar três vezes em selecionar uma data a partir de um widget de calendário sofisticado antes que eu assumisse o controle.
Os CAPTCHA existem por uma razão. Os agentes de uso de computador não podem resolver CAPTCHAs (por design — os CAPTCHAs existem para impedir interações automatizadas). Se um site exigir uma verificação CAPTCHA, o agente fica travado e precisa de ajuda humana.
O custo se acumula. Cada captura de tela é analisada por um modelo de visão. Uma tarefa de 50 etapas pode custar entre 0,50 a 2,00 $ em chamadas de API. Isso é aceitável para uso ocasional, mas é caro se você executar centenas de automações todos os dias.
API vs. Uso de Computador: Um Quadro de Decisão
Se uma API existir: use a API. Sempre. É 100x mais rápido, 10x mais barato e infinitamente mais confiável.
Se nenhuma API existir, mas a tarefa for repetitiva e bem definida: construa uma automação tradicional (Selenium, Playwright) com seletores apropriados. É mais rápido e mais confiável do que o uso de computador para interfaces estáveis.
Se nenhuma API existir, a tarefa for irregular e a interface mudar: os agentes de uso de computador são sua melhor opção. Esse é o ponto forte deles — automação ad hoc em interfaces que não possuem API e não são estáveis o suficiente para uma automação baseada em seletores.
Se a tarefa envolver julgamento através de várias aplicações: os agentes de uso de computador se destacam aqui, pois lidam naturalmente com a diversidade visual de diferentes aplicações.
O que vem pela frente
Os agentes de uso de computador vão se tornar mais rápidos (modelos de visão menores e especializados para compreensão de interface do usuário), mais baratos (a concorrência reduzirá os custos de inferência) e mais confiáveis (melhores dados de treinamento provenientes do uso real). Em 2-3 anos, eu espero que eles gerenciem 80% das tarefas computacionais comuns de forma confiável.
Mas eles não substituirão APIs, automação tradicional ou julgamento humano. Eles preencherão as lacunas entre eles — cuidando da longa cauda de tarefas que são muito irregulares para automação tradicional e muito tediosas para humanos. Essa longa cauda é enorme, e é por isso que os agentes de uso de computador são importantes.
🕒 Published: