Ho visto Claude prenotare un volo per me il mese scorso. Non tramite un’integrazione API — ma attraverso un browser. Ha aperto Google Flights, ha inserito la mia città di partenza e la mia destinazione, ha selezionato delle date, ha scorrere i risultati, ha confrontato i prezzi ed era sul punto di cliccare su “Prenota” quando si è fermato e mi ha chiesto di confermare. L’intero processo ha impiegato circa quattro minuti.
Sembrava di stare a guardare qualcuno controllare il mio computer da remoto. Perché è essenzialmente quello che stava succedendo.
Gli agenti AI per l’uso del computer — sistemi AI capaci di vedere il tuo schermo e utilizzare un mouse e una tastiera — sono la categoria di strumenti AI più ambiziosa e sovrastimata al momento. Sono contemporaneamente incredibili e terribili, a seconda di cosa chiedi loro di fare.
Come funzionano realmente
Il ciclo è semplice: cattura dello schermo → analizzare → agire → ripetere.
L’agente cattura un’immagine dello schermo attuale. Un modello di visione-linguaggio (come Claude o GPT-4o) guarda l’immagine dello schermo e identifica gli elementi dell’interfaccia utente — pulsanti, campi di testo, menu, collegamenti. Il modello decide cosa fare dopo in base all’obiettivo (“prenotare il volo più economico”) e allo stato attuale dello schermo. Esegue un’azione — clicca qui, scrive questo, scorre verso il basso. Nuova cattura dello schermo. Ripetere fino a quando il compito è completato.
Ciò che rende questo diverso dall’automazione tradizionale (Selenium, Playwright, ecc.) è che non ha bisogno di selettori preprogrammati. Guarda lo schermo come farebbe un umano e determina dove cliccare. Questo significa che funziona su qualsiasi sito web o applicazione senza codice di integrazione personalizzato.
Ciò che ho provato
Claude Computer Use è il più capace che abbia testato. Anthropic ha chiaramente pensato alla sicurezza — Claude si ferma e richiede conferma prima di qualsiasi azione potenzialmente impattante (acquisti, invii di moduli, modifiche all’account). La comprensione visiva è impressionante: identifica correttamente layout UI complessi, menu a discesa e legge persino il testo da immagini.
Lo ho usato per compilare un noioso modulo governativo. 47 campi su 6 pagine, attingendo informazioni da un PDF. Claude ha letto il PDF, ha navigato nel modulo, ha compilato ogni campo correttamente e ha completato tutto in circa 8 minuti. Ho controllato ogni campo — tutto era corretto. Manualmente, mi ci vorrebbero 45 minuti di copia e incolla estenuante.
OpenAI Operator si concentra sulla navigazione web e gestisce bene le attività comuni — prenotazioni di ristoranti, ricerche di acquisti, raccolta di ricerche. È meno tecnico di Claude Computer Use ma più curato per compiti destinati ai consumatori. Disponibile per gli abbonati a ChatGPT Pro.
Browser-Use (open source) è ciò che consiglierei se vuoi sperimentare e costruire automazioni personalizzate. È un framework Python che collega qualsiasi LLM al controllo del browser. Meno raffinato di Claude o Operator, ma completamente personalizzabile. Ho costruito alcuni flussi di scraping con questo che sarebbero stati noiosi con gli strumenti tradizionali.
Dove eccelle
Formulari e inserimento dati. Questo è il caso d’uso ideale al momento. Qualsiasi compito che comporti la lettura di informazioni da un luogo e l’inserimento in un altro — moduli assicurativi, documenti fiscali, inserimento dati CRM, report spese — gli agenti per l’uso del computer gestiscono questo bene. Sono pazienti, non si annoiano e non trascrivono male i numeri.
Flussi di lavoro inter-applicazioni. “Scarica il report del Sistema A, estrai le metriche chiave e inseriscile nel dashboard del Sistema B.” Quando il Sistema A e il Sistema B non hanno un’API e nessuna integrazione, un agente per l’uso del computer è l’unica opzione di automazione.
Raccolta di ricerche. “Visita questi 10 siti aziendali, trova le loro pagine di prezzo e compila le informazioni sui prezzi in una tabella.” L’agente esplora ogni sito, naviga verso la pagina giusta, estrae le informazioni e le organizza. Noioso per gli umani, semplice per gli agenti.
Dove si complica
È lento. Ogni azione richiede 3-10 secondi (cattura dello schermo + analisi + esecuzione). Un compito di 20 fasi richiede 1-3 minuti. Un umano che esegue lo stesso compito potrebbe impiegare 2-5 minuti — quindi i risparmi temporali non sono sempre drammatici per compiti brevi.
La navigazione complessa lo blocca. Menu a discesa multi-livello, interfacce di trascinamento e rilascio, e pagine molto dinamiche (molti pop-up e animazioni JavaScript) disturbano il modello visivo. Ho visto Claude fallire tre volte nel selezionare una data da un widget di calendario sofisticato prima che io prendessi il controllo.
I CAPTCHA esistono per un motivo. Gli agenti per l’uso del computer non possono risolvere i CAPTCHA (per progettazione — i CAPTCHA esistono per fermare le interazioni automatizzate). Se un sito web richiede una verifica CAPTCHA, l’agente rimane bloccato e ha bisogno di aiuto umano.
I costi si accumulano. Ogni cattura dello schermo viene analizzata da un modello di visione. Un compito di 50 fasi può costare da 0,50 a 2,00 $ in chiamate API. Va bene per un uso occasionale, ma è costoso se esegui centinaia di automazioni ogni giorno.
API vs. Uso del Computer: Un Quadro di Decisione
Se esiste un’API: usa l’API. Sempre. È 100 volte più veloce, 10 volte meno costosa e infinitamente più affidabile.
Se non esiste alcuna API ma il compito è ripetitivo e ben definito: costruisci un’automazione tradizionale (Selenium, Playwright) con selettori appropriati. È più veloce e più affidabile dell’uso del computer per interfacce stabili.
Se non esiste alcuna API, il compito è irregolare e l’interfaccia cambia: gli agenti per l’uso del computer sono la tua migliore opzione. È il loro punto forte — automazione ad hoc su interfacce che non hanno API e non sono abbastanza stabili per un’automazione basata su selettori.
Se il compito coinvolge un giudizio attraverso più applicazioni: gli agenti per l’uso del computer brillano qui perché gestiscono naturalmente la diversità visiva di diverse applicazioni.
Ciò che accadrà
Gli agenti per l’uso del computer diventeranno più veloci (modelli di visione più piccoli e specializzati per la comprensione dell’interfaccia utente), meno costosi (la concorrenza farà abbattere i costi di inferenza) e più affidabili (migliori dati di addestramento provenienti dall’uso reale). Tra 2-3 anni, mi aspetto che gestiscano l’80% delle attività informatiche comuni in modo affidabile.
Ma non sostituiranno le API, l’automazione tradizionale o il giudizio umano. Colmeranno le lacune tra di loro — occupandosi della lunga coda di compiti che sono troppo irregolari per l’automazione tradizionale e troppo noiosi per gli umani. Questa lunga coda è enorme, ed è per questo che gli agenti per l’uso del computer sono importanti.
🕒 Published: