Ich habe letzten Monat gesehen, wie Claude einen Flug für mich gebucht hat. Nicht über eine API-Integration – über einen Browser. Es öffnete Google Flights, tippte meine Abflugstadt und das Ziel ein, wählte Daten aus, scrollte durch die Ergebnisse, verglich Preise und war kurz davor, auf „Buchen“ zu klicken, als es stoppte und mich um Bestätigung bat. Das Ganze dauerte etwa vier Minuten.
Es fühlte sich an, als würde ich jemandem dabei zusehen, wie er meinen Computer per Fernsteuerung bedient. Denn genau das passierte eigentlich.
Computer-gesteuerte KI-Agenten – KI-Systeme, die deinen Bildschirm sehen und eine Maus sowie Tastatur bedienen können – sind derzeit die ambitionierteste und am meisten überbewertete Kategorie von KI-Tools. Je nachdem, was du sie bittest zu tun, sind sie gleichzeitig beeindruckend und enttäuschend.
Wie sie tatsächlich funktionieren
Der Ablauf ist einfach: Screenshot → analysieren → handeln → wiederholen.
Der Agent nimmt einen Screenshot des aktuellen Bildschirms. Ein Vision-Language-Modell (wie Claude oder GPT-4o) betrachtet den Screenshot und identifiziert UI-Elemente – Schaltflächen, Textfelder, Menüs, Links. Das Modell entscheidet, was als Nächstes zu tun ist, basierend auf dem Ziel („buche den günstigsten Flug“) und dem aktuellen Zustand des Bildschirms. Es führt eine Aktion aus – hier klicken, das eingeben, nach unten scrollen. Neuer Screenshot. Wiederholen, bis die Aufgabe erledigt ist.
Was das von traditioneller Automatisierung (Selenium, Playwright usw.) unterscheidet, ist, dass es keine vorprogrammierten Selektoren benötigt. Es betrachtet den Bildschirm, wie es ein Mensch tun würde, und findet heraus, was zu klicken ist. Das bedeutet, es funktioniert auf jeder Website oder Anwendung ohne benutzerdefinierten Integrationscode.
Was ich ausprobiert habe
Claude Computer Use ist das leistungsfähigste, das ich getestet habe. Anthropic hat offensichtlich intensiv über Sicherheit nachgedacht – Claude stoppt und fragt nach Bestätigung, bevor es eine potenziell einschneidende Aktion ausführt (Käufe, Formularübermittlungen, Kontoänderungen). Das Verständnis für visuelle Inhalte ist beeindruckend: Es erkennt komplexe UI-Layouts, Dropdown-Menüs und liest sogar Text aus Bildern.
Ich habe es verwendet, um ein langweiliges Regierungsformular auszufüllen. 47 Felder über 6 Seiten, Informationen aus einem PDF extrahierend. Claude las das PDF, navigierte durch das Formular, füllte jedes Feld korrekt aus und erledigte alles in etwa 8 Minuten. Ich habe jedes Feld überprüft – alles korrekt. Manuell würde ich dafür 45 Minuten angstfreies Kopieren und Einfügen benötigen.
OpenAI Operator konzentriert sich auf das Surfen im Web und erledigt gängige Aufgaben gut – Restaurantreservierungen, Produktsuchen, Zusammenstellung von Recherchen. Es ist weniger technisch als Claude Computer Use, aber polierter für Verbrauchertasks. Verfügbar für ChatGPT Pro-Abonnenten.
Browser-Use (Open Source) würde ich empfehlen, wenn du experimentieren und benutzerdefinierte Automatisierung erstellen möchtest. Es ist ein Python-Framework, das jedes LLM mit der Browsersteuerung verbindet. Weniger poliert als Claude oder Operator, aber vollständig anpassbar. Ich habe damit einige Scraping-Workflows erstellt, die mit traditionellen Tools schmerzhaft gewesen wären.
Wo es glänzt
Formulare und Dateneingabe. Dies ist der wichtigste Anwendungsfall momentan. Jede Aufgabe, die involves das Lesen von Informationen an einem Ort und deren Eingabe an einem anderen – Versicherungsformulare, Steuerdokumente, CRM-Dateneingabe, Spesenberichte – wird von Computer-gesteuerten Agenten gut erledigt. Sie sind geduldig, ihnen wird nicht langweilig und sie vertauschen keine Ziffern.
Cross-Anwendungs-Workflows. „Lade den Bericht aus System A herunter, extrahiere die wichtigsten Kennzahlen und gib sie im Dashboard in System B ein.“ Wenn System A und System B keine API und keine Integration haben, ist ein Computer-gesteuertes Agent die einzige Automatisierungsoption.
Zusammenstellung von Recherchen. „Besuche diese 10 Unternehmenswebsites, finde deren Preisseiten und fasse die Preisinformationen in einer Tabelle zusammen.“ Der Agent durchstöbert jede Seite, navigiert zur richtigen Seite, extrahiert die Informationen und organisiert sie. Für Menschen mühsam, für Agenten einfach.
Wo es scheitert
Es ist langsam. Jede Aktion dauert 3-10 Sekunden (Screenshot + Analyse + Ausführung). Eine 20-Schritte-Aufgabe dauert 1-3 Minuten. Ein Mensch, der dieselbe Aufgabe erledigt, könnte 2-5 Minuten benötigen – die Zeitersparnis ist also für kurze Aufgaben nicht immer dramatisch.
Komplexe Navigation bringt es durcheinander. Mehrstufige Dropdown-Menüs, Drag-and-Drop-Oberflächen und stark dynamische Seiten (viele JavaScript-Popups und Animationen) verwirren das visuelle Modell. Ich habe gesehen, wie Claude dreimal gescheitert ist, einen Termin aus einem schicken Kalender-Widget auszuwählen, bevor ich selbst übernommen habe.
CAPTCHAs gibt es aus einem Grund. Computer-gesteuerte Agenten können CAPTCHAs nicht lösen (absichtlich – CAPTCHAs existieren, um automatisierte Interaktionen zu stoppen). Wenn eine Website eine CAPTCHA-Verifizierung erfordert, bleibt der Agent stecken und benötigt menschliche Hilfe.
Die Kosten summieren sich. Jeder Screenshot wird von einem visuellen Modell analysiert. Eine 50-Schritte-Aufgabe könnte 0,50-2,00 $ an API-Anrufen verbrauchen. Das ist in Ordnung für gelegentliche Nutzung, aber teuer, wenn du täglich Hunderte von Automatisierungen ausführst.
API vs. Computer Use: Ein Entscheidungsrahmen
Wenn eine API existiert: benutze die API. Immer. Es ist 100x schneller, 10x günstiger und unendlich zuverlässiger.
Wenn keine API existiert, die Aufgabe aber repetitiv und gut definiert ist: baue traditionelle Automatisierung (Selenium, Playwright) mit geeigneten Selektoren. Es ist schneller und zuverlässiger als die Computer-Gebrauch für stabile Interfaces.
Wenn keine API existiert, die Aufgabe unregelmäßig ist und sich die Schnittstelle ändert: Computer-gesteuerte Agenten sind die beste Option. Das ist ihr Süßstoff – ad-hoc Automatisierung auf Schnittstellen, die keine APIs haben und nicht stabil genug für selektorbasierte Automatisierung sind.
Wenn die Aufgabe Urteil über mehrere Anwendungen erfordert: Computer-gesteuerte Agenten glänzen hier, weil sie die visuelle Vielfalt verschiedener Anwendungen selbstverständlich handhaben.
Was kommt
Computer-gesteuerte Agenten werden schneller (kleinere, spezialisierte visuelle Modelle für das UI-Verständnis), günstiger (Wettbewerb wird die Kosten für die Inferenz senken) und zuverlässiger (bessere Trainingsdaten aus der realen Nutzung). Innerhalb von 2-3 Jahren erwarte ich, dass sie 80% der gängigen Computeraufgaben zuverlässig erledigen.
Aber sie werden APIs, traditionelle Automatisierung oder menschliches Urteilsvermögen nicht ersetzen. Sie werden die Lücken zwischen ihnen füllen – die lange Reihe von Aufgaben erledigen, die für traditionelle Automatisierung zu unregelmäßig und für Menschen zu lästig sind. Diese lange Reihe ist enorm, und deshalb sind Computer-gesteuerte Agenten wichtig.
🕒 Published: