Der Suchknopf liegt bei einer breiten Ansicht rechts neben dem Eingabefeld. Auf dem schmalen Bildschirm steht er darunter. Ein Agent, der nur die erste Klickposition wiederholt, kann deshalb danebenliegen, obwohl sich die eigentliche Aufgabe nicht verändert hat. Die Koordinate war nicht falsch. Ihr Bezug ist veraltet.
Das originale UI-TARS-Repository beschreibt visuelle Bedienung grafischer Oberflächen und datiert UI-TARS-2 auf den 4. September 2025. Die Veröffentlichung ist älter als ein Jahr und dient hier als technische Grundlage. Wir leiten daraus weder eine aktuelle Spitzenposition noch einen eigenen Benchmark ab. Die interessante Frage lautet: Welche Beobachtung braucht eine Aktion, damit ihr Ergebnis überhaupt beurteilt werden kann?
Ein Screenshot beschreibt eine Situation
Ein Bild zeigt eine Oberfläche zu einem bestimmten Zeitpunkt. Fensterbreite, Scrollposition und geöffnete Bereiche gehören zu dieser Situation. Die Lage eines Knopfs lässt sich nicht vollständig von diesen Bedingungen lösen. Eine Position erhält ihre Bedeutung erst durch das zugehörige Bild und die aktuelle Aufgabe.
Für unser eigenes Beispiel dient eine fiktive Bibliotheksseite. Die Person möchte ein Buch finden. Auf dem Bildschirm stehen Suche, Anmeldung und Veranstaltungshinweis. Drei ähnlich gestaltete Knöpfe können vorhanden sein. Der größte oder farbigste ist nicht automatisch der richtige. Die Aufgabe entscheidet, welches Ziel relevant ist.
Das zeigt eine erste Grenze visueller Bedienung: Erkennen und Entscheiden sind verbunden. Ein Agent muss ein Element nicht nur lokalisieren, sondern seiner vorgesehenen Handlung zuordnen. Ein sauber erkannter Anmeldeknopf hilft bei der Buchsuche nicht weiter.
Bildgröße und Zielposition gehören zusammen
Wenn ein Bild für die Verarbeitung skaliert wird, müssen Koordinaten zum tatsächlich verwendeten Bezug passen. Dasselbe Zahlenpaar kann auf unterschiedlich großen Bildern andere Stellen bezeichnen. Auch eine unveränderte Bildschirmgröße hilft nicht, wenn ein aufgeklappter Hinweis die Inhalte nach unten verschiebt.
Ein verständlicher Beobachtungszettel verbindet deshalb die wichtigsten Angaben. Das folgende eigene Schema enthält keine echten UI-TARS-Ausgaben und ist kein ausführbares Agentenformat:
Beobachtung: Suchseite, schmale Ansicht
Ziel: Suche nach dem eingegebenen Buchtitel auslösen
Aktion: sichtbaren Suchknopf betätigen
Erwartung: Treffer oder verständlicher Ergebniszustand
Danach: neue Ansicht beurteilenDer letzte Eintrag ist entscheidend. Er verhindert, dass eine technisch ausgeführte Eingabe bereits als erledigte Aufgabe gilt. Ein Klick liefert zunächst nur einen Übergang, dessen Wirkung noch betrachtet werden muss.
Vier mögliche Antworten nach derselben Aktion
Nach dem Auslösen können Treffer erscheinen, ein Ladeindikator sichtbar bleiben, eine Eingabewarnung auftauchen oder ein technischer Fehler gemeldet werden. Diese Zustände verlangen unterschiedliche nächste Schritte. Noch einmal zu klicken wäre nicht in jedem Fall sinnvoll.
Auch Treffer müssen zur Suchaufgabe passen. Vielleicht wurde ein ähnlicher Titel vorgeschlagen oder die Liste gehört noch zur vorherigen Eingabe. Die neue Beobachtung braucht deshalb wieder den ursprünglichen Auftrag als Bezug. Der Kreislauf lautet nicht bloß Bild, Klick, Bild, sondern verstehen, handeln und Wirkung am Ziel messen.
Für eine ungefährliche eigene Übung kannst du die vier Zustände als selbst gezeichnete Karten vorbereiten. Ordne jeder Karte eine begründete nächste Handlung zu. Die Übung erklärt das Zustandsdenken, ohne einen echten Modelllauf oder eine funktionierende Bibliotheksanbindung zu behaupten.
Gute Oberflächen helfen Menschen und Agenten
Verständliche Rückmeldungen reduzieren auch für Menschen Unsicherheit. „Keine Treffer“ beantwortet eine andere Frage als „Suche konnte nicht geladen werden“. Ein dekorativer Ladeeffekt ohne erkennbaren Abschluss liefert dagegen wenig Orientierung. Die Gestaltung kann den Beobachtungskreislauf unterstützen, indem sie relevante Zustände klar unterscheidet.
Eine lokale Ausführung eines Agenten beantwortet für sich genommen nicht sämtliche Fragen zu Datenwegen. Ebenso beweist eine gelungene Klickfolge noch keine zuverlässige allgemeine Bedienung. Beides müsste anhand des tatsächlichen Systems untersucht werden.
Der übertragbare Gedanke ist einfacher: Eine alte Position ist keine dauerhafte Bedeutung. Sobald eine Handlung die Oberfläche verändern kann, braucht die nächste Entscheidung einen aktuellen Bezug. Erst die erneute Beobachtung verbindet den ausgeführten Schritt mit dem Ergebnis, das eigentlich erreicht werden sollte.
Quellen und Stand
Recherche- und Dokumentationsstand: 25. Oktober 2026. UI-TARS repository: UI-TARS-2 update and coordinate processing.
