In een brede weergave staat de zoekknop rechts van het invoerveld. Op een smal scherm staat hij eronder. Een agent die gewoon de eerste klikpositie herhaalt, kan daardoor misklikken, ook al is de eigenlijke taak niet veranderd. De coördinaat was niet fout. Het referentiekader ervan is verouderd.
De oorspronkelijke UI-TARS-repository beschrijft de visuele bediening van grafische gebruikersinterfaces en dateert UI-TARS-2 op 4 september 2025. De release is meer dan een jaar oud en dient hier als technische basis. We leiden er geen actuele koppositie uit af en ook geen eigen benchmark. De interessante vraag is: welke waarneming heeft een actie nodig om het resultaat ervan überhaupt te kunnen beoordelen?
Een screenshot beschrijft een situatie
Een afbeelding toont een interface op een bepaald moment. Vensterbreedte, scrollpositie en geopende secties horen bij die situatie. De positie van een knop is niet volledig los te zien van deze omstandigheden. Een positie krijgt pas betekenis door de bijbehorende afbeelding en de actuele taak.
Ons eigen voorbeeld gebruikt een fictieve bibliotheekpagina. De persoon wil een boek vinden. Het scherm toont zoeken, inloggen en een melding over evenementen. Er kunnen drie vergelijkbaar vormgegeven knoppen zijn. De grootste of kleurrijkste is niet automatisch de juiste. De taak bepaalt welk doel relevant is.
Dit laat een eerste grens van visuele bediening zien: herkennen en beslissen hangen samen. Een agent moet een element niet alleen lokaliseren, maar het ook koppelen aan de bedoelde actie. Een netjes herkende inlogknop helpt niet bij het zoeken naar een boek.
Afbeeldingsgrootte en doelpositie horen bij elkaar
Als een afbeelding voor verwerking wordt geschaald, moeten coördinaten passen bij het referentiekader dat daadwerkelijk wordt gebruikt. Hetzelfde getallenpaar kan op afbeeldingen van verschillende grootte naar verschillende plekken verwijzen. Zelfs een ongewijzigde schermgrootte helpt niet als een uitgeklapte melding de inhoud naar beneden duwt.
Een duidelijke observatienotitie koppelt daarom de belangrijkste details aan elkaar. Het volgende schema is van onszelf; het bevat geen echte UI-TARS-uitvoer en is geen uitvoerbaar agentformaat:
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewDe laatste regel is beslissend. Die voorkomt dat een invoer die alleen technisch is uitgevoerd al als voltooide taak telt. Een klik levert eerst alleen een overgang op, waarvan het effect nog moet worden onderzocht.
Vier mogelijke reacties op dezelfde actie
Nadat de zoekopdracht is gestart, kunnen er resultaten verschijnen, kan een laadindicator zichtbaar blijven, kan er een invoerwaarschuwing opduiken of kan er een technische fout worden gemeld. Deze toestanden vragen om verschillende vervolgstappen. Opnieuw klikken zou niet in elk geval zinvol zijn.
Resultaten moeten ook bij de zoektaak passen. Misschien werd een vergelijkbare titel voorgesteld, of hoort de lijst nog bij de vorige invoer. De nieuwe waarneming heeft daarom opnieuw de oorspronkelijke instructie als referentie nodig. De cyclus is niet alleen afbeelding, klik, afbeelding, maar begrijpen, handelen en het effect afmeten aan het doel.
Voor een onschuldige eigen oefening kun je de vier toestanden voorbereiden als kaarten die je zelf tekent. Koppel aan elke kaart een onderbouwde volgende actie. De oefening verduidelijkt het denken in toestanden zonder te beweren dat er een echte modelrun of een werkende koppeling met een bibliotheeksysteem is.
Goede interfaces helpen mensen en agents
Duidelijke feedback vermindert ook voor mensen de onzekerheid. ‘Geen resultaten’ beantwoordt een andere vraag dan ‘Zoeken kon niet worden geladen’. Een decoratief laadeffect zonder herkenbaar einde biedt daarentegen weinig houvast. Ontwerp kan de observatiecyclus ondersteunen door de relevante toestanden duidelijk van elkaar te onderscheiden.
Een agent lokaal draaien beantwoordt op zichzelf niet elke vraag over gegevensstromen. Evenzo bewijst een geslaagde reeks klikken nog niet dat de bediening in het algemeen betrouwbaar is. Beide zouden op het daadwerkelijke systeem moeten worden onderzocht.
Het overdraagbare idee is eenvoudiger: een oude positie is geen blijvende betekenis. Zodra een actie de interface kan veranderen, heeft de volgende beslissing een actuele referentie nodig. Alleen een nieuwe waarneming verbindt de uitgevoerde stap met het resultaat dat eigenlijk bereikt moest worden.
Bronnen en stand van zaken
Onderzoek en documentatie bijgewerkt tot 25 oktober 2026. UI-TARS-repository: update van UI-TARS-2 en verwerking van coördinaten.
