I en bred vy sitter sökknappen till höger om inmatningsfältet. På en smal skärm sitter den under det. En agent som bara upprepar den första klickpositionen kan därför missa, trots att själva uppgiften inte har ändrats. Koordinaten var inte fel. Dess referensram är inaktuell.
Det ursprungliga UI-TARS-repositoriet beskriver visuell styrning av grafiska användargränssnitt och daterar UI-TARS-2 till den 4 september 2025. Versionen är mer än ett år gammal och fungerar här som teknisk grund. Vi härleder ur den varken en aktuell ledande ställning eller ett eget benchmark. Den intressanta frågan är: vilken observation behöver en handling för att dess resultat överhuvudtaget ska kunna bedömas?
En skärmbild beskriver en situation
En bild visar ett gränssnitt vid ett visst ögonblick. Fönsterbredd, rullningsposition och öppna avsnitt hör till den situationen. En knapps position kan inte helt skiljas från dessa förutsättningar. En position får sin betydelse först genom den motsvarande bilden och den aktuella uppgiften.
Vårt eget exempel använder en fiktiv bibliotekssida. Personen vill hitta en bok. Skärmen visar sökning, inloggning och ett meddelande om evenemang. Det kan finnas tre knappar med liknande utformning. Den största eller mest färgstarka är inte automatiskt den rätta. Uppgiften avgör vilket mål som är relevant.
Detta visar en första begränsning för visuell styrning: att känna igen och att besluta hänger ihop. En agent måste inte bara lokalisera ett element utan också koppla det till den avsedda handlingen. En tydligt igenkänd inloggningsknapp hjälper inte vid boksökningen.
Bildstorlek och målposition hör ihop
Om en bild skalas för bearbetning måste koordinaterna stämma med den referensram som faktiskt används. Samma talpar kan beteckna olika platser på bilder av olika storlek. Inte ens en oförändrad skärmstorlek hjälper om ett utfällt meddelande trycker ned innehållet.
En tydlig observationsanteckning kopplar därför samman de viktigaste uppgifterna. Följande schema är vårt eget; det innehåller ingen verklig UI-TARS-utdata och är inget körbart agentformat:
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewDen sista posten är avgörande. Den förhindrar att en inmatning som bara har utförts tekniskt redan räknas som en slutförd uppgift. Till en början ger ett klick bara en övergång vars effekt fortfarande måste undersökas.
Fyra möjliga reaktioner på samma handling
När sökningen har startats kan resultat visas, en laddningsindikator kan förbli synlig, en varning om inmatningen kan dyka upp eller ett tekniskt fel kan rapporteras. Dessa tillstånd kräver olika nästa steg. Att klicka igen vore inte meningsfullt i alla fall.
Resultaten måste också passa sökuppgiften. Kanske föreslogs en liknande titel, eller så hör listan fortfarande till den föregående inmatningen. Den nya observationen behöver därför återigen den ursprungliga instruktionen som referens. Cykeln är inte bara bild, klick, bild, utan att förstå, handla och mäta effekten mot målet.
Som en ofarlig egen övning kan du förbereda de fyra tillstånden som kort som du ritar själv. Ge varje kort en motiverad nästa handling. Övningen förklarar tänkande i tillstånd utan att påstå att det finns en verklig modellkörning eller en fungerande anslutning till ett bibliotekssystem.
Bra gränssnitt hjälper både människor och agenter
Tydlig återkoppling minskar osäkerheten även för människor. ”Inga resultat” besvarar en annan fråga än ”Sökningen kunde inte laddas”. En dekorativ laddningseffekt utan synligt slut ger däremot föga vägledning. Design kan stödja observationscykeln genom att tydligt skilja mellan de relevanta tillstånden.
Att köra en agent lokalt besvarar inte i sig alla frågor om dataflöden. På samma sätt bevisar en lyckad klicksekvens ännu inte tillförlitlig styrning i allmänhet. Båda skulle behöva undersökas i det faktiska systemet.
Den överförbara idén är enklare: en gammal position är ingen bestående betydelse. Så snart en handling kan ändra gränssnittet behöver nästa beslut en aktuell referens. Först en ny observation förbinder det steg som utfördes med det resultat som faktiskt skulle uppnås.
Källor och status
Research och dokumentation per den 25 oktober 2026. UI-TARS-repositoriet: uppdatering av UI-TARS-2 och koordinatbearbetning.
