I en bred visning sidder søgeknappen til højre for indtastningsfeltet. På en smal skærm sidder den under det. En agent, der blot gentager den første klikposition, kan derfor ramme ved siden af, selvom selve opgaven ikke har ændret sig. Koordinaten var ikke forkert. Dens referenceramme er forældet.
Det oprindelige UI-TARS-repository beskriver visuel betjening af grafiske brugerflader og daterer UI-TARS-2 til den 4. september 2025. Udgivelsen er mere end et år gammel og fungerer her som teknisk grundlag. Vi udleder hverken en aktuel førerposition eller et eget benchmark af den. Det interessante spørgsmål er: Hvilken observation kræver en handling, for at dens resultat overhovedet kan vurderes?
Et skærmbillede beskriver en situation
Et billede viser en brugerflade på et bestemt tidspunkt. Vinduesbredde, rulleposition og åbne sektioner hører til den situation. En knaps position kan ikke helt adskilles fra disse betingelser. En position får først sin betydning gennem det tilhørende billede og den aktuelle opgave.
Vores eget eksempel bruger en fiktiv biblioteksside. Personen vil finde en bog. Skærmen viser søgning, log ind og en meddelelse om arrangementer. Der kan være tre knapper med lignende udseende. Den største eller mest farverige er ikke automatisk den rigtige. Det er opgaven, der afgør, hvilket mål der er relevant.
Det viser en første grænse for visuel betjening: At genkende og at beslutte hænger sammen. En agent skal ikke kun finde et element, men også matche det med den tilsigtede handling. En korrekt genkendt log ind-knap hjælper ikke med bogsøgningen.
Billedstørrelse og målposition hører sammen
Hvis et billede skaleres til behandling, skal koordinaterne passe til den referenceramme, der faktisk bruges. Det samme talpar kan betegne forskellige steder på billeder af forskellig størrelse. Selv en uændret skærmstørrelse hjælper ikke, hvis en udfoldet meddelelse skubber indholdet nedad.
En tydelig observationsnote forbinder derfor de vigtigste detaljer. Følgende skema er vores eget; det indeholder intet rigtigt UI-TARS-output og er ikke et eksekverbart agentformat:
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewDen sidste post er afgørende. Den forhindrer, at et input, der blot er udført teknisk, allerede tæller som en fuldført opgave. Et klik frembringer i første omgang kun en overgang, hvis virkning stadig skal undersøges.
Fire mulige reaktioner på den samme handling
Når søgningen er udløst, kan der vise sig resultater, en indlæsningsindikator kan forblive synlig, en advarsel om inputtet kan dukke op, eller der kan blive meldt en teknisk fejl. Disse tilstande kræver forskellige næste skridt. Et nyt klik ville ikke give mening i alle tilfælde.
Resultaterne skal også passe til søgeopgaven. Måske blev en lignende titel foreslået, eller listen hører stadig til det forrige input. Den nye observation har derfor igen brug for den oprindelige instruktion som reference. Cyklussen er ikke blot billede, klik, billede, men at forstå, handle og måle virkningen op mod målet.
Som en harmløs øvelse for dig selv kan du forberede de fire tilstande som kort, du selv tegner. Giv hvert kort en begrundet næste handling. Øvelsen forklarer tænkning i tilstande uden at påstå en rigtig modelkørsel eller en fungerende forbindelse til et bibliotekssystem.
Gode brugerflader hjælper både mennesker og agenter
Tydelig feedback mindsker også usikkerheden for mennesker. »Ingen resultater« besvarer et andet spørgsmål end »Søgningen kunne ikke indlæses«. En dekorativ indlæsningseffekt uden genkendelig afslutning giver derimod kun lidt orientering. Design kan understøtte observationscyklussen ved tydeligt at skelne mellem de relevante tilstande.
At køre en agent lokalt besvarer ikke i sig selv alle spørgsmål om datastrømme. På samme måde beviser en vellykket række klik endnu ikke pålidelig betjening generelt. Begge dele skulle undersøges på det faktiske system.
Den overførbare idé er enklere: En gammel position er ikke en permanent betydning. Så snart en handling kan ændre brugerfladen, kræver den næste beslutning en aktuel reference. Kun en ny observation forbinder det udførte skridt med det resultat, der faktisk skulle opnås.
Kilder og status
Research og dokumentation pr. 25. oktober 2026. UI-TARS-repository: UI-TARS-2-opdatering og koordinatbehandling.
