In una visualizzazione ampia, il pulsante di ricerca si trova a destra del campo di inserimento. Su uno schermo stretto, si trova sotto. Un agente che si limita a ripetere la prima posizione di clic può quindi mancare il bersaglio, anche se il compito vero e proprio non è cambiato. La coordinata non era sbagliata. È il suo sistema di riferimento a essere superato.
Il repository originale di UI-TARS descrive l'utilizzo visivo delle interfacce grafiche utente e data UI-TARS-2 al 4 settembre 2025. La release ha più di un anno e qui funge da base tecnica. Non ne deduciamo né una posizione di primo piano attuale né un nostro benchmark. La domanda interessante è: di quale osservazione ha bisogno un'azione perché il suo risultato possa essere valutato?
Uno screenshot descrive una situazione
Un'immagine mostra un'interfaccia in un momento preciso. Larghezza della finestra, posizione di scorrimento e sezioni aperte fanno parte di quella situazione. La posizione di un pulsante non può essere separata del tutto da queste condizioni. Una posizione acquista significato solo attraverso l'immagine corrispondente e il compito attuale.
Il nostro esempio usa la pagina di una biblioteca fittizia. La persona vuole trovare un libro. Lo schermo mostra la ricerca, l'accesso e un avviso sugli eventi. Potrebbero esserci tre pulsanti dallo stile simile. Il più grande o il più colorato non è automaticamente quello giusto. È il compito a decidere quale obiettivo sia rilevante.
Questo mostra un primo limite dell'utilizzo visivo: riconoscere e decidere sono collegati. Un agente non deve solo individuare un elemento, ma anche abbinarlo all'azione prevista. Un pulsante di accesso riconosciuto perfettamente non aiuta nella ricerca del libro.
Dimensione dell'immagine e posizione del bersaglio vanno insieme
Se un'immagine viene ridimensionata per l'elaborazione, le coordinate devono corrispondere al sistema di riferimento effettivamente usato. La stessa coppia di numeri può indicare punti diversi su immagini di dimensioni diverse. Anche una dimensione dello schermo invariata non aiuta se un avviso espanso sposta il contenuto verso il basso.
Una nota di osservazione chiara collega quindi i dettagli più importanti. Lo schema seguente è nostro; non contiene alcun output reale di UI-TARS e non è un formato di agente eseguibile:
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewL'ultima voce è decisiva. Impedisce che un input semplicemente eseguito a livello tecnico conti già come compito completato. All'inizio, un clic produce soltanto una transizione il cui effetto deve ancora essere esaminato.
Quattro possibili risposte alla stessa azione
Dopo l'avvio della ricerca possono comparire dei risultati, un indicatore di caricamento può restare visibile, può apparire un avviso sull'input oppure può essere segnalato un errore tecnico. Questi stati richiedono passi successivi diversi. Non in tutti i casi avrebbe senso cliccare di nuovo.
Anche i risultati devono essere coerenti con il compito di ricerca. Forse è stato suggerito un titolo simile, oppure l'elenco appartiene ancora all'input precedente. La nuova osservazione ha quindi bisogno, ancora una volta, dell'istruzione originale come riferimento. Il ciclo non è semplicemente immagine, clic, immagine, ma comprendere, agire e misurare l'effetto rispetto all'obiettivo.
Per un tuo esercizio innocuo, puoi preparare i quattro stati come carte che disegni tu stesso. Assegna a ogni carta un'azione successiva motivata. L'esercizio spiega il ragionamento per stati senza pretendere un'esecuzione reale del modello o un collegamento funzionante con un sistema bibliotecario.
Le buone interfacce aiutano persone e agenti
Un feedback chiaro riduce l'incertezza anche per le persone. «Nessun risultato» risponde a una domanda diversa da «Impossibile caricare la ricerca». Un effetto di caricamento decorativo senza una fine riconoscibile, invece, offre poco orientamento. Il design può supportare il ciclo di osservazione distinguendo chiaramente gli stati rilevanti.
Eseguire un agente in locale non risponde, da solo, a ogni domanda sui flussi di dati. Allo stesso modo, una sequenza di clic riuscita non dimostra ancora un funzionamento affidabile in generale. Entrambi gli aspetti andrebbero verificati sul sistema reale.
L'idea trasferibile è più semplice: una vecchia posizione non è un significato permanente. Non appena un'azione può modificare l'interfaccia, la decisione successiva ha bisogno di un riferimento attuale. Solo un'osservazione nuova collega il passo eseguito al risultato che si voleva effettivamente ottenere.
Fonti e stato
Ricerca e documentazione aggiornate al 25 ottobre 2026. Repository di UI-TARS: aggiornamento di UI-TARS-2 ed elaborazione delle coordinate.
