Sur un affichage large, le bouton de recherche se trouve à droite du champ de saisie. Sur un écran étroit, il se trouve en dessous. Un agent qui se contente de répéter la première position de clic peut donc manquer sa cible, alors même que la tâche n’a pas changé. La coordonnée n’était pas fausse. C’est son cadre de référence qui est périmé.
Le dépôt original de UI-TARS décrit l’utilisation visuelle des interfaces graphiques et date UI-TARS-2 du 4 septembre 2025. Cette version a plus d’un an et sert ici de base technique. Nous n’en déduisons ni une position de leader actuelle ni un banc d’essai de notre cru. La question intéressante est la suivante : de quelle observation une action a-t-elle besoin pour que son résultat puisse seulement être évalué ?
Une capture d’écran décrit une situation
Une image montre une interface à un moment donné. La largeur de la fenêtre, la position de défilement et les sections ouvertes font partie de cette situation. La position d’un bouton ne peut pas être entièrement dissociée de ces conditions. Une position ne prend son sens qu’à travers l’image correspondante et la tâche en cours.
Notre propre exemple utilise une page de bibliothèque fictive. La personne veut trouver un livre. L’écran affiche la recherche, la connexion et un avis concernant des événements. Il peut y avoir trois boutons au style similaire. Le plus grand ou le plus coloré n’est pas automatiquement le bon. C’est la tâche qui détermine quelle cible est pertinente.
Cela montre une première limite de l’utilisation visuelle : reconnaître et décider sont liés. Un agent doit non seulement localiser un élément, mais aussi le rapprocher de l’action visée. Un bouton de connexion parfaitement reconnu n’aide en rien à rechercher un livre.
Taille de l’image et position de la cible vont de pair
Si une image est mise à l’échelle pour le traitement, les coordonnées doivent correspondre au cadre de référence réellement utilisé. Le même couple de nombres peut désigner des endroits différents sur des images de tailles différentes. Même une taille d’écran inchangée n’aide pas si un avis déplié repousse le contenu vers le bas.
Une note d’observation claire relie donc les détails les plus importants. Le schéma suivant est le nôtre ; il ne contient aucune sortie réelle de UI-TARS et n’est pas un format d’agent exécutable :
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewLa dernière entrée est décisive. Elle empêche qu’une saisie simplement exécutée sur le plan technique compte déjà comme une tâche accomplie. Dans un premier temps, un clic ne produit qu’une transition dont l’effet doit encore être examiné.
Quatre réponses possibles à la même action
Une fois la recherche lancée, des résultats peuvent apparaître, un indicateur de chargement peut rester visible, un avertissement de saisie peut s’afficher ou une erreur technique peut être signalée. Ces états appellent des étapes suivantes différentes. Cliquer à nouveau n’aurait pas de sens dans tous les cas.
Les résultats doivent aussi correspondre à la tâche de recherche. Peut-être un titre similaire a-t-il été suggéré, ou la liste correspond-elle encore à la saisie précédente. La nouvelle observation a donc de nouveau besoin de l’instruction d’origine comme référence. Le cycle n’est pas simplement image, clic, image, mais comprendre, agir et mesurer l’effet par rapport à l’objectif.
Pour un exercice inoffensif de votre côté, vous pouvez préparer les quatre états sous forme de cartes que vous dessinez vous-même. Attribuez à chaque carte une action suivante justifiée. L’exercice explique la réflexion par états sans prétendre à une exécution réelle d’un modèle ni à une connexion fonctionnelle avec un système de bibliothèque.
Les bonnes interfaces aident les personnes comme les agents
Un retour clair réduit aussi l’incertitude pour les personnes. « Aucun résultat » répond à une autre question que « La recherche n’a pas pu être chargée ». Un effet de chargement décoratif sans fin reconnaissable offre en revanche peu de repères. Le design peut soutenir le cycle d’observation en distinguant clairement les états pertinents.
Exécuter un agent en local ne répond pas, à lui seul, à toutes les questions sur les flux de données. De même, une séquence de clics réussie ne prouve pas encore un fonctionnement fiable en général. Ces deux points devraient être examinés sur le système réel.
L’idée transposable est plus simple : une ancienne position n’est pas une signification permanente. Dès qu’une action peut modifier l’interface, la décision suivante a besoin d’une référence actuelle. Seule une nouvelle observation relie l’étape effectuée au résultat réellement visé.
Sources et état
Recherches et documentation à la date du 25 octobre 2026. Dépôt UI-TARS : mise à jour UI-TARS-2 et traitement des coordonnées.
