En una vista ancha, el botón de búsqueda está a la derecha del campo de entrada. En una pantalla estrecha, está debajo. Por eso, un agente que se limita a repetir la primera posición de clic puede fallar, aunque la tarea en sí no haya cambiado. La coordenada no era incorrecta. Su marco de referencia ha quedado desactualizado.
El repositorio original de UI-TARS describe el manejo visual de interfaces gráficas de usuario y fecha UI-TARS-2 el 4 de septiembre de 2025. La versión tiene más de un año y aquí sirve como base técnica. De ella no deducimos ni una posición de liderazgo actual ni una evaluación comparativa propia. La pregunta interesante es: ¿qué observación necesita una acción para que su resultado pueda siquiera evaluarse?
Una captura de pantalla describe una situación
Una imagen muestra una interfaz en un momento concreto. El ancho de la ventana, la posición de desplazamiento y las secciones abiertas forman parte de esa situación. La posición de un botón no puede separarse por completo de estas condiciones. Una posición solo adquiere su significado a través de la imagen correspondiente y de la tarea actual.
Nuestro propio ejemplo usa la página de una biblioteca ficticia. La persona quiere encontrar un libro. La pantalla muestra la búsqueda, el inicio de sesión y un aviso sobre eventos. Puede haber tres botones con un estilo parecido. El más grande o el más colorido no es automáticamente el correcto. Es la tarea la que decide qué objetivo es relevante.
Esto muestra un primer límite del manejo visual: reconocer y decidir están vinculados. Un agente no solo debe localizar un elemento, sino también relacionarlo con la acción que pretende realizar. Un botón de inicio de sesión reconocido con precisión no ayuda en la búsqueda del libro.
El tamaño de la imagen y la posición del objetivo van juntos
Si una imagen se escala para procesarla, las coordenadas tienen que corresponder al marco de referencia realmente utilizado. El mismo par de números puede designar lugares distintos en imágenes de tamaños diferentes. Ni siquiera un tamaño de pantalla sin cambios sirve de algo si un aviso desplegado empuja el contenido hacia abajo.
Por eso, una nota de observación clara vincula los detalles más importantes. El siguiente esquema es nuestro; no contiene ninguna salida real de UI-TARS y no es un formato de agente ejecutable:
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewLa última entrada es decisiva. Evita que una entrada que simplemente se ha ejecutado a nivel técnico cuente ya como tarea completada. Al principio, un clic solo produce una transición cuyo efecto todavía hay que examinar.
Cuatro respuestas posibles a la misma acción
Después de lanzar la búsqueda, pueden aparecer resultados, puede seguir visible un indicador de carga, puede mostrarse una advertencia sobre la entrada o puede notificarse un error técnico. Estos estados requieren pasos siguientes distintos. Volver a hacer clic no tendría sentido en todos los casos.
Además, los resultados tienen que encajar con la tarea de búsqueda. Quizá se sugirió un título parecido, o la lista todavía corresponde a la entrada anterior. Por eso, la nueva observación necesita otra vez la instrucción original como referencia. El ciclo no es simplemente imagen, clic, imagen, sino entender, actuar y medir el efecto frente al objetivo.
Para un ejercicio inofensivo por tu cuenta, puedes preparar los cuatro estados como tarjetas que dibujes tú mismo. Asigna a cada tarjeta una siguiente acción razonada. El ejercicio explica el pensamiento en estados sin afirmar una ejecución real de un modelo ni una conexión operativa con un sistema de biblioteca.
Las buenas interfaces ayudan a las personas y a los agentes
Una respuesta clara de la interfaz también reduce la incertidumbre para las personas. «Sin resultados» responde a una pregunta distinta de «No se ha podido cargar la búsqueda». En cambio, un efecto de carga decorativo sin un final reconocible ofrece poca orientación. El diseño puede apoyar el ciclo de observación distinguiendo con claridad los estados relevantes.
Ejecutar un agente en local no responde, por sí solo, a todas las preguntas sobre los flujos de datos. Del mismo modo, una secuencia de clics exitosa todavía no demuestra un manejo fiable en general. Ambas cosas tendrían que investigarse en el sistema real.
La idea trasladable es más sencilla: una posición antigua no es un significado permanente. En cuanto una acción puede cambiar la interfaz, la siguiente decisión necesita una referencia actual. Solo una observación nueva conecta el paso realizado con el resultado que realmente se pretendía conseguir.
Fuentes y estado
Investigación y documentación a fecha de 25 de octubre de 2026. Repositorio de UI-TARS: actualización de UI-TARS-2 y procesamiento de coordenadas.
