Numa vista larga, o botão de pesquisa fica à direita do campo de introdução. Num ecrã estreito, fica por baixo dele. Um agente que se limita a repetir a primeira posição de clique pode, por isso, falhar, embora a tarefa propriamente dita não tenha mudado. A coordenada não estava errada. O seu referencial é que está desatualizado.
O repositório original do UI-TARS descreve a operação visual de interfaces gráficas de utilizador e data o UI-TARS-2 de 4 de setembro de 2025. O lançamento tem mais de um ano e serve aqui de base técnica. Não deduzimos dele nem uma posição de liderança atual nem um benchmark próprio. A pergunta interessante é: de que observação precisa uma ação para que o seu resultado possa sequer ser avaliado?
Uma captura de ecrã descreve uma situação
Uma imagem mostra uma interface num determinado momento. A largura da janela, a posição de deslocamento e as secções abertas fazem parte dessa situação. A posição de um botão não pode ser totalmente separada destas condições. Uma posição só ganha significado através da imagem correspondente e da tarefa atual.
O nosso exemplo usa a página fictícia de uma biblioteca. A pessoa quer encontrar um livro. O ecrã mostra a pesquisa, o início de sessão e um aviso sobre eventos. Pode haver três botões com um estilo semelhante. O maior ou o mais colorido não é automaticamente o certo. É a tarefa que decide qual é o alvo relevante.
Isto mostra um primeiro limite da operação visual: reconhecer e decidir estão ligados. Um agente não tem apenas de localizar um elemento, mas também de o associar à ação pretendida. Um botão de início de sessão bem reconhecido não ajuda na pesquisa do livro.
O tamanho da imagem e a posição do alvo andam juntos
Se uma imagem for redimensionada para processamento, as coordenadas têm de corresponder ao referencial efetivamente usado. O mesmo par de números pode designar sítios diferentes em imagens de tamanhos diferentes. Mesmo um tamanho de ecrã inalterado não ajuda se um aviso expandido empurrar o conteúdo para baixo.
Uma nota de observação clara liga, por isso, os detalhes mais importantes. O esquema seguinte é nosso; não contém nenhum resultado real do UI-TARS e não é um formato de agente executável:
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new viewA última entrada é decisiva. Impede que uma introdução apenas executada tecnicamente conte já como tarefa concluída. Num primeiro momento, um clique produz apenas uma transição cujo efeito ainda tem de ser examinado.
Quatro respostas possíveis à mesma ação
Depois de a pesquisa ser acionada, podem aparecer resultados, um indicador de carregamento pode continuar visível, pode surgir um aviso sobre a introdução ou pode ser comunicado um erro técnico. Estes estados exigem passos seguintes diferentes. Clicar novamente não faria sentido em todos os casos.
Os resultados também têm de corresponder à tarefa de pesquisa. Talvez tenha sido sugerido um título semelhante, ou a lista ainda pertença à introdução anterior. A nova observação precisa, por isso, mais uma vez da instrução original como referência. O ciclo não é apenas imagem, clique, imagem, mas sim compreender, agir e medir o efeito em relação ao objetivo.
Para um exercício inofensivo da tua autoria, podes preparar os quatro estados como cartões desenhados por ti. Atribui a cada cartão uma ação seguinte fundamentada. O exercício explica o raciocínio por estados sem alegar uma execução real de um modelo nem uma ligação funcional a um sistema de biblioteca.
Boas interfaces ajudam pessoas e agentes
Um feedback claro também reduz a incerteza para as pessoas. «Sem resultados» responde a uma pergunta diferente de «Não foi possível carregar a pesquisa». Um efeito de carregamento decorativo sem fim reconhecível, pelo contrário, oferece pouca orientação. O design pode apoiar o ciclo de observação distinguindo claramente os estados relevantes.
Executar um agente localmente não responde, por si só, a todas as perguntas sobre fluxos de dados. Da mesma forma, uma sequência de cliques bem-sucedida ainda não prova um funcionamento fiável em geral. Ambas as questões teriam de ser investigadas no sistema real.
A ideia transferível é mais simples: uma posição antiga não é um significado permanente. Assim que uma ação pode alterar a interface, a decisão seguinte precisa de uma referência atual. Só uma observação nova liga o passo executado ao resultado que se pretendia efetivamente alcançar.
Fontes e estado
Pesquisa e documentação atualizadas a 25 de outubro de 2026. Repositório UI-TARS: atualização do UI-TARS-2 e processamento de coordenadas.
