広い表示では、検索ボタンは入力欄の右側にあります。狭い画面では、入力欄の下にあります。そのため、最初のクリック位置を単純に繰り返すだけのエージェントは、実際のタスクが変わっていないにもかかわらず、目標を外してしまうことがあります。座標が間違っていたわけではありません。その座標の基準となる枠組みが古くなっているのです。
元の UI-TARS リポジトリは、グラフィカルユーザーインターフェースの視覚的な操作について説明しており、UI-TARS-2 の日付を 2025年九月4日としています。このリリースは一年以上前のものであり、ここでは技術的な土台として扱います。そこから現在の優位性を推論することも、独自のベンチマークを導き出すこともしません。興味深い問いは、ある操作の結果をそもそも判断するためには、どのような観察が必要なのか、ということです。
スクリーンショットはある状況を描写するもの
画像は、ある特定の時点のインターフェースを示しています。ウィンドウの幅、スクロール位置、開いているセクションは、その状況の一部です。ボタンの位置は、こうした条件から完全に切り離すことはできません。位置は、対応する画像と現在のタスクを通じて初めて意味を持ちます。
私たち独自の例では、架空の図書館のページを使います。利用者は本を探したいと考えています。画面には、検索、サインイン、そしてイベントに関するお知らせが表示されています。似たようなスタイルのボタンが三つあるかもしれません。最も大きいボタンや最も色鮮やかなボタンが、自動的に正しいボタンになるわけではありません。どの対象が関係するかを決めるのはタスクです。
ここに、視覚的な操作の一つ目の限界が表れています。認識することと判断することは結び付いているのです。エージェントは要素の位置を特定するだけでなく、それを意図した操作と照らし合わせなければなりません。サインインボタンをきれいに認識できても、本の検索には役立ちません。
画像サイズと目標位置は一体のもの
処理のために画像が拡大縮小される場合、座標は実際に使われている基準の枠組みと一致していなければなりません。同じ数値の組でも、サイズの異なる画像では別の場所を指すことがあります。画面サイズが変わらなくても、お知らせが展開されてコンテンツが下に押し下げられれば、役には立ちません。
そのため、明確な観察メモでは、最も重要な詳細を結び付けておきます。次のスキーマは私たち独自のものです。実際の UI-TARS の出力は含まれておらず、実行可能なエージェント形式でもありません。
Observation: search page, narrow view
Goal: trigger a search for the entered book title
Action: press the visible search button
Expectation: results or an understandable result state
Afterwards: assess the new view決定的なのは最後の項目です。これにより、技術的に実行されただけの入力が、すでに完了したタスクとして扱われることを防げます。クリックは、まず遷移を生み出すにすぎず、その効果はこれから検証しなければなりません。
同じ操作に対する四つの反応の可能性
検索を実行した後には、結果が表示されることもあれば、読み込み表示が出たままになることも、入力に関する警告が現れることも、技術的なエラーが報告されることもあります。これらの状態では、それぞれ異なる次の一手が求められます。もう一度クリックすることが、どの場合にも意味を持つわけではありません。
結果は、検索タスクにも合っていなければなりません。似たタイトルが提案されただけかもしれませんし、一覧がまだ前の入力に基づくものかもしれません。そのため、新しい観察でも、元の指示を改めて基準にする必要があります。このサイクルは、単に画像、クリック、画像という流れではなく、理解し、操作し、その効果を目標に照らして測る、という流れなのです。
ご自身で取り組める無害な演習として、四つの状態を自分で描いたカードにしてみることができます。それぞれのカードに、根拠のある次の操作を割り当ててください。この演習は、実際のモデルの実行や図書館システムへの実際の接続を主張することなく、状態に基づく考え方を説明するものです。
優れたインターフェースは人にもエージェントにも役立つ
明確なフィードバックは、人にとっても不確かさを減らします。「結果がありません」は、「検索を読み込めませんでした」とは異なる問いに答えています。一方、終わりが分からない装飾的な読み込み効果は、ほとんど手がかりを与えてくれません。デザインは、関係する状態をはっきり区別することで、観察のサイクルを支えることができます。
エージェントをローカルで実行するだけでは、データの流れに関するすべての疑問に答えることにはなりません。同様に、一連のクリックがうまくいったからといって、それだけで一般的に信頼できる操作が証明されるわけではありません。どちらも、実際のシステムで調べる必要があります。
応用できる考え方はもっと単純です。古い位置は恒久的な意味を持つものではありません。ある操作がインターフェースを変えうる時点で、次の判断には最新の基準が必要になります。新たな観察だけが、実行したステップと、本来達成すべきだった結果とを結び付けるのです。
出典と情報の時点
2026年十月25日時点の調査および記録です。 UI-TARS リポジトリ：UI-TARS-2 のアップデートと座標処理。
