ScreenSpot (GUI要素特定ベンチ)の定義
ScreenSpotとは、スマホ・Web・デスクトップのスクリーンショット上で、自然言語の指示に対応するUI要素の位置を特定できるかを測るベンチマークのこと。
ScreenSpot (GUI要素特定ベンチ)に関連するツール
ScreenSpot (GUI要素特定ベンチ)とは（詳しく解説）
ScreenSpotは、GUIエージェントがスクリーンショットだけを手がかりに操作対象を見つけられるかを測る評価指標で、モバイル・Web・デスクトップの画面に自然言語の指示を添えて出題し、正しい要素の位置を指せたかを正答率で示す。2024年に公開され、GUI操作モデルの比較で広く採用されているとされる。実運用では、位置特定の精度が高くてもタスク全体の成功率に直結しない点が落とし穴になる。ScreenSpotは単一ステップの特定のみを測るため、複数手順の操作や画面遷移、エラー処理は別のベンチマークで確認する必要がある。また、画面の解像度やテーマが評価時と現場で違うと精度が下がりやすく、スクリーンショットの画像トークンが増えるぶんコストも膨らむ。2026年時点では上位モデルの数値が飽和しつつあるとされ、導入時は自社の画面で小規模な検証を行い、特定精度と推論コストの両面から選ぶのが現実的だ。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「ScreenSpot (GUI要素特定ベンチ)とは」 https://aipicks.jp/glossary/screenspot
ScreenSpot (GUI要素特定ベンチ)の使用例
- 例：スマホ画面のスクショに「設定アイコンをタップ」と指示し、モデルが返した座標が正解の要素枠内に入れば正解とする。
- 評価の使い分け：ScreenSpotで要素特定力を比較し、複数手順の完遂力は別のエージェント用ベンチで確認する。
ScreenSpot (GUI要素特定ベンチ)に関連するAIツール
ScreenSpot (GUI要素特定ベンチ)の関連記事
ScreenSpot (GUI要素特定ベンチ)の関連用語
用語がわかったら、次はツール選び
12カテゴリ・1775語以上を体系的に整理しています