GUIグラウンディング (画面要素の座標特定)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。「送信ボタンを押して」という指示に対し、スクリーンショットからボタン位置を認識し座標を出力してクリックを実行する。/ブラウザ操作エージェントが検索窓の位置を画面画像から特定し、クリック後にテキストを入力する。

AI用語辞典AIエージェント

GUIグラウンディング (画面要素の座標特定)

読み: じーゆーあいぐらうんでぃんぐ

最終更新: 2026-09-01・AI PICKS編集部

定義

GUIグラウンディングとは、AIエージェントが画面のスクリーンショットやDOM情報からボタン・アイコンなどの操作対象を認識し、クリックやタップすべき座標へ変換する技術のこと。

GUIグラウンディング (画面要素の座標特定)とは — 詳しく解説

GUIグラウンディングとは、AIエージェントが画面のスクリーンショットやDOM情報から操作対象のUI要素を認識し、クリックやタップに必要な座標へ変換する技術を指す。大規模マルチモーダルモデルにビジョン系の認識能力を組み込み、テキスト指示から実際の画面操作へ橋渡しする役割を担うとされる。2026年の実運用では、解像度やスケーリングの違いによる座標ズレ、動的に変化するUIでの誤認識、類似アイコンの取り違えなどが落とし穴として指摘される。現場では精度を担保するため、スクリーンショットの前処理やリトライ機構、人間による最終確認ステップを組み合わせる運用が広く採用されている。コスト面では画面解析のたびにモデル呼び出しが発生するため操作回数が多い自動化ほど推論コストが積み上がりやすく、相場感としてはタスクの複雑さに応じた従量課金を提示するベンダーが多い。選定時はグラウンディング精度のベンチマークと料金体系の両方を確認することが重要とされる。

GUIグラウンディング (画面要素の座標特定)の使用例

「送信ボタンを押して」という指示に対し、スクリーンショットからボタン位置を認識し座標を出力してクリックを実行する。
ブラウザ操作エージェントが検索窓の位置を画面画像から特定し、クリック後にテキストを入力する。

GUIグラウンディング (画面要素の座標特定)に関連するAIツール

AI Worker（旧AI Messenger）

GUIグラウンディング (画面要素の座標特定)の関連記事

ガイド2026年6月16日

自動車販売・整備の現場でAIは何ができる？実務での使い道 (2026年版)

自動車の販売店・整備工場でAIに任せられる仕事は、もう未来の話ではありません。問い合わせ応答、在庫と価格の最適化、車両診断、見積や契約の事務処理が、すでに現場で動いています。ディーラー営業・整備フロント・買取査定の3つの現場ごとに、何ができて何ができないかを切り分けました。

autogptは2026年も使えるのか｜本体0円の始め方と月$5で止める上限設定

autogptはソフト本体が0円のオープンソースで、実際に減るのはLLMのAPI代だけです。10ステップの調べもので数十円、100ステップ放置で数千円。Dockerでの起動手順、月$5のハードリミットの入れ方、LangGraphやCrewAIに任せたほうが早い場面まで2026年の実情で切り分けます。