OSWorld (OS操作ベンチ)
読み: おーえすわーるど
最終更新: 2026-07-17・AI PICKS編集部
定義
OSWorldとは、AIエージェントが実際のデスクトップOS環境（Ubuntu・Windows・macOS相当）でファイル操作やアプリ操作を自律的にこなせるかを測る評価ベンチマークのこと。
OSWorld (OS操作ベンチ)とは — 詳しく解説
OSWorldは、AIエージェントが実際のデスクトップOS環境上でLibreOffice・GIMP・ブラウザ・ファイルマネージャーなど複数アプリケーションをまたいだ実務タスクをどこまで自律的に完遂できるかを測る評価ベンチマークで、業界標準として広く参照されている。単一アプリの操作精度だけでなく、アプリ間の切り替えやファイル保存形式の整合まで含めて成功率を採点する点が特徴とされる。2026年時点の実運用では、ベンチマークスコアが高いエージェントでも、社内独自の業務アプリやレガシーUIが絡む現場では想定通りに動かないケースが多いと指摘されている。コスト面でも、GUI操作の試行錯誤が多いモデルほどスクリーンショット解析やクリック操作の回数がかさみ、相場感としては成功率上位のエージェントほど1タスクあたりの実行コストが高くなりやすい。導入現場では、成功率の絶対値だけでなく平均試行回数や操作ステップ数も併せて確認し、自社の実際のOS環境に近い条件で選定することが選び方の基本とされる。
OSWorld (OS操作ベンチ)の使用例
- 「ブラウザで商品を検索しPDF請求書をダウンロードしてフォルダに保存せよ」といった複数アプリをまたぐ多段階タスクの完遂率を測る設定が典型例とされる。
- 成功率だけでなく平均試行回数や操作ステップ数も合わせて比較するのが選定時のポイントとされる。
OSWorld (OS操作ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・663語以上を体系的に整理しています
辞典トップへ