OSWorldとは？AIエージェントのPC操作力を測るベンチマークとスコアの見方
この記事のポイント OSWorldとは、AIエージェントが本物のパソコン環境でファイル操作や表計算、ブラウザ作業をこなせるかを測る公開ベンチマークです。 スコアは「タスクの完了率」であり、チャットの賢さとは別物。会話が上手なAIでもここでは平気で失敗します。 2026年前半までに主要エージェントのスコアは大きく伸びましたが、それでも3回に1回は失敗する水準。業務に入れるなら「失敗前提の設計」が要ります。 この記事では数字の見方、版の違い、社内導入で見るべき点まで一気に整理します。
「AIエージェントがパソコンを操作してくれる」という宣伝文句を見て、じゃあ実際どれくらい使えるのかが分からず止まっている。その答え合わせに使われている物差しがOSWorldです。
OSWorldとは、AIエージェントに実際のOS環境を与えて、人間と同じようにアプリを操作しながら課題を解かせ、その完了率を測るベンチマークです。会話の正確さではなく、手を動かした結果だけで採点されます。
チャット系の指標とは評価の思想がまるで違う。ここが最初のつまずきポイントです。
OSWorldは何を測っているのか？
OSWorldが測るのは「指示された作業を、最後までやり切れたか」だけです。途中の説明がどれだけ上手でも、ファイルが正しく保存されていなければ0点になります。
エージェントに渡されるのは、画面のスクリーンショットと、キーボード・マウスの操作権限。人間がPCの前に座っている状況とほぼ同じ条件です。そこで「この表計算ファイルのA列を並べ替えて別名保存して」といった課題が出されます。
採点は人の目視ではなく、検証用スクリプトが実行結果を直接確かめる方式です。ファイルの中身、アプリの設定値、ブラウザの状態を機械が読み取って合否を出します。ここが厳格。
| 評価の観点 | OSWorldの扱い | よくある誤解 |
|---|---|---|
| 回答の文章力 | 採点対象外 | 説明が上手ければ高得点だと思われがち |
| 作業の完了状態 | 唯一の採点対象 | 「途中まで正しい」は加点されない |
| 所要時間 | スコアには直結しない | 速いモデルほど強いと誤解されやすい |
| 操作の手数 | 制限内なら自由 | 少ない手数が有利だと思われがち |
つまりOSWorldは「口が達者なAI」ではなく「作業を終わらせるAI」を選び分けるための道具です。
言い換えると、AIチャットの賢さランキングとは全く別の軸。用途を混同すると導入判断を間違えます。AIチャットそのものの選び方はチャットAIの総合ガイドにまとめてあるので、そちらと役割を分けて読むと整理が早いです。
タスクの中身はどうなっている？
OSWorldに収録されているのは369件の実タスクで、いずれも実在のアプリケーション上で完結する作業です。作り物のクイズではありません。
課題は大きく5系統に分かれます。OS標準の操作、オフィス系ソフト、日常アプリ、専門ツール、そして複数アプリをまたぐ複合作業です。この最後の複合作業がやたら難しい。
- OS操作: フォルダ作成、権限変更、システム設定の切り替え
- オフィス系: 表計算の関数入力、文書の書式修正、スライドの体裁調整
- 日常アプリ: ブラウザでの検索と入力、メールの整理、動画プレイヤーの設定
- 専門ツール: 画像編集ソフトのレイヤー処理、コードエディタでの修正
複数アプリをまたぐ課題では、ブラウザで調べた数字を表計算に転記し、さらにその結果をメールに添付する、といった連携が求められます。人間なら数分の作業。AIには鬼門です。
| タスク系統 | 難易度の体感 | つまずきの主因 |
|---|---|---|
| OS操作 | 比較的やさしい | 設定画面の階層を見失う |
| オフィス系 | 中程度 | セル参照のズレ、保存形式の間違い |
| 日常アプリ | 中程度 | 画面遷移の待ち時間を誤認する |
| 専門ツール | 難しい | ツールバーの小さなアイコンを取り違える |
| 複数アプリ連携 | 最難関 | 前の作業結果を保持できない |
表の右列を眺めると分かる通り、失敗の多くは「知識不足」ではなく「見間違い」と「手順の取りこぼし」です。
この性質は、社内の定型業務をAIに任せられるかを考えるときにそのまま効いてきます。監査や証跡確認のように手順の抜けが命取りになる領域は、社内監査でAIツールを使うときの考え方と合わせて読むと、任せる範囲の線引きがしやすくなります。
スコアはどう読めばいい？
OSWorldのスコアは「成功率(%)」です。100タスク中いくつ完了できたかという単純な数字で、部分点はありません。
ここで大事なのが人間の基準値。同じ369タスクを人が解いた場合の成功率はおよそ7割台にとどまります。全部できて当たり前ではない、という前提でスコアを見る必要があります。
なぜ人間でも取りこぼすのか。指示が曖昧なタスクや、環境依存で手順が変わるタスクが混ざっているからです。
スタンフォード大学が公開しているAI Indexの2026年版によれば、OSWorldにおけるエージェントの成功率はおよそ12%から66%前後まで伸びました。それでも約3回に1回は失敗する計算です。
ここまでの整理: OSWorldは作業完了率のみを見る厳しい指標。人間の基準値が7割台、AIは6割台後半まで来た。数字が伸びても「3回に1回コケる」現実は変わっていません。
スコアの読み違いで多いパターンを表にまとめます。
| 見かけの数字 | ありがちな解釈 | 正しい読み方 |
|---|---|---|
| 60%台 | 半分以上できるなら実用的 | 10件中4件が失敗。無人運用は不可 |
| 70%台 | 人間並みに到達 | タスク集合が同じ場合のみ比較可能 |
| 80%台 | ほぼ完成 | 検証環境と版が違えば横並び比較は無効 |
| 前年比の伸び幅 | 来年には100%近い | 難タスクほど伸びが鈍る傾向がある |
数字の絶対値より「どの版で、どの条件で測ったか」の方が判断材料としては重い、というのが結論です。
OSWorld-VerifiedとOSWorld 2.0は何が違う？
OSWorldは公開後に2度の大きな更新を経ています。この違いを知らずにスコアを比べると、そもそも土俵が違う数字を並べることになります。
2025年7月28日に公開されたOSWorld-Verifiedは、利用者から報告された不備のあるタスクを修正した改訂版です。加えてAWS上での実行に対応し、評価にかかる時間が1時間以内まで短縮されました。
そして2026年6月26日にOSWorld 2.0が登場しています。公式サイトは最新版としてこちらを案内しています。
| 版 | 位置づけ | 押さえる点 |
|---|---|---|
| OSWorld（初版） | 最初の公開版 | 一部タスクに不備があった |
| OSWorld-Verified | 検証済みの改訂版 | クラウド実行対応で評価が高速化 |
| OSWorld 2.0 | 現行の最新版 | 公式が最新として案内している |
ベンダーが出すスコアには、どの版で測ったかが小さく書かれていることが多いです。そこを読まずに比較表を作ると数字がねじれます。
なお、公開されている上位スコアには商用エージェントの自己申告値も混ざります。第三者の再現がない数字は、参考値として一段割り引いて扱うのが安全です。
なぜPC操作はAIにとって難しいのか？
文章生成と比べて、画面操作は失敗の連鎖が起きやすい作業です。1手目の押し間違いが、以降の全手順を無意味にします。
チャットなら1回の返答で完結します。PC操作は数十手の連続。1手あたりの成功率が98%でも、30手続けば全体の成功率は5割近くまで落ちます。掛け算の残酷さ。
さらに厄介なのが、画面の状態を読み取る精度です。似たアイコンの取り違え、スクロールで隠れた項目の見落とし、読み込み中の画面を完了と誤認する。どれも人間なら一瞬で気づくミスです。
失敗要因を整理すると、次の4つに集約されます。
- 画面認識のズレ: 小さいUI部品や重なった要素の判別に弱い
- 状態の記憶落ち: 数十手前にコピーした値を保持し損ねる
- 待ち時間の誤認: 処理中の画面を「終わった」と判断して次に進む
- 復帰の下手さ: ミスに気づいても元の手順に戻れず迷子になる
この4つは、AIを社内業務に入れるときのチェック項目にそのまま転用できます。特に「復帰の下手さ」は事故に直結する。
画面認識の弱さは、生成系AIの他分野でも共通の課題です。細かい構図制御が効きにくい点は画像生成でも同じで、ComfyUIとStable Diffusionの比較を読むと、AIに細部を任せたときの限界が別の角度から見えてきます。
業務に入れる判断はどうする？
OSWorldのスコアが高いエージェントを選べば安心、とはなりません。判断に使うべきなのは「自社の業務が、どのタスク系統に似ているか」です。
たとえば経理の転記作業なら、オフィス系と複数アプリ連携の性質を強く持ちます。最難関の系統です。一方、社内フォルダの整理やファイル名の一括変更ならOS操作系。ここは比較的通ります。
導入可否の目安を表にしました。
| 業務の性質 | 近いタスク系統 | 現時点の判断 |
|---|---|---|
| ファイル整理・命名規則の統一 | OS操作 | 任せてよい。確認は事後で足りる |
| 定型フォーマットへの転記 | オフィス系 | 半自動が現実的。人の目視確認を挟む |
| 調査結果のまとめ作成 | 日常アプリ | 下書きまで任せ、事実確認は人が持つ |
| 請求・支払いなど金銭が動く処理 | 複数アプリ連携 | 現時点では任せない一択 |
| 顧客への送信を伴う作業 | 複数アプリ連携 | 送信直前に必ず人の承認を挟む |
線引きの原則はシンプルです。間違えたときに取り返しがつく作業だけを任せる。
金銭と対外送信は外す。この2つを守るだけで、エージェント導入の事故はかなり減らせます。
調査系の作業をAIに寄せたいなら、汎用エージェントに丸投げするより専用の検索AIを使う方が精度が出ます。日本語の調査用途ならFeloの使い方ガイドが具体的です。
OSWorldのスコアが高いと何ができるようになる？
スコアの上昇が実務で意味するのは、「人の確認回数を減らせる」ことです。作業そのものが不可能から可能になる、という話ではありません。
成功率50%のエージェントは、2件に1件を人がやり直します。これでは任せる意味が薄い。成功率が70%を超えると、失敗分の手戻りを含めても人が全部やるより速くなる場面が出てきます。
損益分岐点はおおよそ「成功率 × 節約時間 > 確認と手直しの時間」で考えられます。確認コストが重い業務ほど、必要な成功率は上がります。
- 確認が軽い業務（ファイル整理など）: 成功率6割でも元が取れる
- 確認が重い業務（数値の転記など）: 成功率9割でも人の目視は外せない
- 対外的な影響がある業務: 成功率の高低に関わらず承認を挟む
この計算をせずに「スコアが上がったから任せよう」と決めると、確認作業が増えて逆に遅くなります。よくある失敗。
自分でOSWorldを動かせる？
動かせます。タスク一式と評価スクリプトは公式リポジトリで公開されており、仮想マシンを立ち上げて実行する形になります。
必要なのは、仮想マシン環境と、評価対象のモデルを呼び出す設定です。ローカルでも動きますが、369タスクを回すとかなり時間がかかります。クラウド実行に対応した版を使う方が現実的です。
ただし、自社で回す価値があるかは別問題です。公開スコアを見れば大枠は掴めるので、独自に回すのは「自社アプリを含めた独自タスクを追加したい」場合に限られます。
| やりたいこと | 自前実行の要否 | 代替手段 |
|---|---|---|
| モデルの大まかな実力把握 | 不要 | 公開スコアの確認で足りる |
| 自社アプリでの操作精度検証 | 必要 | 独自タスクを追加して実行 |
| 導入前の稟議資料づくり | 不要 | 公開データと業務適合の整理で足りる |
| 継続的な性能監視 | 条件付きで必要 | 主要タスクだけを抜き出して定期実行 |
ほとんどの企業にとっては、自前実行は過剰投資です。公開スコアを読み解く力の方が費用対効果が高い。
他のベンチマークとの使い分けは？
AIの実力を測る指標は複数あり、それぞれ見ている能力が違います。OSWorldだけで全部を判断するのは無理があります。
知識量を測る指標、コード生成を測る指標、長文の読解を測る指標。これらとOSWorldは補完関係にあります。
| 測りたいこと | 見るべき指標の種類 | OSWorldで分かるか |
|---|---|---|
| 知識の広さ・正確さ | 知識系の総合テスト | 分からない |
| コードを書く力 | コード生成の評価指標 | 部分的にしか分からない |
| 長文の理解力 | 長文読解の評価指標 | 分からない |
| 画面を見て操作する力 | OSWorld | これが本領 |
| 複数手順を最後までやり切る力 | OSWorld | よく分かる |
エージェント製品を検討しているなら、OSWorld系の数字を主軸に据える。チャット用途で選ぶなら別の指標を見る。この使い分けが基本です。
複数のAIサービスを横断して比べたいときは、各社の位置づけを整理しておくと早いです。大手の一角についてはMeta AIの機能まとめで全体像を掴めます。
導入前に社内で確認しておくことは？
技術スコアの前に、社内側の準備で詰まる例が多いです。エージェントにPCを触らせるという行為は、権限設計の話でもあります。
確認すべきは次の4点です。どれも情報システム部門との合意が要ります。
- 実行環境: 実機ではなく仮想環境で動かせるか
- 権限範囲: どのフォルダ・どのアプリまで触らせるか
- 操作ログ: 何をしたかを後から追える形で残るか
- 停止手段: 想定外の動きをしたとき即座に止められるか
特に操作ログは軽視されがちですが、事故が起きたときに原因を特定できるかどうかを分けます。ここが弱いと、何が起きたか分からないまま止めることになる。
権限範囲は狭く始めるのが鉄則です。広げるのは後からいくらでもできます。
AI PICKS編集部の判定
OSWorldは、AIエージェント選びで今いちばん見る価値のある指標です。会話の上手さと作業の完遂力がまったく別物だと数字で突きつけてくれる点が重宝します。逆に言えば、この指標を見ずにエージェント製品を比べるのは正直かなり危うい。
ただしスコアの絶対値を鵜呑みにするのは微妙です。版が3つあり、測定条件も揃っていない。ベンダー自己申告の数字が混ざる以上、80%台という表示を見ても「どの版で、誰が測ったか」を確認しない限り意味を持ちません。ここを飛ばした比較記事が世の中に多すぎます。
実務目線での結論はこうです。成功率が6割台という現実は「人の確認を減らせるが、なくせはしない」段階を意味します。ファイル整理や下書き作成のように失敗が安いところから任せ、金銭処理と対外送信は当面外す。この線引きを守れば、今の水準でも十分に元が取れます。数字の伸びを待つより、任せる業務の選び方を磨く方が早い。
よくある質問（FAQ）
Q. OSWorldのスコアが高いAIを選べば業務は自動化できますか
完全な自動化はまだ難しいです。現時点の上位スコアでも失敗は残るため、確認工程を前提にした設計が必要になります。失敗しても取り返しがつく作業から始めてください。
Q. OSWorldとチャット系の性能指標はどちらを重視すべきですか
用途で決まります。PC操作を任せたいならOSWorld系、文章作成や相談相手として使うなら知識・生成系の指標です。両方の数字が高いモデルが必ずしも自社に合うとは限りません。
Q. 人間のスコアが7割台というのは低すぎませんか
指示が曖昧なタスクや環境依存のタスクが混ざっているためです。この数値は「満点が難しい問題集」であることを示しており、AIのスコアを読むときの物差しとして使われます。
Q. OSWorld-VerifiedとOSWorld 2.0のスコアは比較できますか
そのまま並べるのは避けた方がよいです。タスク内容や評価条件が更新されているため、異なる版の数字を横並びにすると誤った結論になります。比較するなら同一版のスコア同士で行ってください。
Q. 日本語の業務でも同じ結果が出ますか
タスクは英語ベースで作られているため、日本語環境での挙動は別途検証が必要です。日本語のUIやフォント、全角文字の扱いでつまずく場面は実際にあります。自社環境での小規模テストを推奨します。
Q. 自社でOSWorldを実行する必要はありますか
多くの企業には不要です。公開スコアで大枠は掴めます。自社独自のアプリケーション操作を検証したい場合のみ、独自タスクを追加して実行する価値があります。
Q. エージェントに社内PCを直接操作させても大丈夫ですか
仮想環境での実行を強く推奨します。実機を直接触らせる構成は、想定外の操作が起きたときの影響範囲が読めません。権限も必要最小限から始めてください。
Q. スコアはこの先どこまで伸びますか
伸び幅は鈍化する可能性があります。残っているのは複数アプリ連携のような難しいタスクで、ここは単純なモデル改良では解けにくい領域です。楽観的な予測に投資判断を寄せない方が安全です。
あわせて見たいツール・カテゴリ
エージェント選びを進めるなら、実際の製品も並べて見ておくと判断が早くなります。
- AIエージェントカテゴリ — PC操作・自律実行系のツールをまとめて確認できます
- AIエージェントランキング — 評価順で候補を絞り込みたいときに
- Manus — 自律実行型エージェントの代表格として押さえておきたい1つ
- Open Interpreter — ローカル環境でコード実行を伴う操作を試せます
- Claude — 画面操作系の機能を持つモデルの動向を追うなら
- ChatGPT — エージェント機能とチャット機能の違いを体感するのに手頃です
- AI自動化カテゴリ — 画面操作より先に、API連携で済む業務がないかを確認できます
- 業務効率化ランキング — 日常業務の置き換え候補を探すときに
自動化の入り口としては、画面操作より先にAPI連携で解決できないかを疑うのが定石です。
次に読むならこれ: 画像まわりの自動化も検討しているなら、AIイラスト生成ツールの選び方へ。AIに任せられる作業と任せられない作業の線引きが、別の題材で腹落ちします。
各ツールの公式サイト（一次情報）
料金・機能・対応範囲は各社公式が一次情報です。本記事は公開時点の検証に基づきますが、最新かつ正確な条件は必ず各公式ページで確認してください。
