Video-MME (動画理解ベンチ)
読み: びでおえむえむいー
最終更新: 2026-07-22・AI PICKS編集部
定義
Video-MMEとは、マルチモーダルAIモデルの動画理解能力を、短尺から長尺までの多様な動画と質問応答セットで測定するベンチマークのこと。
Video-MME (動画理解ベンチ)とは — 詳しく解説
Video-MMEは、数十秒の短尺クリップから1時間超の長尺動画までを対象に、字幕・音声・映像フレームを組み合わせたマルチモーダル質問応答で構成される動画理解ベンチマークで、GPT-4oやGemini、Qwen-VLなど主要なマルチモーダルLLMの動画理解精度を横並びで比較する用途で広く採用されているとされる。ただし2026年時点の実運用では、ベンチマークスコアが高いモデルでも長尺動画になるとフレームサンプリングの粗さから重要な場面を取りこぼし、現場での要約精度や検索精度がスコアほど伸びないという落とし穴が指摘されている。また動画1本あたりのフレーム抽出・音声書き起こし・推論にかかるトークン量が画像単体や短文入力に比べて大きく膨らみやすく、コスト面では相場感が数倍〜数十倍になるケースもあるとされる。そのため現場で動画理解モデルを選定する際は、ベンチマーク順位だけでなく、実際に扱う動画の長さやフレームレートに近い条件で自社データによる実測検証を行うことが推奨されている。
Video-MME (動画理解ベンチ)の使用例
- 長尺の会議録画をVideo-MME形式のQAで評価し、要約AIが重要な決定事項を拾えているか検証する。
- 動画検索機能に使うLLMを選ぶ際、Video-MMEのスコアと自社動画データでの実測精度を突き合わせて比較する。
Video-MME (動画理解ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・863語以上を体系的に整理しています
辞典トップへ