定義
MultiChallengeとは、大規模言語モデルが複数ターンにわたる対話で指示を正確に保持し一貫して応答できるかを測る評価ベンチマークのこと。
MultiChallenge (マルチターン評価ベンチ)とは（詳しく解説）
MultiChallengeは、単発の質問応答では見えない複数ターン対話でのモデル劣化を検出するために設計された評価ベンチマークで、指示の保持、文脈の一貫性、曖昧な追加質問への対応力などを複数カテゴリで採点する構成が一般的とされる。単一ターンのベンチマークで高スコアを出すモデルでも、3〜5往復を超えるとユーザーの初期指示を忘れたり、矛盾する回答を返したりする傾向が知られており、こうした弱点を可視化する点に価値がある。2026年時点の実運用では、カスタマーサポートや営業アシスタントのように長い対話が前提の現場ほどこの種の評価が重視される一方、ベンチマーク実行自体に多くのAPI呼び出しを要するため、モデル選定のたびに全量を回すとコスト面で無視できない負担になる。現場での選び方としては、自社ユースケースに近い対話ターン数・ドメインに絞ったサブセットで定期的に相場感を確認し、フルスイートは新モデル採用時などの節目に限定して回すのが現実的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「MultiChallenge (マルチターン評価ベンチ)とは」 https://aipicks.jp/glossary/multichallenge
MultiChallenge (マルチターン評価ベンチ)の使用例
- 5ターン目で「最初に伝えた予算条件」を守れているかを確認する評価タスク
- 会話中盤で追加された制約条件と矛盾する回答をしていないかのチェック項目
