位置バイアス (Position Bias)
読み: いちばいあす
最終更新: 2026-07-27・AI PICKS編集部
定義
位置バイアス（Position Bias）とは、LLM評価や検索ランキングで、内容の質ではなく提示順序（先頭か末尾か）によって評価や選択結果が偏ってしまう現象のこと。
位置バイアス (Position Bias)とは — 詳しく解説
位置バイアスは、LLM-as-a-Judge方式の自動評価やペアワイズ比較で、比較対象の提示順序自体が評価スコアに影響を与える現象を指す。同じ回答ペアでも順序を入れ替えると勝敗が変わるケースが多く報告されており、評価者となるLLMが先頭または末尾の回答を系統的に優遇する傾向があるとされる。2026年時点の実運用では、A/Bテストやモデル比較、RAGのリランキング評価にLLM-as-a-Judgeを組み込む現場が広く増えているが、補正せず採用すると評価結果の信頼性が下がり、モデル選定を誤るリスクがある。対策として、提示順序をランダム化して複数回評価する、AとBを入れ替えて平均を取る「swap評価」、統計的に補正するキャリブレーション手法を使う、といった手法が一般的とされる。評価回数が倍増するぶん追加のAPIコストがかかる点も選定時の考慮事項で、相場感としては評価対象数の2倍程度の推論コストを見込む必要がある。現場では重要な意思決定にはswap評価、日次の簡易モニタリングには片方向評価と使い分ける運用が現実的とされる。
位置バイアス (Position Bias)の使用例
- 回答Aと回答Bの提示順序を入れ替えて再評価し、両方向のスコアを平均する「swap評価」を実施する。
- LLM-as-a-Judgeでモデル比較を行う際は提示順序をランダム化し、位置バイアスの影響を確認してから評価を回す。
位置バイアス (Position Bias)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1063語以上を体系的に整理しています
辞典トップへ