Cohen's Kappa (評価者間一致度)
読み: こーえんのかっぱけいすう
最終更新: 2026-07-24・AI PICKS編集部
定義
Cohen's Kappaとは、2人の評価者やモデルによるラベル判定の一致度から、偶然による一致分を差し引いて算出する統計指標のこと。
Cohen's Kappa (評価者間一致度)とは — 詳しく解説
Cohen's Kappa(コーエンのカッパ係数)は、2人の評価者(またはモデルと人間)によるラベル判定の一致度から、偶然による一致分を差し引いて算出する統計指標とされる。値は-1〜1の範囲を取り、0.6以上で「実質的な一致」、0.8以上で「ほぼ完全な一致」の目安とされる。単純な一致率(Accuracy)だけでは偶然一致しやすいクラス不均衡データを過大評価する問題があり、これを補正する点が単純一致率との違いとされる。2026年時点の実運用では、LLM出力品質の人手ラベリングでアノテーター間の一致度を検証したり、コンテンツモデレーションやAI生成物検知の判定基準がぶれていないか確認する用途で使われることが多いとされる。現場でつまずきやすい落とし穴は、評価者が2人を超える場合はそのまま使えずFleiss' Kappaなど派生指標への切り替えが必要な点、クラスが極端に偏ったデータでは低く出やすく解釈を誤りやすい点とされる。コスト感としては、基準のすり合わせと定期的な再測定に工数がかかり、相場感として小規模プロジェクトでも月次程度の再検証が現場で行われることが多いとされる。
Cohen's Kappa (評価者間一致度)の使用例
- LLM出力の人手評価で、2人のアノテーター判定にKappaを算出し基準のズレをチェックする。
- 「正解率は高いのに評価者間で意見が割れる」場合、Kappaで一致度を確認し基準を見直す。
Cohen's Kappa (評価者間一致度)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・913語以上を体系的に整理しています
辞典トップへ