本ページはプロモーションを含みます（掲載基準）
Cohen's Kappa (評価者間一致度)の定義
コーエンのカッパ係数（Cohen's kappa）とは、2人の評価者がつけたラベルがどれくらい一致しているかを、偶然の一致を差し引いて表す統計指標のことです。値は-1〜1で、1に近いほど一致しています。
- 英語表記・記号
- Cohen's kappa（κ係数）
- 提唱
- ジェイコブ・コーエン（J. Cohen）「A coefficient of agreement for nominal scales」1960年、Educational and Psychological Measurement誌
- 計算式
- κ =（実際の一致率 − 偶然に一致する確率）÷（1 − 偶然に一致する確率）
- 値の目安
- 1は完全な一致、0は偶然と同じ程度。よく使われる目安では0.61〜0.80がかなりの一致、0.81以上がほぼ完全な一致
- 評価者が3人以上の場合
- Fleiss' kappa（フライスのカッパ）を使う
- 主なツール
- Pythonのscikit-learn（sklearn.metrics.cohen_kappa_score）。順序のあるラベルには重み付きカッパ（linear / quadratic）も計算可能
Cohen's Kappa (評価者間一致度)とは（詳しく解説）
コーエンのカッパ係数は、2人の評価者の判定がどれくらいそろっているかを表す数値です。1960年にジェイコブ・コーエンが論文で発表しました。ポイントは、偶然に一致した分を差し引くこと。2人が適当に答えても、ある程度は同じ答えになるからです。 計算は「実際の一致率から偶然の一致率を引き、1から偶然の一致率を引いた値で割る」だけです。値は-1〜1の範囲で、1なら完全に一致、0なら偶然と同じ程度です。よく使われる目安では0.61〜0.80がかなりの一致、0.81以上がほぼ完全な一致とされます。ただ、この目安は甘すぎるという指摘もあり、医療系の論文では0.8未満を「強い一致」と認めない、より厳しい目安も示されています。 AIの分野では、学習用データのラベル付けや、AIの回答を人が採点するときの品質確認に使われます。2人の判定のカッパ係数が低ければ、採点基準があいまいなサインです。基準を見直してから評価をやり直しましょう。AIの判定と人の判定がどれくらい合うかを測るのにも使えます。 注意点は2つあります。評価者が3人以上なら、Fleiss' kappaという別の指標を使います。また「よい・ふつう・わるい」のように順序のあるラベルでは、近い判定を部分的に一致とみなす重み付きカッパが向いています。Pythonならscikit-learnのcohen_kappa_scoreで、どちらも計算できます。
Cohen's Kappa (評価者間一致度)を調べた人に
ChatGPT・
複数のAIに同じ質問をして答えを比べたり、講座で使い方を体系立てて学んだりできます。
初月10ドルオフ（新規ユーザー）
ChatGPTやClaudeへの長い指示を、打たずに声で入力できる。日本語にも対応し、Mac・Windowsのどのアプリでも使える（無料は1,000語まで）
AI音声・文字起こし ／ 最低料金 ¥0〜
Cohen's Kappa (評価者間一致度)のよくある質問
Q. カッパ係数はどれくらいなら合格ですか？
よく使われる目安では0.61以上でかなりの一致、0.81以上でほぼ完全な一致とされます。ただし医療系の論文には、0.8未満を強い一致と認めない厳しい目安もあります。
Q. 単純な一致率と何が違いますか？
一致率は、たまたま同じ答えになった分も含めて数えます。カッパ係数はその偶然の一致を差し引くので、特定のラベルばかりのデータでも一致度を正しく見やすくなります。
Q. AIの評価ではどう使いますか？
AIの回答に人が「良い・悪い」などのラベルをつけるとき、2人の判定がぶれていないかの確認に使います。AIの判定と人の判定の一致度を測るのにも使えます。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「Cohen's Kappa (評価者間一致度)とは」 https://aipicks.jp/glossary/cohens-kappa
Cohen's Kappa (評価者間一致度)の使用例
- LLM出力の人手評価で、2人のアノテーター判定にKappaを算出し基準のズレをチェックする。
- 「正解率は高いのに評価者間で意見が割れる」場合、Kappaで一致度を確認し基準を見直す。
Cohen's Kappa (評価者間一致度)に関連するAIツール
Cohen's Kappa (評価者間一致度)の関連記事
Cohen's Kappa (評価者間一致度)の関連用語
12カテゴリ・1815語以上を体系的に整理しています