有害性スコア (Toxicity)
読み: ゆうがいせいすこあ
最終更新: 2026-07-26・AI PICKS編集部
定義
有害性スコア（Toxicity）とは、AIが生成する文章に含まれる差別・暴力・ハラスメントなどの有害度合いを数値化した評価指標のこと。
有害性スコア (Toxicity)とは — 詳しく解説
有害性スコアとは、AIが生成したテキストに含まれる差別的表現・暴力表現・ハラスメント・自傷助長などの有害性を0〜1(または0〜100)のスコアで数値化した評価指標のこと。Google Perspective APIやOpenAIのモデレーションAPIのように、暴力・性的表現・ヘイトスピーチ等の複数カテゴリごとにスコアを算出する方式が広く採用されているとされる。実運用で最大の悩みどころは閾値設定で、厳しくしすぎると正当な議論や医療・法律相談まで誤ブロックし、緩めると有害コンテンツがすり抜ける。現場では業界・用途ごとに閾値をチューニングし、人間レビューと併用する二段構えの運用が2026年時点の定石とされる。モデレーションAPI自体は低コストで導入できる一方、誤検知ログを人手で再チェックする運用コストが実運用の負担になりやすく、選定時はAPI単体の相場感だけでなくレビュー工数まで含めて比較する必要がある。
有害性スコア (Toxicity)の使用例
- 「以下のテキストの有害性スコアを0〜1で採点し、暴力・差別・ハラスメントのどれに該当するか分類してください」
- コメント欄で有害性スコア0.7以上の投稿を自動非表示にする閾値ルールを運用ポリシーに設定する。
有害性スコア (Toxicity)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1013語以上を体系的に整理しています
辞典トップへ