COMET (機械翻訳品質評価)
読み: こめっと
最終更新: 2026-07-30・AI PICKS編集部
定義
COMETとは、事前学習済み多言語モデルの埋め込みを使い、機械翻訳の品質を人間の評価と高い相関でスコア化する自動評価指標のこと。
COMET (機械翻訳品質評価)とは — 詳しく解説
COMET（Crosslingual Optimized Metric for Evaluation of Translation）は、Unbabelが開発した機械翻訳の自動評価指標。原文・機械翻訳文・人手参照訳の3つを事前学習済み多言語モデル（XLM-Rベース）に入力し、意味的な近さを回帰的にスコア化する。WMT（機械翻訳国際会議）の評価タスクでは、n-gram一致で測るBLEUより人間の判断との相関が高いとされ、翻訳品質評価の業界標準として広く採用されている。2026年時点の実運用では、GPU推論コストが落とし穴になりやすい。BLEUが軽量な文字列比較で済むのに対し、COMETは大型モデルの推論を伴うため、大量文書の一括評価では計算コストと処理時間が無視できない相場感になる。モデルのバージョンや学習データでスコアの絶対値が変動するため、異なるCOMETモデル間の比較は避け、同一モデル・同一条件での相対比較にとどめるのが現場のセオリーとされる。選定の目安は、少数言語や専門用語が多い訳文ではBLEUと併用し、意味の破綻を見逃さない体制を組むことだ。
COMET (機械翻訳品質評価)の使用例
- 翻訳モデルAとBをCOMETで比較し、意味的な破綻が少ないモデルBを本番の多言語サポート導線に採用する検討材料にした。
- 社内マニュアルの多言語翻訳でBLEUスコアが高いのに現地レビューで違和感が出たため、COMETも併用してチェック体制を見直した。
COMET (機械翻訳品質評価)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1213語以上を体系的に整理しています
辞典トップへ