ガイド
AI用語辞典評価指標
lm-evaluation-harness (LLM評価ツール)
読み: えるえむいーばりゅえーしょんはーねす
最終更新: 2026-08-14・AI PICKS編集部
定義
lm-evaluation-harnessとは、複数の標準ベンチマークでLLMの性能を自動評価するOSSツールのこと。
lm-evaluation-harness (LLM評価ツール)とは — 詳しく解説
lm-evaluation-harnessは、EleutherAIが開発したオープンソースのLLM評価フレームワークで、MMLUやHellaSwagなど数百種の標準ベンチマークを共通コマンドで実行できることから、研究機関やAIベンダーの性能比較で事実上の業界標準として広く採用されているとされる。2026年時点の実運用では、ベンチマークスコアが高くても実際のプロダクト用途でのタスク適合度とは乖離しやすく、評価結果だけを鵜呑みにせず自社データでの追加検証が現場では必須とされる。GPU実行時間に応じたクラウドコストがかさむため、評価対象モデル数を絞るなど相場感を踏まえた運用設計が求められる。
lm-evaluation-harness (LLM評価ツール)の使用例
- MMLUやHellaSwagなど複数ベンチマークをコマンド一つで一括実行し、モデル間のスコアを横並び比較できる。
- lm_eval --model hf --model_args pretrained=<model> --tasks mmlu,hellaswag のように実行する。
lm-evaluation-harness (LLM評価ツール)に関連するAIツール
lm-evaluation-harness (LLM評価ツール)の関連記事
関連用語
「評価指標」の他の用語
MMLU
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
HumanEval
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
LM Arena (Chatbot Arena)
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマーク (Benchmark)
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-bench
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQA
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
用語がわかったら、次はツール選び
12カテゴリ・1468語以上を体系的に整理しています