JHumanEval (日本語コード生成ベンチ)
読み: じぇいひゅーまんえばる
最終更新: 2026-07-30・AI PICKS編集部
定義
JHumanEvalとは、コード生成AIの性能を日本語のdocstringやコメント環境下で測定するために作られた評価ベンチマークのこと。
JHumanEval (日本語コード生成ベンチ)とは — 詳しく解説
HumanEval形式(関数シグネチャとdocstringから本体コードを生成させ、テストケースの通過率をpass@kで測る手法)の指示文をそのまま日本語化したベンチマークがJHumanEvalと呼ばれる。英語コーパス中心で学習されたLLMは日本語プロンプトだと内部で英語思考に引き寄せられやすく、曖昧な日本語要件や全角記号の扱いでスコアが英語版より下振れするケースが指摘されている。2026年時点の実運用では、単一のpass@1スコアだけでモデルを決めるのは危険とされ、自社のコードベースや業務ドメインに近いタスクでの追加検証が推奨される。評価やモデル切り替えには推論コストが伴うため、現場ではベンチマーク順位に加えてAPI料金の相場感やレイテンシも含めて総合的に選定するのが一般的とされる。
JHumanEval (日本語コード生成ベンチ)の使用例
- 「与えられた文字列が回文かどうか判定する関数を書いてください」のような日本語docstring形式の設問がJHumanEvalの典型例とされる。
- コード生成モデルを比較する際は、JHumanEvalのpass@1スコアと日本語特有のエラー傾向を合わせて見る使い方が想定される。
JHumanEval (日本語コード生成ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1213語以上を体系的に整理しています
辞典トップへ