定義
Heron-Benchとは、日本の文化・状況を含む画像を用いて、VLM(視覚言語モデル)の日本語での画像理解力を評価するベンチマークのこと。
Heron-Bench (日本語画像理解ベンチ)とは（詳しく解説）
Heron-Benchは、Turing社が開発した日本語版VLM(視覚言語モデル)評価ベンチマークで、日本国内の風景・標識・生活文化を含む画像への質問応答を通じ、モデルの視覚理解力をLLM審査(LLM-as-a-judge)方式でスコアリングする点が特徴とされる。英語圏中心のVQA系ベンチマークで高得点のモデルでも、日本語特有の看板表記や生活習慣を写した画像では精度が落ちるケースがあることを可視化できる点が評価されている。2026年時点の実運用では、採点に使うLLM自体の性能やプロンプト設計でスコアが揺れやすく、モデル間の横比較には審査モデルの固定・バージョン管理が必須とされる。現場での選び方としては、単体スコアだけでなく英語ベンチマークとの差分を見て日本語特化のファインチューニングが必要かを判断する使い方が広く採用されている。商用APIによる採点はリクエスト数に応じてコストが積み上がるため、相場感を把握した上でサンプル数を絞って運用するのが現実的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「Heron-Bench (日本語画像理解ベンチ)とは」 https://aipicks.jp/glossary/heron-bench
Heron-Bench (日本語画像理解ベンチ)の使用例
- 「この看板は何を伝えていますか」といった、日本の生活風景を撮った画像への質問応答が出題形式の一例とされる。
- 英語版のVQA系ベンチマークで高スコアのVLMが、日本語版では順位が入れ替わることの確認に使われる。
