ガイド
AI用語辞典評価指標
JDocQA (日本語文書理解ベンチ)
読み: じぇいどっくきゅーえー
最終更新: 2026-08-31・AI PICKS編集部
定義
JDocQAとは、日本語の文書画像を対象に質問応答性能を測る評価用ベンチマークデータセットのことである。
JDocQA (日本語文書理解ベンチ)とは — 詳しく解説
JDocQAは、請求書・報告書・パンフレットなど日本語の文書画像から質問に回答する能力を測定するために設計された学術ベンチマークで、OCRを介さずに画像とテキストを組み合わせたマルチモーダルLLMの文書理解力を評価する指標として知られる。表・グラフ・レイアウトを含む実文書を対象とする点が特徴で、単純な読解ベンチマークより難易度が高いとされる。2026年時点の実運用では、スコアが高いモデルでも日本語特有の縦書き・複雑な表組み・手書き混在の文書では精度が落ちやすいという落とし穴が現場で指摘されている。ベンチマーク自体は無料で利用できるが、実運用でモデルを継続評価する場合は推論コストや評価パイプラインの構築コストが相場感として無視できず、導入企業は自社文書に近いサンプルでの追加検証を組み合わせるのが一般的とされる。
JDocQA (日本語文書理解ベンチ)の使用例
- 「この請求書の合計金額はいくらですか」のような文書画像への質問に正答できるかを測る設問形式が中心となる。
- 契約書PDFの条項要約をAIに尋ねる社内文書検索システムの精度検証にJDocQA形式の設問が応用される例がある。
JDocQA (日本語文書理解ベンチ)に関連するAIツール
JDocQA (日本語文書理解ベンチ)の関連記事
関連用語
「評価指標」の他の用語
MMLU
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
HumanEval
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
LM Arena (Chatbot Arena)
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマーク (Benchmark)
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-bench
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQA
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
用語がわかったら、次はツール選び
12カテゴリ・1568語以上を体系的に整理しています