AI PICKS
AI用語辞典評価指標

BIRD (Text-to-SQL評価ベンチ)

読み: ばーど てきすととぅーえすきゅーえる ひょうかべんち

最終更新: 2026-08-12・AI PICKS編集部

定義

BIRDとは、実データベース規模でText-to-SQLモデルの精度を測る代表的な評価ベンチマークのこと。

BIRD (Text-to-SQL評価ベンチ)とは — 詳しく解説

BIRD（BIg Bench for LaRge-scale Database grounded text-to-SQL evaluation）は、自然言語の質問をSQLへ変換するText-to-SQLモデルの精度を測る評価ベンチマークで、2023年に研究者らによって公開されたとされる。Spiderなど従来のベンチマークより大規模で実務に近いデータベース群と、表記ゆれや曖昧さを含む質問文を用いる点が特徴とされ、SQL文の文字列一致ではなく実行結果の正誤で判定する実行精度(EX)が主要指標として広く採用されている。2026年時点の実運用における落とし穴としては、BIRDでのスコアが高いモデルでも、自社独自のスキーマ設計やカラム命名規則、欠損値の扱いに対しては精度が大きく落ちるケースが指摘されており、ベンチマークの数値をそのまま導入判断に使うのは危険とされる。現場での選び方としては、BIRDのスコアを一次スクリーニングの目安としつつ、実際に自社データの一部を使って追加評価する二段階の検証がコスト面でも現実的とされる。

BIRD (Text-to-SQL評価ベンチ)の使用例

  • 例: 「過去1年で売上上位10商品を抽出して」という自然言語質問に対するSQL生成精度をBIRDで評価する。
  • 例: 候補モデルのBIRDスコアを比較した後、自社DBの一部データで追加検証してから本番導入する。

BIRD (Text-to-SQL評価ベンチ)に関連するAIツール

BIRD (Text-to-SQL評価ベンチ)の関連記事

関連用語

LLM (大規模言語モデル)RAG (検索拡張生成)ファインチューニングハルシネーション

「評価指標」の他の用語

MMLU

Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。

HumanEval

OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。

LM Arena (Chatbot Arena)

ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。

ベンチマーク (Benchmark)

ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。

SWE-bench

SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。

GPQA

GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。

用語がわかったら、次はツール選び

12カテゴリ・1418語以上を体系的に整理しています

AIに相談して選ぶ
辞典トップへ