定義
トークン効率とは、LLMへの入出力に使うトークン数あたりでどれだけの性能や成果を引き出せるかを示す指標のことである。
トークン効率 (Token Efficiency)とは(詳しく解説)
トークン効率とは、LLMが処理する入力・出力トークン数に対して、どれだけ精度の高い成果を引き出せるかを表す考え方で、モデル選定やプロンプト設計の評価軸として業界で広く使われている。トークン数はAPI課金の基準となるため、同じ品質の出力をより少ないトークンで得られるほどコストは下がるとされる。2026年時点の実運用では、長大なコンテキストを丸ごと投入する設計や冗長なfew-shot例が、精度向上より先にコスト増を招く落とし穴として指摘されている。現場での選び方としては、RAGで関連情報だけを絞り込んで渡す、プロンプトを簡潔に保つ、モデルのコンテキストウィンドウをキャッシュ機能で再利用するといった工夫が採られることが多い。相場感としては、入力トークンより出力トークンの単価が高いモデルが一般的であるため、出力の冗長さを削る設計がコスト最適化の観点で重視される傾向にある。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「トークン効率 (Token Efficiency)とは」 https://aipicks.jp/glossary/token-efficiency
トークン効率 (Token Efficiency)の使用例
- 同じ回答精度なら、長いコンテキストを丸ごと渡すよりRAGで関連箇所だけ抽出する方がトークン効率は高い。
- プロンプト末尾に不要な参考資料を貼り付けると、出力品質が変わらないままコストだけ増えトークン効率が下がる。