定義
promptfooとは、LLMプロンプトやRAGアプリケーションの出力品質を自動テストし評価するオープンソースのCLI/ライブラリのこと。
promptfoo (プロンプト評価ツール)とは（詳しく解説）
promptfooは、LLMアプリケーションのプロンプトやRAGパイプラインの出力を体系的にテストするためのオープンソースツールで、YAML設定でテストケースと評価基準(アサーション)を定義し、複数のモデルやプロンプト案を横並びで比較できる点が業界標準的な使われ方とされる。CI/CDに組み込んでプロンプト変更時のリグレッションを検知する用途で広く採用されている。2026年時点の実運用では、評価基準を単純な文字列一致や数値スコアだけに頼ると「テストは通るのに実際の回答品質は低い」というギャップが生じやすく、LLM-as-judge方式を併用してカバーする現場が増えている。コスト面では、OSS本体は無料でも評価のたびに別のLLM APIを呼び出す構成になるため、テストケース数やモデル呼び出し回数が増えるほど費用がかさむ点が見落とされがちで、本番導入前にどの程度の頻度・規模でテストを回すかによって相場感が大きく変わるとされる。選定時は、既存のプロンプト管理フローやCI環境に統合しやすいか、対応モデルの範囲、チームの学習コストを基準に検討するのが実務上のポイントとなる。
promptfoo (プロンプト評価ツール)の使用例
- YAML設定ファイルにテストケースとexpected条件を書き、promptfoo evalコマンドで複数プロンプト案の出力を一括比較する。
- CI/CDパイプラインにpromptfooを組み込み、プロンプト変更時に既存の回答品質が劣化していないかを自動チェックする。
