Promptfooは、LLMアプリやAIエージェントの脆弱性を開発段階で見つけるための、オープンソースのテストツールです。プロンプトやモデル、RAGパイプラインの評価と、攻撃を自動生成して試すレッドチーミングを1つのツールで行えます。

主な機能

レッドチーミングでは、実際の利用者を模した攻撃を対象アプリに合わせて生成します。直接・間接のプロンプトインジェクション、ガードレールに合わせたジェイルブレイク、個人情報などのデータ漏えい、業務ルール違反、エージェントの危険なツール利用、有害なコンテンツ生成などを確かめられます。npx promptfoo@latest redteam setup で設定を始められ、評価のテストはYAMLで書いてローカルで結果を見られます。GitHubやGitLab、JenkinsなどのCI/CDに組み込み、見つかった問題と修正の手引きをプルリクエスト上に返すこともできます。製品群には、実行時に攻撃を防ぐガードレール、モデル自体のセキュリティ検査、MCP通信用のプロキシ、IDEやCI/CDでのコードスキャンもあります。

料金

オープンソースのCommunity版は無料で、評価機能はすべて使え、レッドチーミングは月10kプローブまで含まれます。ローカル実行や自社インフラでのセルフホストも可能です。チームでの共有、継続的な監視、SSO、管理画面などが必要な場合は個別見積もりのEnterprise版、自社インフラで完結させるOn-Premise版があります。

注意点

コマンドラインと設定ファイルで扱う開発者向けのツールで、資料は英語です。攻撃テストは自社が管理するアプリに対してのみ実施してください。