Keletとは

Keletは、LLMアプリケーションで発生する出力品質の低下やハルシネーション、レイテンシ悪化、プロンプトの意図しない挙動といった「原因が見えにくい不具合」の根本原因を切り分けるRoot Cause Analysis（RCA）エージェントです。一般的なAPMやログ監視ツールでは捉えきれないLLM特有の挙動にフォーカスし、ログとトレースを横断的に分析することで、どの工程で品質が崩れたのかを特定します。生成AIをプロダクションで運用するエンジニアリングチームや、AIエージェント開発組織のデバッグ・品質改善業務を支援する位置づけのツールです。

主要機能

  • LLMトレース解析: プロンプト、入力コンテキスト、モデル出力、後段処理までを一連のフローとして可視化し、品質が劣化した工程を切り分け。経験エンジニアが半日かけて追うログ調査を、数十分単位に圧縮することを目指す設計。
  • ハルシネーション原因特定: 出力が事実から逸脱した際に、コンテキスト不足・検索精度・プロンプト構造のどれが起因かを推定。RAGパイプラインのどのRetrieverが該当を返したかまで掘り下げる用途を想定。
  • レイテンシ分解: モデル呼び出し、ツール呼び出し、エンベディング生成など各レイヤの所要時間を切り出し、ボトルネック工程を提示。
  • 回帰検知: プロンプト変更やモデルバージョン更新前後で、出力品質の劣化パターンを比較追跡。

編集部の検証メモ

編集部では公開情報および類似カテゴリのオブザーバビリティ製品（LangSmith、Langfuse、Arize Phoenix、Helicone等）と機能要件を比較検討しました。Keletの差別化ポイントは「ダッシュボードを見て人間が原因を推測する」のではなく、エージェント自身がRCAを実行し原因仮説を提示する点に整理されます。料金プランは公式サイト（kelet.ai）に明示がなく、商用導入時は問い合わせベースになる前提です。仮にエンジニア1名が週8時間をLLMアプリのデバッグに費やしている場合（人件費換算で月15-20万円相当）、RCA時間を半減できれば月7-10万円規模の工数削減が見込める計算で、専任SRE未配置のAIスタートアップほど投資回収が早い構造といえます。

想定ユーザー

本番稼働中のLLM/AIエージェントを抱え、品質ばらつきや障害切り分けに工数を取られている開発・運用チームに向いています。一方、社内チャットボット程度のライトな利用や、まだプロンプト試作段階のフェーズでは過剰投資となるため、汎用APMやLangfuse等の軽量トレーシングで十分です。