LiteLLMとは
LiteLLMは、OpenAI・Anthropic・Google・Cohere・Mistralなど100以上のLLMプロバイダーを単一のOpenAI互換APIで呼び出せるLLMゲートウェイ（プロキシサーバー）です。モデル切替時のコード改修を最小化し、特定ベンダーへのロックインを回避できます。複数モデルを組み合わせたAIアプリケーション開発や、社内全体のLLM利用コスト・アクセス権限を一元管理したいMLOps/プラットフォームチーム向けのインフラ層として設計されています。
主要機能
統一APIインターフェース: OpenAI SDKのフォーマットのまま、Claude・Gemini・Bedrock・Azure・Vertex AIなど100+モデルを呼び出し可能。プロバイダー追加時のSDK書き換え工数を、数日規模から数十分に短縮できます。
階層型予算管理: Global予算 → Team予算 → Member予算 → APIキー予算という4階層で上限設定が可能。部門別・プロジェクト別の月次コストを自動で集計し、暴走課金を防止します。
フォールバック・ロードバランシング: 第一候補モデルがエラー時に自動で代替モデルへ切替、稼働率を底上げ。RPM/TPM制限も透過的に処理します。
コストトラッキング・監査ログ: トークン単価をモデル別に上書き可能で、PostgreSQL/Langfuse連携によるリクエスト履歴の永続化に対応します。
編集部の検証メモ
公開ドキュメントとEnterprise比較ページを照合した結果、無料のセルフホスト版でも予算管理・フォールバック・キー発行といった本番運用の核機能を網羅しており、内製ゲートウェイを構築する場合と比べて開発工数を1〜2人月削減できる試算です。Portkey・Helicone等の競合と比べると、OSSとして全機能をセルフホスト可能な点と、OpenAI互換性の徹底度が差別化ポイント。月$10,000規模のLLM利用がある組織なら、フォールバック導入によるダウンタイム削減と、Team単位のコスト可視化による無駄削減で、5〜15%程度のコスト最適化余地が見込めます。
想定ユーザー
複数LLMプロバイダーを横断利用するエンジニアリングチーム、社内LLM基盤を整備したいプラットフォーム/MLOpsチームに最適です。一方、単一モデルしか使わない個人開発者や、ノーコードでAIを使いたい非エンジニアにはオーバースペックで、純正SDKやChatGPT Teamの方が向いています。
