定義
推論のオートスケーリングとは、LLMなどのAIモデルへのリクエスト量に応じて推論サーバーの台数やGPUリソースを自動で増減させる仕組みのこと。
推論のオートスケーリングとは（詳しく解説）
推論オートスケーリングとは、GPUサーバー台数をリクエスト数やGPU使用率に応じて自動で増減させ、レイテンシとコストのバランスを取る仕組みで、Kubernetesのオートスケーラーや各クラウドのマネージド推論サービスで広く採用されている。標準的にはキュー長・p99レイテンシ・GPU使用率を閾値としてスケールアウト/インを判断するとされる。ただし2026年時点の実運用では落とし穴も多い。GPUインスタンスは起動に数分かかりやすく、急増するトラフィックにスケールが追いつかずタイムアウトが増えることがあり、逆に閾値を保守的にしすぎると常時多めにGPUを確保しコストが膨らむ。現場での選び方としては、レイテンシ要件が厳しいサービスは最低稼働台数(ウォームプール)を確保しつつピークだけオートスケールで吸収し、コスト優先ならバッチ推論やスポットインスタンス併用でGPU単価を抑えるのが一般的とされる。相場感としてはGPU課金が推論コストの大半を占め、スケーリング設計の巧拙が月次コストに直結する。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「推論のオートスケーリングとは」 https://aipicks.jp/glossary/inference-autoscaling
推論のオートスケーリングの使用例
- 急なアクセス増でLLM APIのレイテンシが悪化した際、推論オートスケーリングでGPUノードを自動追加しタイムアウトを防ぐ。
- 深夜の低トラフィック時間帯はGPUノード数を最小構成まで縮小し、待機コストを抑える運用に使われる。
