コールドスタート (推論の初回遅延)

コールドスタート (推論の初回遅延)とは — 詳しく解説

コールドスタートとは、サーバーレス基盤やオンデマンドのGPUインスタンス上でAIモデルが一定時間呼び出されず休止(スケールダウン)した状態から、次のリクエストを受けて重みの読み込みやGPUメモリへの展開を行い、推論可能になるまでの遅延を指す一般的なインフラ用語である。モデルサイズが大きいほど、また量子化やコンテナイメージが重いほど遅延は伸びる傾向があるとされ、数秒から数十秒に及ぶこともあると広く知られている。2026年時点の実運用では、常時起動(ウォーム)インスタンスを維持してコールドスタートを回避する構成が一般的だが、その分の待機コストが発生するため、リクエスト頻度が低いエンドポイントほど「レイテンシ」と「コスト」のトレードオフが現場での大きな悩みどころになる。相場感としては、常時起動を選ぶか、コールドスタートを許容してオンデマンド課金に寄せるかは、想定トラフィックのばらつきとSLA要件次第で判断が分かれるとされ、現場ではまずリクエストの閑散期・繁忙期の分布を計測してから構成を選ぶアプローチが推奨される。

コールドスタート (推論の初回遅延)に関連するAIツール

LLMAPI.JP

2.44有料

tsuzumi（NTT）

2.37有料

Obviously AI

2.83有料

Replit

3.40フリーミアム

Poe by Quora

3.37フリーミアム

関連用語

「インフラ・学習」の他の用語