連続バッチング (Continuous Batching)
読み: れんぞくばっちんぐ
最終更新: 2026-07-06・AI PICKS編集部
定義
連続バッチングとは、LLM推論サーバーが個々のリクエストの完了を待たずに新規リクエストをトークン単位で随時差し込みながら処理する方式のこと。
連続バッチング (Continuous Batching)とは — 詳しく解説
連続バッチング（Continuous Batching）は、LLM推論において複数リクエストを一括処理する際、各リクエストの生成完了を待たずに新しいリクエストを随時ステップ単位で差し込んでいく方式で、vLLMやTGIなど主要な推論エンジンで標準的に採用されているとされる。従来の静的バッチングでは、短い応答で終わるリクエストも同じバッチ内の最も長い生成が終わるまで待たされ、GPUが遊休状態になりやすいという課題があったが、連続バッチングはこの無駄を減らしスループットを引き上げる技術として広く知られている。2026年時点の実運用では、KVキャッシュのメモリ管理や優先度制御の設計次第でレイテンシが不安定になりやすく、現場ではリクエストの長さ分布に応じたバッチサイズ調整や、ページング方式のメモリ管理と組み合わせて運用するケースが増えているとされる。API課金型でLLMを利用する場合、この最適化の効き具合がGPUコストや利用料の相場感に直結するため、モデルやサービスを選ぶ際に推論エンジンの実装差を確認しておくことが重要になる。
連続バッチング (Continuous Batching)の使用例
- 推論基盤をvLLMに切り替え、連続バッチングでリクエスト処理のスループット改善を検討する。
- API利用コストを抑えたい場合、連続バッチング対応の推論エンジンを採用しているか事前に確認する。
連続バッチング (Continuous Batching)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・402語以上を体系的に整理しています
辞典トップへ