本ページはプロモーションを含みます（掲載基準）
トークン毎秒 (スループット)の定義
トークン毎秒（TPS、Tokens Per Second）とは、LLMが1秒間に何トークンを出力できるかを表す速度の指標のことです。数字が大きいほど文章が速く表示され、LLMの性能比較でよく使われます。
- 英語表記・略称
- Tokens Per Second（TPS）、tokens/s、tok/s
- 2つの見方
- システム全体のTPS（同時に処理する全リクエストの合計）と、ユーザー1人あたりのTPS（1つの応答の速さ）がある
- 同時アクセスとの関係
- 同時リクエストが増えるとシステム全体のTPSは上がるが、1人あたりのTPSは下がる（NVIDIAの定義）
- 一緒に見る指標
- TTFT（最初のトークンが届くまでの時間）、ITL（トークン同士の間隔。TPOTとも）
- 比較サイトでの呼び方
- Artificial Analysisでは「Output Speed」。最初のトークンを受け取った後の1秒あたりの平均トークン数
トークン毎秒 (スループット)とは（詳しく解説）
トークン毎秒（TPS: Tokens Per Second）は、LLMの出力の速さを表す指標です。トークンとは、AIが扱う文字のかたまりのこと。1秒間に何トークン出せるかで、文章が画面に流れてくる速さがわかります。 TPSには2つの見方があります。NVIDIAのベンチマーク解説では、同時に処理する全リクエストの合計を「システム全体のTPS」、1つの応答の速さを「ユーザー1人あたりのTPS」と分けています。同時リクエストが増えると、システム全体のTPSは上がりますが、1人あたりのTPSは下がります。サービスを運営する側は前者、使う側は後者を気にすると考えるとわかりやすいです。 TPSだけを見ると判断を誤ります。一緒に見たいのが、質問を送ってから最初のトークンが届くまでの時間（TTFT）です。TPSが高くても、TTFTが長ければ書き出しまで待たされます。比較サイトのArtificial Analysisも、TTFTと出力速度（Output Speed）を分けて計測しています。 速度はモデルの大きさ、使うGPU、混み具合、プロンプトの長さで大きく変わります。測り方もツールによって違うため、数字を比べるときは定義がそろっているかを確かめましょう。チャットや音声応答のように待ち時間が気になる用途では、自分の使い方に近い条件で実際に測ってから選ぶのが確実です。
トークン毎秒 (スループット)を調べた人に
声を
ナレーションづくりや、曲からボーカルだけを抜き出す作業をブラウザでできます。
Audible（オーディブル）プロの声優・俳優の朗読を聴き比べられる。30日間無料で試せる
オーディオブック ／ 30日間無料体験・以後プレミアム月1,500円
トークン毎秒 (スループット)のよくある質問
Q. LLMのTPSとは何ですか？
LLMが1秒間に出力するトークン数のことです。たとえば100 TPSなら、1秒で100トークン分の文章が出てきます。
Q. TPSとTTFTの違いは何ですか？
TTFTは質問を送ってから最初の1トークンが届くまでの待ち時間で、TPSは出力が始まった後の速さです。TPSが高くてもTTFTが長いと、書き出しまで待たされるので体感は遅くなります。
Q. TPSは何で変わりますか？
モデルの大きさ、GPUなどの機材、同時に処理するリクエスト数、プロンプトの長さで変わります。長いプロンプトほどTTFTが延び、出力速度も落ちやすいとされています。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「トークン毎秒 (スループット)とは」 https://aipicks.jp/glossary/tokens-per-second
トークン毎秒 (スループット)の使用例
- 音声 AI では TPS 100 以上を確保しないと会話が途切れ途切れになるため、API 選定時に混雑時の最低 TPS を必ず確認する。
- 月 1,000 万トークン超のバッチ処理では、専用スループット枠 (Provisioned Throughput) で TPS を固定しコスト安定を図る設計が定石。
トークン毎秒 (スループット)に関連するAIツール
トークン毎秒 (スループット)の関連記事
トークン毎秒 (スループット)の関連用語
12カテゴリ・1854語以上を体系的に整理しています