GPU / 推論 / 量子化 / FP8など計算基盤
137語を50音順で表示
インフラ・学習の用語137語
- RLHF (人間のフィードバックによる強化学習)あーるえるえいちえふRLHFとは、人間の評価・フィードバックを報酬信号として活用し、LLMの出力を人間の意図に沿わせる強化学習手法のこと。
- RLAIF (AIフィードバックによる強化学習)あーるえるえーあいえふRLAIFとはAIモデルが別のAIに評価・フィードバックを与え、強化学習でモデル品質を向上させる学習手法のこと。人間ラベラーを介さずスケーラブルにモデルを改善できる点が最大の特徴。
- RLVR (検証可能報酬による強化学習)あーるえるぶいあーるRLVRとは、正解が自動判定できるタスクの出力を検証器で採点し、その報酬でLLMを強化学習する手法のこと。
- Azure AI Foundry (MicrosoftのAI開発基盤)あじゅーるえーあいふぁうんどりーAzure AI Foundryとは、MicrosoftがAzure上で提供するAI開発基盤で、モデル選定から開発・評価・運用までを一元管理できることを指す。
- AdamW (最適化アルゴリズム)あだむだぶりゅーAdamWとは、Adam最適化アルゴリズムの重み減衰(weight decay)計算を勾配更新から分離し、過学習を抑えやすくした改良版の最適化手法のこと。
- Attention 機構あてんしょん入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
- Amazon Bedrock (AWSの基盤モデル基盤)あまぞんべっどろっくAmazon Bedrockとは、Anthropic・Meta・Amazon自社モデルなど複数の基盤モデルをAPI経由でまとめて呼び出せるAWSのマネージド型サービスのこと。
- ウェハスケールエンジン (Cerebras)うぇはすけーるえんじんウェハスケールエンジンとは、シリコンウェハ1枚全体を1つの巨大チップとして使うCerebras社のAIプロセッサ設計のこと。
- HBM (高帯域幅メモリ)えいちびーえむ（こうたいいきはばめもり）HBMとは、複数のDRAMチップを垂直に積層し、GPUなどのプロセッサ近傍に配置することで広帯域なデータ転送を実現するメモリ規格のこと。
- AIアライメント (価値整合)えーあいあらいめんとAIアライメントとは、 AI の出力や振る舞いを 人間の意図・価値観・安全基準に一致させる技術と設計プロセスのこと。
- AI電力消費 (データセンター電力制約)えーあいでんりょくしょうひAI電力消費とは、AIモデルの学習・推論を担うデータセンターが消費する電力量と、それに伴う電力供給網の制約のことである。
- AIファクトリー (GPUデータセンター)えーあいふぁくとりーAIファクトリーとは、数万〜数十万基規模のGPUを集積し、大規模言語モデルの学習・推論に特化して設計された超大規模データセンターのことである。
- エージェント強化学習 (Agentic RL)えーじぇんときょうかがくしゅうエージェント強化学習とは、 AI エージェントが複数ステップの行動 (ツール呼び出し・検索・コード実行) を実際に行い、 その結果得られる報酬信号でモデル自体を継続的に更新する学習手法のこと。
- AWQ (活性化考慮量子化)えーだぶりゅーきゅーAWQとは、活性化値の分布をもとに重要な重みだけ精度を保ち、他を低ビット化するLLM量子化手法のこと。
- ABCI (産総研AI計算基盤)えーびーしーあいABCI とは、 産業技術総合研究所 (産総研) が構築・運用する 国内最大級の AI 計算基盤 (スーパーコンピュータ) のこと。
- エキスパート並列 (Expert Parallelism)えきすぱーとへいれつエキスパート並列とは、Mixture of Experts（MoE）モデルの各エキスパート（専門家サブネット）を複数のGPUに分散配置し、並列に計算させる分散学習・推論手法のこと。
- 液冷 (AIデータセンター冷却)えきれい液冷とは、GPUサーバーなど発熱の大きい機器を冷却水や特殊液体で直接冷やすAIデータセンターの冷却方式のことで、空冷より高密度な排熱に対応できる。
- SGLang (推論サーバ)えすじーらんぐSGLangとは、大規模言語モデル(LLM)の推論処理を高速化するために設計されたオープンソースの推論サーバフレームワークのこと。
- NPU (ニューラル処理ユニット)えぬぴーゆーNPU (ニューラル処理ユニット) とは、ニューラルネットワークの推論を専門に高速処理する半導体チップのこと。スマホやPCに搭載され、AI処理をCPU・GPUより低消費電力で実行する。
- NVFP4 (4ビット浮動小数点)えぬぶいえふぴーふぉーNVFP4とは、NVIDIAが提唱する4ビット浮動小数点(FP4)のデータ形式で、AIモデルの学習・推論の演算量とメモリ使用量を削減する技術のこと。
- FSDP (完全シャード化データ並列)えふえすでぃーぴーFSDPとは、モデルのパラメータや勾配、オプティマイザ状態を複数GPUに分割して保持し、計算時にだけ必要な部分を集めて学習する分散学習手法のこと。
- FP8 (8ビット浮動小数点)えふぴーえいとFP8とは8ビットの浮動小数点形式でAIモデルの数値を表現する量子化技術のこと。従来のFP32・BF16より演算速度と省メモリを両立し、大規模モデルの学習・推論コストを大幅に削減する。
- エポック (Epoch)えぽっくエポックとは、機械学習の学習プロセスにおいて、訓練データセット全体をモデルに1回すべて通過させる単位のことをいう。
- MXFP4 (4ビット浮動小数点)えむえっくすえふぴーふぉーMXFP4とは、4ビットの浮動小数点値をブロック単位の共有スケール係数と組み合わせて表現する軽量な数値量子化フォーマットのこと。
- MN-Core (国産AIアクセラレータ)えむえぬこあMN-Coreとは、Preferred Networksが開発したディープラーニングの学習処理に特化した国産AIアクセラレータのこと。
- MFU (モデルFLOPs利用率)えむえふゆーMFU（モデルFLOPs利用率）とは、GPUの理論上の最大演算性能に対し、実際のモデル学習で引き出せている計算性能の割合のこと。
- MLA (多頭潜在注意)えむえるえーMLA(多頭潜在注意)とは、Transformerの推論時にKVキャッシュを低ランクの潜在ベクトルに圧縮し、メモリ使用量と計算コストを削減するAttention機構の改良版のこと。
- MLOps (機械学習運用基盤)えむえるおぷすMLOps(機械学習運用基盤)とは、機械学習モデルの開発から本番投入・監視・再学習までを一連の工程として自動化し継続的に管理する仕組みのこと。
- MoE (混合エキスパート)えむおーいーMoE（混合エキスパート）とは、複数の専門サブネットワーク（エキスパート）を持ち、入力トークンごとに一部だけを活性化させるスパース型ニューラルネットワーク設計手法のこと。
- LLMOps (LLM運用基盤)えるえるえむおぷすLLMOpsとはLLM（大規模言語モデル）の開発・評価・デプロイ・監視を一貫して管理するための運用基盤とプロセスの総称のこと。
- LPU (言語処理ユニット)えるぴーゆーLPU(言語処理ユニット)とは、Groqが開発した大規模言語モデルの推論に特化した専用プロセッサのことで、GPUより高速かつ低遅延なトークン生成を実現する技術のこと。
- ONNX (モデル交換フォーマット)おーえぬえぬえっくすONNX(Open Neural Network Exchange)とは、異なる機械学習フレームワーク間でモデルを変換・共有するためのオープンな交換フォーマットのこと。
- OpenAI互換APIおーぷんえーあいごかんえーぴーあいOpenAI互換APIとは、OpenAIのChat Completions API仕様に準拠し、同じリクエスト/レスポンス形式で呼び出せる他社・OSSのLLM APIのこと。
- Ollama (ローカルLLM実行)オラマOllama とは、LLM を自分の PC やサーバー上でダウンロードして動かせるローカル実行ツールのこと。
- オンデバイスAI (On-device AI)おんでばいすえーあいオンデバイスAIとは、クラウドサーバーへ送信せずデバイス本体（スマートフォン・PC・IoT機器など）上でAIモデルを直接推論・実行する技術のこと。
- 過学習 (Overfitting)かがくしゅう過学習とは、モデルが訓練データに適合しすぎて未知データへの汎化性能が著しく低下する現象のこと。
- 学習データキュレーション (Data Curation)がくしゅうでーたきゅれーしょん学習データキュレーションとは、AIモデルの学習に使うデータを収集・選別・クレンジングし、品質と多様性を高めて学習に適した状態に整える一連の作業のこと。
- 学習率 (Learning Rate)がくしゅうりつ学習率(Learning Rate)とは、ニューラルネットワークの学習でパラメータをどれだけ大きく更新するかを決めるハイパーパラメータのこと。
- 確率的勾配降下法 (SGD)かくりつてきこうばいこうかほう確率的勾配降下法(SGD)とは、学習データをランダムに抽出したミニバッチ単位で誤差を計算し、勾配に沿ってパラメータを少しずつ更新していく機械学習の最適化アルゴリズムのことである。
- カリキュラム学習 (Curriculum Learning)かりきゅらむがくしゅうカリキュラム学習(Curriculum Learning)とは、易しい学習データから徐々に難しいデータへ段階的に難易度を上げて訓練する機械学習の学習戦略のこと。
- 機械学習きかいがくしゅうデータから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
- QAT (量子化認識学習)きゅーえーてぃーQATとは、推論時に低ビットで量子化することを前提に、学習段階からその誤差を模擬しながらパラメータを調整し、精度劣化を抑えつつ軽量化する量子化認識学習の手法のこと。
- QLoRA (量子化LoRA)きゅーろーらQLoRAとは、大規模言語モデルを4bit量子化した状態でLoRA(低ランク適応)を適用し、少ないGPUメモリでファインチューニングする軽量学習手法のこと。
- 強化学習 (Reinforcement Learning)きょうかがくしゅう強化学習とは、エージェントが環境との試行錯誤を通じて報酬を最大化する行動を自律的に習得する機械学習手法のこと。ChatGPT・ClaudeのRLHFチューニングにも使われる基盤技術。
- 教師強制 (Teacher Forcing)きょうしきょうせい教師強制とは、系列生成モデルの学習時にモデル自身の予測ではなく正解データを次ステップの入力として与える学習手法のことである。
- CUDA (GPU並列計算基盤)くーだCUDAとは、NVIDIAのGPU上で並列計算を実行するためのプログラミングモデル・開発環境のことで、AI学習や推論の高速化に広く使われている。
- GRPO (グループ相対方策最適化)ぐるーぷそうたいほうさくさいてきかGRPOとはグループ相対方策最適化のことで、強化学習を使ってLLMをファインチューニングする手法。複数の出力をグループ化し相対的な報酬で学習するため、従来のPPOより計算コストが低い。
- グロッキング (突発的汎化)ぐろっきんぐグロッキングとは、ニューラルネットワークが訓練データを暗記した状態のまま学習を続けた末に、ある時点で汎化性能が急激に向上する現象のこと。
- 継続事前学習 (Continual Pre-training)けいぞくじぜんがくしゅう継続事前学習とは、学習済みの大規模言語モデルに新しいデータで追加の事前学習を行い、知識やドメイン適応力を更新する手法のこと。
- KVキャッシュ (KV Cache)けーぶいきゃっしゅKVキャッシュとは、LMの推論時に自己注意機構のキー（K）・バリュー（V）行列を再計算せずメモリ上に保持する高速化技術のこと。
- KVキャッシュオフロード (KV Cache Offloading)けーぶいきゃっしゅおふろーどKVキャッシュオフロードとは、LLM推論時に生成されるKey-Valueキャッシュの一部をGPU VRAMから外部メモリ(CPU RAM/SSD等)に退避させる技術のこと。
- 憲法AI (Constitutional AI)けんぽうえーあい憲法AIとは、AIモデルに「守るべき原則リスト（憲法）」を与えて自己批判と修正を繰り返させ、安全かつ倫理的な応答を引き出す訓練手法のこと。
- 語彙拡張 (日本語トークナイザ拡張)ごいかくちょう語彙拡張 (日本語トークナイザ拡張) とは、 LLM のトークナイザに 日本語特有の専門用語・固有名詞・業界略語を 追加登録し、 不要な分割を減らして 認識精度とトークン効率を高める調整のこと。
- 合成データ (Synthetic Data)ごうせいでーた合成データとは、実データの統計的特性を模倣してAIが人工的に生成したデータのこと。個人情報保護や収集コストの削減を目的に、モデル学習・テスト用途で広く活用される。
- 勾配チェックポイント (Gradient Checkpointing)こうばいちぇっくぽいんと勾配チェックポイントとは、モデル学習時に中間活性化を保存せず必要時に再計算することでGPUメモリ使用量を削減する手法のこと。
- コールドスタート (推論の初回遅延)こーるどすたーとコールドスタートとは、休止していたAIモデルが次のリクエストで推論可能な状態に立ち上がるまでに生じる、初回応答の遅延のこと。
- 誤差逆伝播 (Backpropagation)ごさぎゃくでんぱん誤差逆伝播とは、ニューラルネットワークの出力誤差を逆方向にたどりながら各層の重みの勾配を計算し、学習を進めるアルゴリズムのこと。
- Common Crawl (Web大規模コーパス)こもんくろーるCommon Crawlとは、インターネット上のWebページを定期的に大規模収集し、誰でも無料で利用できる形で公開しているアーカイブデータおよびその非営利団体のことである。
- 混合精度学習 (Mixed Precision)こんごうせいどがくしゅう混合精度学習とは、ニューラルネットワークの学習でFP16やBF16などの低精度演算とFP32の高精度演算を使い分け、計算速度とメモリ効率を高める手法のこと。
- コンテキスト並列 (Context Parallelism)こんてきすとへいれつコンテキスト並列とは、LLMの学習・推論において長大な入力系列をGPU間で分割し同時処理する並列化手法のこと。
- サーバーレス推論 (Replicate / fal 型の従量API)さーばーれすすいろんサーバーレス推論とは、AIモデルの推論処理をAPI経由のリクエスト単位・従量課金で呼び出せる仕組みのこと。
- さくら高火力 (国内GPU基盤)さくらこうかりょくさくら高火力とは、さくらインターネットが国内データセンターで提供するGPUクラウド基盤のことで、生成AIの学習・推論に使う高性能GPUを従量課金で利用できるサービスを指す。
- GQA (グループ化クエリ注意)じーきゅーえーGQA（グループ化クエリ注意）とは、複数のクエリヘッドでKeyとValueをグループ単位で共有し、推論時のメモリ使用量と計算コストを抑える注意機構の一種のこと。
- GGUF (量子化モデル形式)じーじーゆーえふGGUFとは、大規模言語モデルを量子化し、CPUやローカル環境でも高速に動作させるためのファイル形式のこと。
- GPTQ (訓練後量子化手法)じーぴーてぃーきゅーGPTQとは、学習済みの大規模言語モデルの重みを再学習なしで4bit程度まで圧縮する訓練後量子化(PTQ)手法のことである。
- GPU間相互接続 (NVLink / InfiniBand)じーぴーゆーかんそうごせつぞくGPU間相互接続とは、複数のGPUをまたいでデータを高速にやり取りするための専用回線のことで、代表例がNVIDIAのNVLinkとネットワーク規格のInfiniBandである。
- GPUクラウド (GPUaaS)じーぴーゆーくらうどGPUクラウド（GPUaaS）とは、AI学習・推論に必要な高性能GPUを、自社で購入・保守せずクラウド経由で必要な分だけ借りられるサービスのこと。
- 思考連鎖蒸留 (CoT Distillation)しこうれんさじょうりゅう思考連鎖蒸留(CoT Distillation)とは、大規模モデルが生成した思考の連鎖(CoT)を教師データにして、小型モデルへ推論能力を転移学習させる手法のこと。
- 事後学習 (Post-training)じごがくしゅう事後学習 (Post-training) とは、 事前学習を終えた LLM に SFT や RLHF などを追加適用し、 対話性・指示追従性・安全性を高める仕上げ工程のこと。
- 自己教師あり学習 (Self-Supervised Learning)じこきょうしありがくしゅう自己教師あり学習とは、人手のラベル付けなしにデータ自体が持つ構造から予測タスクを自動生成し、その正解を使ってモデルを訓練する学習手法のこと。
- 事前学習 (Pre-training)じぜんがくしゅう事前学習とは、大規模言語モデルをインターネット上の膨大なテキストデータで学習させ、汎用的な言語理解・生成能力を獲得させる訓練フェーズのこと。
- 実験管理 (Experiment Tracking)じっけんかんり実験管理(Experiment Tracking)とは、機械学習モデルの学習条件・ハイパーパラメータ・評価指標・成果物を記録し、複数の試行を比較・再現できるようにする運用手法のこと。
- GENIAC (経産省の計算資源支援)じにあっくGENIACとは経済産業省とNEDOが生成AI基盤モデル開発を支援するために計算資源(GPU等)を提供する国のプログラムのこと。
- 蒸留 (Distillation)じょうりゅう蒸留とは、大規模な「教師モデル」の知識を小規模な「生徒モデル」に転移させ、軽量化・高速化を図る機械学習の手法のこと。
- スケーリング則 (Scaling Laws)すけーりんぐそくスケーリング則とは、モデルサイズ・データ量・計算量を増やすほどAIの性能が予測可能な形で向上するという経験則のこと。
- スパースアテンション (Sparse Attention)すぱーすあてんしょんスパースアテンションとは、Transformerの自己注意機構において全トークンペアを計算せず、重要な一部のみに絞って計算量とメモリを削減する手法のこと。
- スポットGPU (プリエンプティブル実行)すぽっとじーぴーゆー(ぷりえんぷてぃぶるじっこう)スポットGPUとは、クラウド事業者の余剰GPU容量を通常より大幅に低価格で借りられる代わり、需要増加時は強制的に処理が中断されるプリエンプティブル型の実行方式のこと。
- Slurm (計算資源のジョブ管理)すらーむSlurmとは、GPUクラスタやスーパーコンピュータの計算資源を複数のジョブに割り当てて実行順序を管理する、オープンソースのジョブスケジューラのこと。
- スライディングウィンドウ注意 (SWA)すらいでぃんぐういんどうちゅういスライディングウィンドウ注意(SWA)とは、各トークンが固定幅の近傍範囲だけに注意を向けることで計算量とメモリ使用量を抑えるTransformerの注意機構のこと。
- 早期終了推論 (Early Exit)そうきしゅうりょうすいろん早期終了推論とは、ニューラルネットワークの推論において全層を通さず、途中の層で十分な確信度が得られた時点で計算を打ち切り高速化する手法のこと。
- Softmax (ソフトマックス関数)そふとまっくすかんすうSoftmax（ソフトマックス関数）とは、複数の数値を合計が1になる確率分布に変換する関数のことで、ニューラルネットワークの分類やAttentionの出力に使われる。
- 損失関数 (Loss Function)そんしつかんすう損失関数とは、機械学習モデルの予測値と正解値とのズレの大きさを数値で表す関数のことで、学習の過程ではこの値が小さくなるようパラメータが調整されていく。
- 中間学習 (Mid-training)ちゅうかんがくしゅう中間学習 (Mid-training) とは、 事前学習と 指示チューニングの間に挟む 追加学習フェーズのこと。 推論力や長文処理耐性を強化する目的で行う。
- DPO (直接選好最適化)でぃーぴーおー（ちょくせつせんこうさいてきか）DPO（直接選好最適化）とは、報酬モデルを使わずに人間の選好データから直接LLMを最適化するファインチューニング手法のこと。
- TPU (テンソル処理ユニット)てぃーぴーゆー（てんそるしょりゆにっと）TPUとはGoogleが開発したAI・機械学習専用のカスタムチップのこと。行列演算を高速化し、GPU比で数倍〜数十倍のスループットを実現する。
- DeepSpeed (分散学習基盤)でぃーぷすぴーどDeepSpeedとは、Microsoftが開発した分散学習・推論最適化ライブラリのこと。ZeROというメモリ分割技術で、数十億〜数千億パラメータ規模のモデル学習を可能にする。
- ディープラーニングでぃーぷらーにんぐニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
- データ拡張 (Data Augmentation)でーたかくちょうデータ拡張とは、手持ちの学習データに回転・反転・ノイズ付加などの変換を加えて水増しし、モデルの汎化性能を高める機械学習の前処理手法のこと。
- データの壁 (Data Wall)でーたのかべデータの壁とは、大規模言語モデルの事前学習に使える高品質なテキストデータの供給が有限で、いずれ枯渇するとされる制約のこと。
- データ並列 (Data Parallelism)でーたへいれつデータ並列とは、同じモデルの複製を複数のGPUに配置し、学習データをバッチ単位で分割して各GPUに割り当て並列に処理する分散学習の手法のこと。
- データレイクハウス (AI向けデータ基盤)でーたれいくはうすデータレイクハウスとは、データレイクの柔軟な大容量格納力とデータウェアハウスの構造化・高速分析機能を統合したAI向けデータ基盤のこと。
- 転移学習 (Transfer Learning)てんいがくしゅう転移学習とは、ある課題で学習済みのモデルが持つ知識を別の関連課題に応用し、少ないデータや計算資源で新しいタスクに適応させる機械学習の手法のこと。
- TensorRT-LLM (NVIDIA推論エンジン)てんそーあーるてぃーえるえるえむTensorRT-LLMとは、NVIDIA GPU向けに最適化された大規模言語モデル(LLM)推論を高速化するオープンソースの推論エンジンのことである。
- テンソル並列 (Tensor Parallelism)てんそるへいれつテンソル並列とは、巨大なニューラルネットワークの1層内の行列演算を複数のGPUに分割し、同時並行で計算させる並列化手法のこと。
- 投機的デコーディング (Speculative Decoding)とうきてきでこーでぃんぐ投機的デコーディングとは、小さなドラフトモデルが先読みしたトークン列を大型モデルが並列検証することで推論速度を2〜4倍に高めるLLM高速化手法のこと。
- torch.compile (グラフ最適化)とーちどっとこんぱいるtorch.compile とは PyTorch 2.0 以降に搭載された、 モデルの計算グラフを事前にコンパイルして推論・学習を高速化する最適化機能のこと。
- 特徴量ストア (Feature Store)とくちょうりょうすとあ特徴量ストアとは、機械学習で使う特徴量（モデルへの入力データ）を一元管理し、学習時と推論時で同じ値を一貫して提供するための基盤のこと。
- TransformerとらんすふぉーまーSelf-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
- Triton (GPUカーネル記述言語)とりとんTritonとは、Pythonライクな文法でGPU向け高速カーネルを直接記述できるOpenAI発のオープンソース言語のことである。
- ドロップアウト (Dropout)どろっぷあうとドロップアウトとは、ニューラルネットワークの学習時に一定確率でノードを無効化し、特定ニューロンへの依存を減らして過学習を防ぐ正則化手法のこと。
- PyTorch (深層学習フレームワーク)ぱいとーちPyTorchとは、Metaが開発したオープンソースの深層学習フレームワークのことで、動的計算グラフにより柔軟なモデル構築ができる点が特徴。
- パイプライン並列 (Pipeline Parallelism)ぱいぷらいんへいれつパイプライン並列とは、巨大なニューラルネットワークを層(レイヤー)単位で複数のGPUに分割し、ミニバッチを流れ作業のように順次処理させる並列学習・推論手法のこと。
- Hugging Face (モデル共有基盤)はぎんぐふぇいすHugging Faceとは、AIモデル・データセット・デモアプリを誰でも公開/検索/共有できる、機械学習分野で事実上の標準となっているプラットフォームのこと。
- バッチAPI (非同期一括推論)ばっちえーぴーあいバッチAPIとは、大量の推論リクエストを非同期でまとめて処理し、即時応答より低コストを優先するLLM APIの利用方式のこと。
- バッチサイズ (Batch Size)ばっちさいずバッチサイズとは、機械学習モデルの学習において一度のパラメータ更新に使用する学習データのサンプル数のこと。
- 破滅的忘却 (Catastrophic Forgetting)はめつてきぼうきゃく破滅的忘却とは、AIモデルが新しいタスクやデータで追加学習を行うと、それまで習得していた知識やスキルの精度が急激に低下してしまう現象のこと。
- bfloat16 (BF16)びーふろーとじゅうろくbfloat16(BF16)とは、指数部をFP32と同じ8ビット確保し仮数部を7ビットのみにした16ビット浮動小数点形式のこと。
- ファインチューニングふぁいんちゅーにんぐ既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
- vLLM (推論サーバ)ぶいえるえるえむ（すいろんさーば）vLLMとはオープンソースのLLM推論フレームワークのこと。独自のPagedAttentionアルゴリズムで高スループットを実現し、自社GPUサーバ上にOpenAI互換APIを構築できる。
- Blackwell (NVIDIA GPU世代)ぶらっくうぇるBlackwellとは、NVIDIAが2024年に発表した次世代GPUアーキテクチャの名称で、Hopper世代の後継として大規模AI学習・推論向けに設計された半導体基盤のこと。
- FlashAttention (フラッシュアテンション)ふらっしゅあてんしょんFlashAttentionとはTransformerの注意機構をGPUメモリ階層を活かして高速・省メモリで実行するアルゴリズムのこと。長文脈処理の計算コストを大幅に削減する。
- Prefill/Decode分離 (Disaggregated Inference)ぷりふぃる・でこーどぶんりPrefill/Decode分離とは、LLM推論におけるプロンプト処理(Prefill)と逐次生成(Decode)を別々のGPU群に分離して実行する推論アーキテクチャのこと。
- FLOPs (浮動小数点演算量)ふろっぷすFLOPsとは、AIモデルの学習や推論に必要な浮動小数点演算の合計回数を示す指標のこと。モデル規模や学習コストの比較の物差しとして使われる。
- PagedAttention (ページ化注意)ぺーじどあてんしょんPagedAttentionとは、LLM推論のKVキャッシュをOSのページング方式でブロック単位管理し、メモリ断片化を抑えて処理効率を高める仕組みのこと。
- Vertex AI (Google CloudのAI基盤)べーてっくすえーあいVertex AIとは、Googleが提供する機械学習モデルの開発・学習・デプロイを一元管理できるクラウド型AI基盤のこと。
- PEFT (パラメータ効率的微調整)ぺふとPEFTとは、大規模言語モデルの全パラメータを更新せず、LoRAなど少数パラメータのみを調整することで、低コスト・短時間でモデルを特定タスクに適応させる微調整手法群のこと。
- 報酬モデル (Reward Model)ほうしゅうもでる報酬モデルとは、人間のフィードバックを学習し、AIの出力がどれだけ望ましいかをスコアリングするモデルのこと。
- MIG (GPU分割・マルチインスタンス)みぐ（じーぴーゆーぶんかつ・まるちいんすたんす）MIGとは、NVIDIAのA100/H100等のGPUを最大7つまでの独立インスタンスに物理分割し、複数のAIワークロードを同時並行で安全に実行できるようにする機能のこと。
- Muon (最適化アルゴリズム)みゅーおんMuonとは、隠れ層の重み行列の勾配更新をNewton-Schulz反復で直交化して適用する、大規模言語モデルの事前学習向け最適化アルゴリズムのこと。
- 命令チューニング (Instruction Tuning)めいれいちゅーにんぐ命令チューニングとは、事前学習済みの大規模言語モデルに対して「指示→理想回答」形式のデータで追加学習を行い、ユーザーの指示に従う能力を後付けする手法のこと。
- モデルカスケード (Model Cascade)もでるかすけーどモデルカスケードとは、軽量で安価なAIモデルにまず処理させ、精度が不十分な場合のみ高性能な上位モデルへ段階的に処理を引き継ぐ多段構成のことである。
- モデルマージ (Model Merging)もでるまーじモデルマージとは、複数の学習済みAIモデルのパラメーター（重み）を数学的に統合し、追加学習のコストをかけずに異なる能力を一つのモデルへ合成する技術のこと。
- モデルルーティング (Model Routing)もでるるーてぃんぐモデルルーティングとは、入力されたタスクの内容や難易度に応じて、複数のAIモデルの中から最適なモデルへ自動的に振り分ける仕組みのこと。
- モデルレジストリ (Model Registry)もでるれじすとりモデルレジストリとは、学習済みモデルのバージョンやメタデータ、評価指標を一元管理し、学習から本番デプロイまでの追跡を可能にする仕組みのことである。
- YaRN (コンテキスト長拡張)やーんYaRNとは、Transformerの位置エンコーディング（RoPE）を波長帯域ごとに補間・調整し、追加学習コストを抑えながらモデルのコンテキスト長を大幅に拡張する手法のこと。
- LiteLLM (LLMプロキシ・統合API)らいとえるえるえむLiteLLMとは、OpenAIやAnthropicなど複数のLLMプロバイダーのAPIをOpenAI互換の単一インターフェースに統一して呼び出せるオープンソースのLLMプロキシ・統合APIのこと。
- llama.cpp (推論エンジン)らまどっとしーぴーぴーllama.cppとは、Meta社のLLaMA系モデルをCPU上でも高速に動かせるよう最適化されたC/C++製のオープンソース推論エンジンのこと。
- 量子化 (Quantization)りょうしか量子化とはAIモデルの重みパラメータを低ビット精度に圧縮し、推論速度の向上・メモリ使用量の削減を実現する技術のこと。
- Rubin (NVIDIA次世代GPU)るびんRubinとは、NVIDIAがBlackwellの後継として発表した次世代AI向けGPUアーキテクチャのことで、2026年以降のデータセンター投入が予定されている。
- Ray (分散学習・推論フレームワーク)れいRayとは、機械学習の分散学習・並列推論を単一マシンからクラスタへそのままスケールさせるための、UC Berkeley発のOSS分散処理フレームワークのことである。
- レート制限 (Rate Limit)れーとせいげんレート制限とは、一定時間内に受け付けるAPIリクエスト数の上限を定め、過剰なアクセスやサーバー過負荷を防ぐ仕組みのことである。
- 連合学習 (Federated Learning)れんごうがくしゅう連合学習とは、データを一箇所に集めずに各端末や組織のローカル環境でモデルを学習させ、更新した重みだけを共有してグローバルモデルを改善するプライバシー保護型の機械学習手法のこと。
- 連続バッチング (Continuous Batching)れんぞくばっちんぐ連続バッチングとは、LLM推論サーバーが個々のリクエストの完了を待たずに新規リクエストをトークン単位で随時差し込みながら処理する方式のこと。
- RoPE (回転位置埋め込み)ろーぷ（かいてんいちうめこみ）RoPEとは、Transformer系のLLMでトークンの位置情報を回転行列によってQuery・Keyベクトルに埋め込む位置エンコーディング手法のこと。
- LoRA (Low-Rank Adaptation)ろーらLoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
- ロススパイク (学習の発散)ろすすぱいくロススパイクとは、 LLM の事前学習中に 損失値 (loss) が突然跳ね上がり、 学習が不安定化・発散する現象のこと。
- ROCm (AMD GPU計算基盤)ろっくむROCmとは、AMD製GPUでAI計算を行うためのオープンソース計算基盤のこと。NVIDIAのCUDAに対抗する立ち位置にある。
AI用語辞典のトップへ
全カテゴリ横断で検索・絞り込みができます
辞典トップへ