Softmax (ソフトマックス関数)
読み: そふとまっくすかんすう
最終更新: 2026-07-20・AI PICKS編集部
定義
Softmax（ソフトマックス関数）とは、複数の数値を合計が1になる確率分布に変換する関数のことで、ニューラルネットワークの分類やAttentionの出力に使われる。
Softmax (ソフトマックス関数)とは — 詳しく解説
Softmaxは各要素を指数関数で変換してから総和で割ることで、任意の実数ベクトルを合計1の確率分布に正規化する関数で、分類モデルの最終層やTransformerのAttentionにおける重み計算の中核として業界標準的に使われる。2026年時点の実運用では、桁あふれ対策として最大値を引いてから計算する数値安定化がほぼ必須実装となっており、これを怠ると大規模モデルの推論でNaNが発生する落とし穴が現場でしばしば報告される。またSoftmax自体の計算コストは小さいものの、語彙数が巨大なLLMでは出力層のSoftmax計算が推論コストの相場感を左右するため、サンプリングベースの近似手法を選ぶ現場も多い。温度パラメータで確率分布の鋭さを調整できる点も実運用上の設計ポイントとされる。
Softmax (ソフトマックス関数)の使用例
- 分類モデルの出力層で全クラスのスコアをSoftmaxに通し、合計1の確率分布として最終的な予測クラスを選ぶ。
- Transformerの自己注意機構では、各トークンへの注意度をSoftmaxで正規化してから重み付き和を取る。
Softmax (ソフトマックス関数)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・763語以上を体系的に整理しています
辞典トップへ