SwiGLU (活性化関数)
読み: すいぐる
最終更新: 2026-07-24・AI PICKS編集部
定義
SwiGLU（活性化関数）とは、Swish関数とGLU（ゲート機構）を組み合わせた活性化関数のことで、LLMのFeed-Forward層で表現力を高めるために使われる。
SwiGLU (活性化関数)とは — 詳しく解説
SwiGLUは、Swish（SiLU）活性化関数とGLU（Gated Linear Unit）のゲート機構を組み合わせた活性化関数で、通常のReLUやGELUに比べFeed-Forward層の表現力を高められるとされ、PaLMやLLaMA系をはじめ主要なLLMのTransformerブロックで業界標準的に採用されている。GLU系はゲート用と値用に2系統の重み行列を持つため、同じ隠れ次元でもパラメータ数が単純な活性化関数より増えやすく、多くの実装では隠れ次元を約2/3に縮小してパラメータ数を揃える工夫がされているとされる。2026年時点の実運用では、この次元調整を見落として単純にReLU実装をSwiGLUへ置き換えるとパラメータ数と計算コストが想定以上に膨らむ落とし穴が現場で報告されており、事前学習コストの相場感に直結する要注意ポイントとされる。既存モデルのファインチューニングや軽量化を検討する現場では、活性化関数の違いが推論速度やメモリ使用量にも影響するため、モデル選定時にアーキテクチャを確認する運用が定着しつつあるとされる。
SwiGLU (活性化関数)の使用例
- オープンソースLLMのアーキテクチャ選定で、Feed-Forward層にReLUかSwiGLUかを比較検討する。
- 既存モデルを軽量化する際、活性化関数がSwiGLUか確認し隠れ次元の縮小分を計算に入れる。
SwiGLU (活性化関数)に関連するAIツール
関連用語
「LLM / 言語モデル」の他の用語
Artificial Intelligence の略。人間の知能をコンピュータで再現する技術全般を指す。
Large Language Model の略。 膨大なテキストで学習した文章生成 AI。 ChatGPT / Claude / Gemini が代表例。
AI がそれっぽい嘘をつく現象。 学習データに無い情報を推測で生成してしまう。
AI が一度に扱える文章の長さ。 トークン数で表現される (例: Claude Opus 4.7 は 1M トークン)。
AI が扱う文字のかたまり。 日本語は 1 文字 ≒ 1 トークン、 英語は単語 ≒ 1 トークン。 料金計算の単位でもある。
文章・画像・音声・動画 を新規に作り出す AI 技術。 ChatGPT 以降の AI ブームの主役。
AI用語辞典をすべて見てみませんか
12カテゴリ・913語以上を体系的に整理しています
辞典トップへ