定義
SwiGLU（活性化関数）とは、Swish関数とGLU（ゲート機構）を組み合わせた活性化関数のことで、LLMのFeed-Forward層で表現力を高めるために使われる。
SwiGLU (活性化関数)とは（詳しく解説）
SwiGLUは、Swish（SiLU）活性化関数とGLU（Gated Linear Unit）のゲート機構を組み合わせた活性化関数で、通常のReLUやGELUに比べFeed-Forward層の表現力を高められるとされ、PaLMやLLaMA系をはじめ主要なLLMのTransformerブロックで業界標準的に採用されている。GLU系はゲート用と値用に2系統の重み行列を持つため、同じ隠れ次元でもパラメータ数が単純な活性化関数より増えやすく、多くの実装では隠れ次元を約2/3に縮小してパラメータ数を揃える工夫がされているとされる。2026年時点の実運用では、この次元調整を見落として単純にReLU実装をSwiGLUへ置き換えるとパラメータ数と計算コストが想定以上に膨らむ落とし穴が現場で報告されており、事前学習コストの相場感に直結する要注意ポイントとされる。既存モデルのファインチューニングや軽量化を検討する現場では、活性化関数の違いが推論速度やメモリ使用量にも影響するため、モデル選定時にアーキテクチャを確認する運用が定着しつつあるとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「SwiGLU (活性化関数)とは」 https://aipicks.jp/glossary/swiglu
SwiGLU (活性化関数)の使用例
- オープンソースLLMのアーキテクチャ選定で、Feed-Forward層にReLUかSwiGLUかを比較検討する。
- 既存モデルを軽量化する際、活性化関数がSwiGLUか確認し隠れ次元の縮小分を計算に入れる。
