本ページはプロモーションを含みます（掲載基準）
SwiGLU (活性化関数)の定義
SwiGLU（活性化関数）とは、Swish関数とGLU（ゲート機構）を組み合わせた活性化関数のことで、LLMのFeed-Forward層で表現力を高めるために使われる。
SwiGLU (活性化関数)とは（詳しく解説）
SwiGLUは、Swish（SiLU）活性化関数とGLU（Gated Linear Unit）のゲート機構を組み合わせた活性化関数で、通常のReLUやGELUに比べFeed-Forward層の表現力を高められるとされ、PaLMやLLaMA系をはじめ主要なLLMのTransformerブロックで業界標準的に採用されている。GLU系はゲート用と値用に2系統の重み行列を持つため、同じ隠れ次元でもパラメータ数が単純な活性化関数より増えやすく、多くの実装では隠れ次元を約2/3に縮小してパラメータ数を揃える工夫がされているとされる。2026年時点の実運用では、この次元調整を見落として単純にReLU実装をSwiGLUへ置き換えるとパラメータ数と計算コストが想定以上に膨らむ落とし穴が現場で報告されており、事前学習コストの相場感に直結する要注意ポイントとされる。既存モデルのファインチューニングや軽量化を検討する現場では、活性化関数の違いが推論速度やメモリ使用量にも影響するため、モデル選定時にアーキテクチャを確認する運用が定着しつつあるとされる。
SwiGLU (活性化関数)を調べた人に
ChatGPT・
複数のAIに同じ質問をして答えを比べたり、講座で使い方を体系立てて学んだりできます。
初月10ドルオフ（新規ユーザー）
ChatGPTやClaudeへの長い指示を、打たずに声で入力できる。日本語にも対応し、Mac・Windowsのどのアプリでも使える（無料は1,000語まで）
AI音声・文字起こし ／ 最低料金 ¥0〜
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「SwiGLU (活性化関数)とは」 https://aipicks.jp/glossary/swiglu
SwiGLU (活性化関数)の使用例
- オープンソースLLMのアーキテクチャ選定で、Feed-Forward層にReLUかSwiGLUかを比較検討する。
- 既存モデルを軽量化する際、活性化関数がSwiGLUか確認し隠れ次元の縮小分を計算に入れる。
SwiGLU (活性化関数)に関連するAIツール
SwiGLU (活性化関数)の関連記事
SwiGLU (活性化関数)の関連用語
12カテゴリ・1815語以上を体系的に整理しています