ガイド
定義
スパースオートエンコーダ(SAE)とは、LLM内部の活性化ベクトルを疎な特徴量に分解し、人間が解釈可能な概念単位として取り出すニューラルネット手法のこと。
スパースオートエンコーダ (SAE)とは（詳しく解説）
スパースオートエンコーダ(SAE)は、Transformer内部の隠れ層activationを、多数のニューロンが混ざり合う「重ね合わせ」状態から疎(スパース)な基底へ再構成することで、単一の意味的特徴に対応する解釈可能な次元を取り出す教師なし学習手法とされる。Anthropicなどが2023年以降、大規模LLMの内部理解(メカニスティック解釈可能性)の主要な手法として採用してきたとされる。2026年時点の実運用では、SAEの学習自体に大きな計算コストがかかり、数十億パラメータ級のモデルでは専用GPUで数日〜数週間規模の学習が相場感とされる。現場でよく指摘される落とし穴として、抽出された「特徴」が単一の意味を持つとは限らず、複数の概念が依然として絡み合う「特徴分裂・結合」問題が残る点、辞書サイズ(潜在次元数)の選び方次第で解釈性と再構成精度がトレードオフになる点が挙げられる。実運用で導入する際は、対象モデル全体でなく特定の層に絞って部分適用し、小規模で検証してからスケールさせる進め方が現実的とされる。
スパースオートエンコーダ (SAE)の使用例
- SAEで抽出した特徴次元をダッシュボード化し、特定トピックへの反応が強い活性化パターンを可視化する
- ファインチューニング後にSAEの特徴分布を比較し、意図しない挙動変化がないか差分を確認する
