ガイド
AI用語辞典インフラ・学習
スライディングウィンドウ注意 (SWA)
読み: すらいでぃんぐういんどうちゅうい
最終更新: 2026-09-01・AI PICKS編集部
定義
スライディングウィンドウ注意(SWA)とは、各トークンが固定幅の近傍範囲だけに注意を向けることで計算量とメモリ使用量を抑えるTransformerの注意機構のこと。
スライディングウィンドウ注意 (SWA)とは — 詳しく解説
スライディングウィンドウ注意(SWA)は、Transformerの自己注意機構において各トークンが系列全体ではなく直前の固定幅ウィンドウ内のトークンのみを参照する手法で、計算量とメモリ使用量をトークン数に対して線形に抑えられる点が標準的な特徴とされる。MistralやGemma 2など長文脈対応モデルの一部で採用され、フルアテンション層と組み合わせるハイブリッド構成も広く使われている。2026年時点の実運用では、ウィンドウ幅を超えた遠い位置の情報が薄れやすく、長文書の冒頭の指示や設定を後半で見落とすといった精度低下が現場で報告される。推論コストを抑えたいバッチ処理や長文要約では有効だが、文書全体の整合性が重要なタスクではフルアテンション層併用モデルを選ぶのが無難とされる。コスト重視で導入する場合も、ウィンドウ幅とタスクの必要文脈長が見合っているか事前に検証すべきとされる。
スライディングウィンドウ注意 (SWA)の使用例
- 「SWAを使うことでメモリ使用量を抑えつつ長文推論を高速化できる」という設計上のメリットを説明する文脈で使われる。
- 「ウィンドウ幅を超えた情報は注意から外れるため、フルアテンション層を併用する設計が採用されている」という説明で使われる。
スライディングウィンドウ注意 (SWA)に関連するAIツール
スライディングウィンドウ注意 (SWA)の関連記事
関連用語
「インフラ・学習」の他の用語
ファインチューニング
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
機械学習
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ディープラーニング
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Transformer
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
Attention 機構
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRA (Low-Rank Adaptation)
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
用語がわかったら、次はツール選び
12カテゴリ・1618語以上を体系的に整理しています