定義
クロスアテンションとは、片方の系列のクエリでもう片方の系列の情報を参照し、関連度に応じて重み付けする注意機構のこと。
クロスアテンション (Cross-Attention)とは（詳しく解説）
クロスアテンションは、Transformer系モデルにおいて片方の系列(クエリ)がもう片方の系列(キー・バリュー)を参照し、関連度に応じて情報を重み付け統合する仕組みで、機械翻訳のエンコーダ・デコーダ間の対応付けや、画像生成モデルがテキストプロンプトの意味を画像特徴に反映させる条件付けの中核技術として広く採用されているとされる。2026年時点の実運用では、参照する系列が長くなるほど計算量とメモリコストが増える点が現場での課題になりやすく、モデルやAPIの選定時は文脈長・応答速度・利用料の相場感を踏まえて、クロスアテンション層の実装効率(スパース化やキャッシュ最適化の有無)を確認することが重要とされる。マルチモーダルAIやRAG構成のように異種の情報源を統合する場面ほど、この仕組みの挙動を理解しておく価値が高い。
クロスアテンション (Cross-Attention)の使用例
- 画像生成AIに『赤いドレスを着た女性』と入力すると、テキスト埋め込みがクロスアテンションで画像特徴に条件付けされる。
- 翻訳モデルでは、デコーダが各単語を生成するたびクロスアテンションでエンコーダ側の原文全体を参照する。
