定義
セマンティックキャッシュとは、問い合わせ文をベクトル化し意味的に類似した過去のクエリと照合することで、LLMへの再問い合わせを省いて応答を返す仕組みのこと。
セマンティックキャッシュ (Semantic Cache)とは（詳しく解説）
セマンティックキャッシュとは、ユーザーの問い合わせ文をベクトル化し、過去のクエリと意味的な類似度が高い場合はLLM APIを呼び出さずキャッシュ済みの応答を返す仕組みで、完全一致のみを扱う従来のキャッシュと異なり「言い回しは違うが意味が同じ」質問もヒットさせられる点が特徴とされる。RAGやチャットボットのコスト削減・低遅延化の手段として広く採用されている。ただし2026年時点の実運用では、類似度の閾値設定が甘いと文脈の異なる質問に古い回答を返してしまう「誤ヒット」が現場で課題になりやすく、閾値のチューニングとキャッシュ無効化の運用設計が欠かせない。またベクトルDBの管理コストや埋め込み生成コストが積み上がるため、トークン削減効果とのトレードオフを踏まえた相場感の把握が選定時の鍵になる。
セマンティックキャッシュ (Semantic Cache)の使用例
- 「AI PICKSとは？」と「AIピックスって何のサービス？」を意味的に同一質問とみなしキャッシュ応答を返す。
- FAQボットで類似度0.92以上のクエリのみキャッシュヒットとし、それ未満は都度LLMへ問い合わせる設計。
