後期チャンキング (Late Chunking)
読み: こうきちゃんきんぐ
最終更新: 2026-07-06・AI PICKS編集部
定義
後期チャンキングとは、文書全体を長文脈対応の埋め込みモデルに通してから分割し、各チャンクのベクトルに文書全体の文脈を反映させる埋め込み手法のこと。
後期チャンキング (Late Chunking)とは — 詳しく解説
後期チャンキングは、従来のように文章を先に分割してから個々に埋め込むのではなく、文書全体を長文脈対応の埋め込みモデルに一度通してトークン単位のベクトルを得たあと、そのベクトル列をチャンク単位に切り出して平均化する手法で、2024年にJina AIが提案した。文脈の分断による意味の欠落を防ぎ、長い契約書やマニュアルの検索精度を底上げできる点が業界標準の売りとされる。一方で2026年時点の実運用では、長文脈対応の埋め込みモデルを使う分だけ計算コストと推論レイテンシが増える、モデルが対応する最大トークン長を超える文書では効果が薄れるといった落とし穴が指摘されている。現場では、全文書に適用するのではなく検索精度が重要なコア文書に絞って導入し、通常のチャンキングと精度・コストを比較したうえで採用するかを判断する運用が広がっているとされる。
後期チャンキング (Late Chunking)の使用例
- 契約書100ページを後期チャンキングで埋め込み、条文間の参照関係を保ったまま検索精度を上げる。
- 社内マニュアルのRAG構築で、通常チャンキングと後期チャンキングの検索ヒット率をA/Bで比較する。
後期チャンキング (Late Chunking)に関連するAIツール
関連用語
「RAG・検索拡張」の他の用語
Retrieval-Augmented Generation。 社内資料や外部 DB を検索してから AI に答えさせる仕組み。
文章や画像を 数値ベクトルに変換する技術。 類似度検索や RAG の基礎。
出典付きで回答する AI 検索エンジン。 リサーチ業務で従来検索を置き換える。
Google 検索の上位に AI が回答を提示する 「AI Overviews」 や Perplexity 等の新世代検索。
Embedding (数値ベクトル) を高速に類似度検索するための専用 DB。 Pinecone / Qdrant / Weaviate が代表。
NotebookLMとはGoogleが提供するRAGベースのAIリサーチアシスタントのこと。ユーザーがアップロードした文書のみを情報源として回答を生成するため、ハルシネーションを大幅に抑制できる。
AI用語辞典をすべて見てみませんか
12カテゴリ・402語以上を体系的に整理しています
辞典トップへ