語彙拡張 (日本語トークナイザ拡張)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。「株式会社アイピックス」が『株式会社』『アイ』『ピックス』と過剰分割される場合、固有名詞として辞書に追加登録し 1 トークン化する。/医療系 LLM で「糖尿病性腎症」が細切れに分割される場合、専門用語辞書を拡張してトークン数と誤読を減らす。

AI用語辞典インフラ・学習

語彙拡張 (日本語トークナイザ拡張)

Q: 語彙拡張 (日本語トークナイザ拡張)とは何ですか？

語彙拡張 (日本語トークナイザ拡張) とは、 LLM のトークナイザに 日本語特有の専門用語・固有名詞・業界略語を 追加登録し、 不要な分割を減らして 認識精度とトークン効率を高める調整のこと。語彙拡張 (日本語トークナイザ拡張) とは、 LLM が文章をトークンに分割する際の辞書に、 業界用語・社名・製品名・略語などを追加登録する調整のこと。 汎用トークナイザは 日本語の複合語やカタカナ表記を不自然に細かく分割しがちで、 1 文字ずつバラバラになるとトークン数が膨らみ、 処理コストと精度の両方が悪化するとされる。 業界標準では SentencePiece や tiktoken 系の語彙にカスタムエントリを追加する方法と、 独自トークナイザを学習し直す方法の 2 通りが広く知られる。

Q: 語彙拡張 (日本語トークナイザ拡張)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。「株式会社アイピックス」が『株式会社』『アイ』『ピックス』と過剰分割される場合、 固有名詞として辞書に追加登録し 1 トークン化する。/医療系 LLM で「糖尿病性腎症」が細切れに分割される場合、 専門用語辞書を拡張してトークン数と誤読を減らす。

読み: ごいかくちょう

最終更新: 2026-08-06・AI PICKS編集部

定義

語彙拡張 (日本語トークナイザ拡張) とは、 LLM のトークナイザに日本語特有の専門用語・固有名詞・業界略語を追加登録し、不要な分割を減らして認識精度とトークン効率を高める調整のこと。

語彙拡張 (日本語トークナイザ拡張)とは — 詳しく解説

語彙拡張 (日本語トークナイザ拡張) とは、 LLM が文章をトークンに分割する際の辞書に、業界用語・社名・製品名・略語などを追加登録する調整のこと。汎用トークナイザは日本語の複合語やカタカナ表記を不自然に細かく分割しがちで、 1 文字ずつバラバラになるとトークン数が膨らみ、処理コストと精度の両方が悪化するとされる。業界標準では SentencePiece や tiktoken 系の語彙にカスタムエントリを追加する方法と、独自トークナイザを学習し直す方法の 2 通りが広く知られる。 2026 年時点の実運用では、モデル本体の再学習を伴う語彙拡張は数百万円規模のコストと専門人材が必要になり、中小企業には現実的でないケースが多いとされる。現場でまず選ばれるのは、プロンプト側で表記ゆれを揃える / RAG 側の検索語彙を辞書登録するといった軽量な代替策で、相場感としてはこちらが数万円〜数十万円の範囲に収まる。語彙拡張そのものが必要になるのは専門分野特化モデルを自社で保有する場合に限られる、というのが現場での選び方の目安とされる。