エンティティ解決 (Entity Resolution)の定義
エンティティ解決とは、表記ゆれや重複のあるデータの中から、同じ人物・企業・商品などを指すレコードを見つけて結び付ける技術のことです。英語では entity resolution と言い、日本の実務では「名寄せ」とも呼ばれます。
- 英語表記・別名
- entity resolution。record linkage(レコードリンケージ)、deduplication(重複排除)、名寄せ とも呼ばれます
- 主な手法
- 決めたルールで照合するルールベース、一致の確率を計算する確率モデル(Fellegi-Sunter モデル)、機械学習による照合
- リアルタイム処理
- 新しいレコードが入るたびに既存のレコードと照合したり、APIでほぼリアルタイムに照合結果のIDを引いたりする方式もあります
- ソフトウェアの例
- AWS Entity Resolution(ルールベース、機械学習、外部データ事業者による照合に対応)、Splink(オープンソースのPythonライブラリ)
- 使われる場面
- 顧客データの統合、広告や購買の履歴のひも付け、商品マスタの重複削除、RAGやナレッジグラフ用のデータ整理
エンティティ解決 (Entity Resolution)とは(詳しく解説)
エンティティ解決(Entity Resolution)は、別々のデータの中で同じ実体を指すレコードを見つけ、ひとつにまとめる技術です。「株式会社ABC」と「ABC株式会社」のような表記ゆれや、住所の書き方の違いがあっても、同じ会社だと判定します。レコードリンケージ、重複排除、名寄せとも呼ばれます。 手法は大きく3つあります。決めたルールで照合するルールベース、項目ごとの一致具合から同じ実体である確率を計算する確率モデル、そして機械学習による照合です。確率モデルでは Fellegi-Sunter モデルが有名で、オープンソースの Splink もこれをもとにしています。クラウドでは AWS Entity Resolution が、ルールベースと機械学習の照合をサービスとして提供しています。 処理のタイミングにも違いがあります。データをまとめて一括で照合する方式のほか、新しいレコードが入るたびに既存のデータと照合する方式や、APIでほぼリアルタイムに照合結果を引く方式もあります。 生成AIの分野では、RAGやナレッジグラフの前処理として重要です。同じ会社が別の表記で登録されたままだと、検索結果が重複したり、回答が食い違ったりします。注意したいのは、基準を緩めると別の人や会社をまとめてしまい、厳しくすると重複が残ることです。最初は少量のデータで結果を人が確かめ、基準を調整してから広げましょう。
エンティティ解決 (Entity Resolution)のよくある質問
Q. エンティティ解決と名寄せは同じですか?
ほぼ同じ意味です。名寄せは日本の業務でよく使う言葉で、顧客台帳などの重複をまとめる作業を指します。エンティティ解決は、その考え方を技術としてまとめた呼び方です。
Q. 機械学習によるエンティティ解決とは?
名前や住所の似かたをルールで決める代わりに、どのレコード同士が同じ実体かを機械学習のモデルに判定させる方法です。AWS Entity Resolution などのサービスが、ルールベースと並ぶ選択肢として用意しています。
Q. リアルタイム(動的)なエンティティ解決とは?
データをまとめて一括で処理するのではなく、新しいレコードが届くたびにその場で既存のデータと照合する方式です。会員登録や問い合わせの時点で、同じ顧客かどうかを判定したい場合に使います。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「エンティティ解決 (Entity Resolution)とは」 https://aipicks.jp/glossary/entity-resolution
エンティティ解決 (Entity Resolution)の使用例
- CRMに「株式会社ABC」と「ABC株式会社」が別レコードで登録されている場合、エンティティ解決で同一企業として統合する。
- RAG検索で「OpenAI」と「オープンAI」の表記ゆれを名寄せし、同一組織に関する文書として横断検索できるようにする。
エンティティ解決 (Entity Resolution)に関連するAIツール
エンティティ解決 (Entity Resolution)の関連記事
エンティティ解決 (Entity Resolution)の関連用語
12カテゴリ・1815語以上を体系的に整理しています
