Amazon Bedrockの発表内容
AWSは、「Amazon Bedrock」のナレッジベース機能に向けて、オープンソースの収集ツール「Crawl4AI」を用いたデータ前処理の手法を案内しました。公式のサンプル実装を公開し、ウェブ上の情報を効率よく取り込む手順を示しています。
この構成では、ウェブページの装飾や案内メニューを自動で削り、本文だけをマークダウン (文書の装飾を簡単な記号で表す書式) に変換します。さらに、抽出したい場所を個別に指定したり、URLや収集日時などの付加情報を各データに付けたりできます。整えたデータは一度保管庫へ保存され、そこから自動で取り込まれます。
サイト内の不要な情報を省いて知識として登録している人は、AIの回答精度低下を防ぎながら、自社サイトの情報を整理して取り込めるようになります。
つまり、どういうこと？
たとえるなら、辞書を作るときに広告や目次をハサミで切り落として、解説の本文だけをノートに貼り直す作業です。これまでの自動収集ではページ全体の余計な文字まで拾ってしまい、AIが関係のない案内文を読んで誤解することがありました。今回の仕組みを使えば、必要な文章だけを整理してAIに渡せます。
編集部の見方
ウェブ上の情報をAIに読ませる際、一番の壁になるのは画面の端にあるメニューや広告などのノイズです。標準の収集機能に任せきりにせず、前処理を挟んでデータをきれいにする重要性を公式自ら具体的に示しました。地味ながら実用的な案内です。
完成度は十分です。
ただ、自前でサーバーを用意して動かす必要があるため、完全に手放しで運用したい人には少し敷居が高く感じられそうです。今後はこうした前処理のフィルターが、標準の収集機能へ設定項目としてそのまま組み込まれる流れを期待しています。
誰に関係するか
自社サイトの情報をAIに取り込んでいる人は、不要なメニューや装飾を取り除いたきれいなデータだけを登録できるようになります。
