RAGの前処理の有無を徹底比較！精度の変化や開発事例も詳しく紹介

WEELメディア事業部AIライターの2scです。

みなさん、各種文書の引用機能「RAG」を備えた生成AIチャットボットにはNGがあります。

それは……「文書をそのまま読み込ませる」ということです。実はRAGの場合、読み込ませる文書に「前処理」を施す必要があります。前処理なしだと、正しく引用が行われなかったり、ハルシネーションが生じたりしてしまうんです。

ということで今回は、RAGの前処理について、その効果や手法をお伝えします。さらに、RAGの精度を高めるTipsも紹介！完読いただくと「かしこいチャットボット」が作れるかも……です。

ぜひ、最後までお読みください。

RAGにおける「前処理」とは？

LLM（大規模言語モデル）に学習範囲外の知識・事実を示す手法「RAG / Retrieval Augmented Generation」は、企業用チャットボットの開発に不可欠。そのしくみは下図のとおり、ベクトルデータベースで検索した知識をプロンプト経由でLLMに示す、というものとなっています。

このRAGの実装において最も重要なのが、ベクトルデータベースに格納するデータの「前処理」です。

前処理とは、不ぞろいなデータをAIにとって扱いやすい形に加工するプロセスのこと。AIモデルの作成 / ファインチューニング / RAG…etc.AI分野全般で、予測・回答精度を高めるために欠かせません。

そんな前処理の内容はRAGの場合……

● データクレンジング：記号の削除 / 重複箇所の削除…etc.で引用しない箇所を除く
● 正規化：表記揺れの統一 / 不要な数字の置換…etc.で文章の形を整える
● エンベディング：文章を文脈を保ったままベクトルに変換する
● アノテーション：文章の内容を分類してタグ（注釈）をつける

以上のとおり。前処理なしのデータをRAGに適用してしまうと……

• 本来データにあるはずの知識が引用されない
• ハルシネーションが生じてしまう

といった不具合が出てしまいます。

なお、RAGの進化版について詳しく知りたい方は、下記の記事もあわせてお読みください。

WEEL

【RAG Fusion】LLMのハルシネーションを防ぐRAGの進化版！その効果を徹底検証 | WEEL WEELメディア事業部AIライターの2scです。 ITエンジニアのみなさん！生成AIに学習範囲外の知識を与える「RAG Fusion」はご存知ですか？ RAG Fusionは、AIチャットボットに…

前処理によるRAG精度の変化

まずはみなさんに、RAGと前処理の威力をみていただきます。今回のデモンストレーションでは……

以上5点の質問について「RAGなし&前処理なし / RAGあり&前処理ほぼなし / RAGあり&前処理あり」の3パターンで、GPT-3.5 Turboによるテキスト生成を実施。学習範囲外（2021年9月以降）の知識について、どれだけ回答できたかを比較してみます。

では基礎の基礎、RAGなし&前処理なしでの回答から、早速みていきましょう！

RAGなし&前処理なしでの回答例

まずはRAGも前処理も適用しない状態で、素のGPT-3.5 Turboの回答をみていきます。方法としては「ChatGPT APIとは？使い方や料金体系、できること、おすすめ活用事例15選を紹介」に準拠していて……

1. Google Colaboratory（Colab）を使用
2. PythonのOpenAIライブラリを使ってChatGPT APIからGPT-3.5 Turbo（gpt-3.5-turbo-0125）を呼出
3. 質問を実施

以上のとおりです。では、1つ目の質問から回答をどうぞ！

このように、素のGPT-3.5 Turboは2017年登場の「Hugging Face Transformers」や2019年登場の「OpenAI GPT-2」について答えてくれます。

続いて2023年3月登場のGPT-4についても、素のGPT-3.5 Turboに聞いてみましょう！

すると当然ながら、生成AIブーム前夜の知識が返ってきます。残り3つの質問については……

以上のとおり。素のGPT-3.5 Turboは、生成AI非搭載のツールについて答えてくれました。

RAGあり&前処理ほぼなしでの回答例

続いては、RAG実装用ツール「LangChain」を駆使して、最低限の前処理（テキスト分割）のみ行ったデータをGPT-3.5 Turboに引用させてみます。今回RAGで示すデータは、当メディアの「生成AIずかん」全記事。2021年9月以降に登場したオープンソースの生成AIの知識を多分に含んでいます。

RAGの実装方法については「ChatGPT APIにおけるPythonの活用事例とAIコンサルの作り方を徹底解説」に準拠していて……

1. Google Colaboratoryを使用
2. PythonのBeautiful Soupライブラリで、「生成AIずかん」の全記事からテキストを抽出
3. LangChainで抽出したテキストを分割（chunk_sizeは1000、chunk_overlapは0）
4. 分割したテキストをEmbeddings APIの「text-embedding-ada-002」でベクトル化
5. ベクトル化したものをベクトルデータベース「Chroma」に格納
6. 質問を実施（n_resultsはデフォルトの4）

以上の順序になっています。今回は「前処理ほぼなし」ということで、記事中の無関係な内容（リンクボタン / 目次 / 記事一覧 / 著者…etc.）を残したまま、ベクトルデータベースを構築しました。

では、1つ目の質問からRAGあり&前処理ほぼなしでの回答をみていきましょう！

残念！GPT-3.5 Turboは何も返してくれませんでした。どうやら、オープンソースの小型LLMの記事がうまく引用できていないようです。

さて、気を取り直して2問目にいきましょう。

お見事！今回は当メディアで扱った「GPT4FREE」が回答に引用（オレンジで色分けした部分）されています。

では、3問目はどうでしょうか？

どうやら、検閲に引っかかってしまったようです。続いて4問目は……

残念！またしても黙り込んでしまっています。

最後に気になる5問目は……

お見事！RAGは当メディアで紹介した「DreamGaussian」を引用してくれました。

RAGあり&前処理ありでの回答例

さて、ここからが本題です。先ほどの工程に前処理を加えて「RAGあり&前処理あり」でのGPT-3.5 Turboの回答をみていきます。手順としては……

1. Google Colaboratoryを使用
2. PythonのBeautiful Soupライブラリで、WEELの「生成AIずかん」全記事からテキストを抽出
3. 前処理を実施
4. LangChainで抽出したテキストを分割（chunk_size=1000、chunk_overlap=0）
5. 分割したテキストをEmbeddings APIの「text-embedding-ada-002」でベクトル化
6. ベクトル化したものをベクトルデータベース「Chroma」に格納
7. 質問を実施（n_resultsはデフォルトの4）

このように、スクレイピングの直後に前処理の工程が入っています。

そして今回施した前処理は……

● 記事本文のみ指定
● ソースコードの除去
● 目次の除去
● URLの除去
● 半角記号の除去

以上のとおり。Pythonの「Beautiful Soup」ライブラリと「re」モジュールを駆使して、記事本文を加工しています。（ソースコードは下記参照）

#記事本文のみ指定
for element in soup.find_all("div",class_="post_content"):
  #以下、element.getText()を駆使

#ソースコード削除
for element in soup.find_all("div",class_="hcb_wrap"):
  element.decompose()

#目次削除
for element in soup.find_all("div",class_="p-toc -double is-omitted"):
  element.decompose()

#URL削除
import re
text = re.sub(r’http?://[\w/:%#\$&\?\(\)~\.=\+\-]+’, ”, text)
text = re.sub(r’https?://[\w/:%#\$&\?\(\)~\.=\+\-]+’, ”, text)

#半角記号削除
text = re.sub(r”[!”#$%&\’\\\\()*+,-./:;?@[\\]^_`{|}~「」〔〕“”〈〉『』【】＆＊・（）＄＃＠。,？！｀＋￥％]’, ”, text)

#その他テキストの削除
text.replace('引用：', '')
text.replace('引用元：', '')
text.replace('参考：', '')
text.replace('参考元：', '')
text.replace('参考記事：', '')

ちなみに前処理の前後で、データがどのように変わったかというと……

このように、前処理によってファイルサイズが半分になりました。

ではお待ちかね、RAGあり&前処理ありでの回答について1問目からみていきましょう！

お見事です！前処理のおかげか、RAGシステムは小型LLMを3つも引用してくれています。続いて2問目は……

なんと、当メディアで紹介したAIツールを4つも引用してくれました。

ただ、3問目の回答については……

かなり、そっけない感じです。さて気を取り直して、4問目の回答はどうでしょうか……

こちらはしっかり引用してくれています。ただ、質問の「日本語でおしえて」を「日本語で使えるツール限定でおしえて」と解釈してしまっている様子です。

最後に5問目の回答は……

残念、「DreamGaussian」についてはノータッチでした。とはいえ、前処理によって引用能力は間違いなく改善しています。次項からは、ここまでの結果を振り返ってみましょう。

前処理による回答の変化まとめ

GPT-3.5 Turboを使ったデモンストレーションの結果は、表にまとめると……

以上のとおり。前処理を行うことによって、一度に引用できる知識量が増加しています。したがって基本的には、RAGの効果を最大限に引き出したいなら前処理が必要、ということです。

ただしこれは、「前処理ほぼなし」で引用されていたツールが「前処理あり」で引用されなくなった原因であるとも考えられます。5問目の例で説明しますと……

このように一度に詰め込める情報量が増えると、質問との関連性が薄い内容も引用されてしまうのです。加えて引用を付け加える際のプロンプトテンプレートが……

Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.

であるため断言が難しくなってしまった、ということが示唆されます。

RAGの進化版「RAG Fusion」では、より多角的かつ大量の情報が引用可。それでいて、質問に対する引用の関連性も強化されています。

RAGにおける前処理の手法

ここからは、RAGの効果を引き出す前処理について、具体的な手法を4つ紹介していきます。まずは、先ほどのデモンストレーションでも触れた「データクレンジング」から、詳しくみていきましょう！

データクレンジング

「データクレンジング」とは、データに含まれるエラー・ノイズ・欠損を除去する前処理のこと。このデータクレンジングはAIモデルの開発からファインチューニング、RAGまで用途別でさまざまな手法が編み出されていて、なかには統計学的なもの（移動平均 / 線形回帰…etc.）もあります。

ですが、自然言語を扱うRAGの場合はよりシンプル。数学・統計の知識をそれほど要しません。具体的には……

• ソースコードやHTMLタグの除去
• URLの除去
• 全角・半角記号の除去
• 重複箇所の除去
• その他、不要箇所の除去
• 「てにをは」「ですます」…etc.ストップワードの除去

以上のとおり。必要なのは時間です。

ちなみにPythonでデータクレンジングを行う場合は……
● Beautiful Soup：WebサイトからスクレイピングしたHTML形式のデータの加工が可能
● re：URLや記号の除去が可能
などなど、便利なライブラリが使えます。

正規化

生のデータにはたいてい、単位や表記のブレが含まれています。このブレを値の幅や平均値をそろえることで、なくす前処理が「正規化」です。こちらも自然言語を扱うRAGの場合は、シンプルで……

• 文字種（ひらがな / 全角カナ / 半角カナ / 漢字）の統一
• つづりの統一
• 表記揺れの統一
• 固有名詞の表記の統一
• 引用しない数字（日付 / 金額…etc.）を「0」に置き換える処置

といった処理のみで完結します。

エンベディング

自然言語をAIモデル内で数学的に扱えるようにするには、文字データを数値データに変換する前処理が必要です。この前処理全般のことをエンコーディングといいます。

このエンコーディングのなかでも、RAGに欠かせないのが「エンベディング / Embedding」です。エンベディングは、文脈・意味を保ったまま文字データをベクトルデータに変換する技術で、ベクトルデータベースの構築に用いられます。

アノテーション

データに説明・注釈のタグを添えて分類を行う「アノテーション」も、RAGで用いられる前処理のひとつです。RAGにおけるアノテーションは……

• テキストの種類による分類（メール文 / 企画書 / 論文…etc.）
• テキストの内容・トピックによる分類

といった作業になります。

なお、データセットの作り方について詳しく知りたい方は、下記の記事もあわせてお読みください。

WEEL

生成AI向けデータセットの完全ガイド！種類や作り方、オープンデータ19選を解説 | WEEL 生成AI開発ではデータセットが学習・検証に欠かせません。 トレーニングセット・バリデーションセット・テストセットの3種類のデータセットを使用し、優良なデータセットが…

RAG実装用のツール2選

続いては前処理の次の工程、RAG実装時に欠かせないツールを紹介していきます。今回紹介するのは……

• LangChain
• Llamaindex

以上の2つで、ともにPythonで扱えるのが魅力です。

まずは、デモンストレーションでも登場したLangChainから、詳細をみていきましょう！

LangChain

「LangChain」はLLMと外部リソース（データベース / 言語処理…etc.）を連携させるためのツール。PythonやJavaScript等で使えるライブラリの形式をとって、無償で一般公開（MITライセンス）されています。

このLangChainの機能としては……

• Models：LLMやその他AIモデル同士の連携
• Indexes：外部データベースとの連携
• Prompts：プロンプト・ソースコードのテンプレート設定
• Memory：会話内容の記憶
• Chains：処理フローのブロック化
• Agents：複数ツールの連携

以上のとおりで、RAG以外にも広く応用できてしまいます。

公式サイト：LangChain

なお、LangChainについて詳しく知りたい方は、下記の記事もあわせてお読みください。

WEEL

【Langchain】何ができるのかや日本語での使い方、GPT-4との連携方法を解説 | WEEL LangchainはChatGPTを高機能化するライブラリです。ChatGPTはすでに重要なツールの一つですが、Langchainの導入により機能を拡張できます。ビジネス分野で競合他社と差をつ…

Llamaindex

対して「Llamaindex」は、RAGの実装に特化したPython & TypeScript用のライブラリです。こちらはLLMと……

• ベクトルデータベース
• テキスト
• PDF
  …etc.

以上、外部データとの連携が可能。LangChain同様、無償で一般公開（MITライセンス）されています。

公式サイト：LlamaIndex

なお、Llamaindexについて詳しく知りたい方は、下記の記事もあわせてお読みください。

WEEL

【Llamaindex】ChatGPTを思い通りに改造できる！？月間20万ダウンロードツールの使い方から実践まで | WEEL Llamaindexの概要や導入方法、実際に触ってみた感想を紹介します。LlamaIndexは独自データをChatGPTで使えるようにするツールです。自社データを活用してChatGPTをカスタマ…

RAGの要件定義で重要な3つの点

RAGの要件定義にあたっては……

• 前処理の手法
• 検索ロジックの組み方
• 使用するLLMの種類

の3点を、お客様からいただいたユースケースに合わせて柔軟に対応することが重要です。特に、前処理手法を決める際には、入手できるテキストの種類を把握することが適切な前処理方法を選定するための基盤となります。ここからは、以上3つの要件定義のポイントについて、順番にみていきましょう！

前処理の手法

RAG用のデータを用意するにあたって、前処理が重要なのは先述のとおりです。

ただ、「徹底的に前処理をすればよい」というのは間違い。要件に応じて適切な前処理の手法を選ばなくてはいけません。具体的には……

• テキストの種類による分類：特定のフォーマット・文体を指定して生成させる場合に最適
• テキストの内容・トピックによる分類：Q&Aやナレッジ共有用のチャットボットに最適
• 数字の置換：日付や金額を正しく引用させたい場合は不向き
• ストップワードの除去：副詞 / 助詞 / 接続詞 / 助動詞 / 連体詞…etc.のうち何をストップワードとするかは要件次第

というふうに、手法ごとに向き不向きがあります。

検索ロジックの組み方

RAGシステムでは「近似最近傍探索」という手法のもと、ベクトルデータベースから質問と意味の近いデータのみが取り出されます。

この近似最近傍探索についても、さまざまな検索ロジックが派生していますので、要件に適したものを選ぶ必要があります。なかでも代表的な検索ロジックは……

• Hierarchical Navigable Small Worlds（HNSW）アルゴリズム
• 転置ファイルシステム（IVF）アルゴリズム

この2点。それぞれの概要・メリット・デメリットは下表のとおりです。

また、検索ロジックのほかに……

直積量子化（PQ）ベクトル圧縮：検索精度と引き換えにメモリ消費量を抑える手法

以上を採用するか否かも検討材料です。それぞれ、データのサイズや設備に応じて選ぶのがベストでしょう。

使用するLLMの種類

RAGの要であるLLMもユースケースに合わせて下記の2種類から選べます。

• クローズドソースのLLM
• オープンソースのLLM

それぞれのメリット・デメリット・代表例は……

以上のとおり。こちらも社内設備に合わせて選びましょう。

弊社のAIツール導入・活用支援について

弊社・株式会社WEELのサービス「AIツールの導入支援・活用促進」では、お客様のAIツール導入から活用までを、一気通貫でサポートしています。AIツールの導入にあたって、お客様が直面しうる

● どんなAIを使えばいいのか？
● うちには何が合うのか？
● 生成AIツールが多すぎて、わけがわからない
● ChatGPT公式や無料AIツールで、解決できないか？
● 一度入れてみたけれど、業務に合わなかった……

といったお困りごとを、弊社スタッフが伴走しながら解決いたします。詳しい内容や料金につきましては、下表をご覧ください。

「うちにもAIツールで自動化できる業務があるのでは……」と気になった場合は、ぜひ無料相談で、貴社のお困りごとをお聞かせください。「有料より良い無料ツールはないか」なども含めて、弊社の知見を共有させていただきます。
→無料相談で話を聞いてみる

生成AIを組織に取り入れたい！といった方へ

【無料】サービス紹介資料｜AIツールの導入支援/活用促進

AIを取り入れようとお考えの企業様の支援をするサービスです。フローや実績も載せています。

無料ダウンロード

生成AIを組織に取り入れたい！といった方へ

【無料】サービス紹介資料｜AIツールの導入支援/活用促進

AIを取り入れようとお考えの企業様の支援をするサービスです。フローや実績も載せています。

無料ダウンロード

RAGの精度を高めたいなら「前処理」は必須！

当記事では、RAGの精度を高めるデータの「前処理」について紹介しました。RAGにおける前処理のメニューは……

● データクレンジング：記号の削除 / 重複箇所の削除…etc.で引用しない箇所を除く
● 正規化：表記揺れの統一 / 不要な数字の置換…etc.で文章の形を整える
● エンベディング：文章を文脈を保ったままベクトルに変換する
● アノテーション：文章の内容を分類してタグ（注釈）をつける

以上のとおり。RAGと前処理を駆使すれば、1世代前のGPT-3.5 Turboであっても……

ここまでの回答が実現します！

そんなRAGのシステムを企業で開発する際に大切なのは要件定義。「前処理の手法検索」「ロジックの組み方」「使用するLLMの種類」の3点を用途に合わせる必要があります。

ということで、高精度な生成AIチャットボットを開発したい方はぜひ、前処理にもこだわってみてください！

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする