【ChatGPT搭載】自社専用ボットの作り方3選！徹底検証

2023-03-292023-11-09

この記事では、“ChatGPT × 社内データ”のAIチャットボット3種類の比較、検証について書いています。
3種類のボットの作り方や違い、質問に対しての回答精度などについて書いているので最後までお楽しみくださいっ！

なお弊社では、自社専用ボット開発についての1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

ボットの開発手法について

今回、ボットは次の3つの手法で開発しました。

簡単に概要と、各要素についてまとめます！

開発手法	Python + GPT3	ChatBotKit	DocsBot
概要	OpenAIのGPT3ライブラリを利用した開発	ノーコードで、チャットボットが作成できるツール	ノーコードでチャットボットが作成できるツール
作りやすさ（ノーコードかどうか）	△	○	○
導入のしやすさ	△	△	○
精度	○	△	△
書類データ(pdf,wordなど)の読み込ませやすさ	△ （※要コーディング）	○	○
費用	○ 従量課金	△ $25〜	△ $19〜

各要素について、表だけでは伝わらない内容を補足しております。

作りやすさ
- ChatBotKit、DocsBotはともに、すでに出来上がっているサービス（いわゆるSaaS）のため、割と簡単です。
- Python + GPT3は、インフラ構築などが必要なため面倒に感じる方もいるでしょう。
運用のしやすさ
- ChatBotKitは、SlackやDiscordとデフォルトで連携できるため、運用しやすいです。
- DocsBotは、WEBサイトに組み込めるウィジェット機能の実装予定があるため、将来的にはどんどん運用しやすくなるでしょう。
- Python+GPT3は、作りやすさ同様インフラ管理が必要であり、前者2つと比較して運用コストが掛かります。
精度
- Pythonで作ったものがもっとも高く、その他の精度が少し下がります。（当社調べ）
  検証項目なども含めて、次の見出しで詳しくお伝えします。
書類データ（PDF, Wordファイル等）の読み込ませやすさ
- ChatBotKitとDocsBotは、GUIでポチポチしたら簡単にできます。
- Python + GPT3の場合は、プログラミングが必要なため、やや難しいかも。
費用
- OpenAI本家を利用した方が安くなるでしょう。

精度の検証方法と結果

今回の検証にあたり、次のような質問事項と基準を用意しました！
作成したボットは3種とも、弊社WEELが外部に公開している資料や一部公開してもいい社内情報を学習してます。

ボットへの入力	判断基準	Python + GPT3	ChatBotKit	DocsBot
会社の基本情報を教えてください	基本情報（住所、資本金、事業内容、従業員数）を提示できているか	○	×	×
製品やサービスの詳細を教えてください	事業内容（SaaS連携、ChatGPT等）について触れているかどうか	×	×	×
営業時間やサポート対応時間を教えてください	学習させていないので、”ない”と答えるか	○	×	○
私のニーズに合った製品やサービスを提案してください	ニーズを聞く力があるか、顧客の需要を把握し提案できるか	△ （もう一歩）	×	×
英語/中国語/スペイン語で情報を提供してください	日本語以外の言語でも回答できるか	△ (英語のみ)	△ (英語のみ)	×
企業/個人/パートナー企業向けの情報を教えてください	学習させてないので、”ない”と答えるか	×	○	×

精度の良さは次の順番でした。

Python + GPT3
ChatBotKit
DocsBot

Python + GPT3のほうが、他2つより精度が良いという結果になりました！

実際の検証結果（スクショあり）

各ボットの回答（一部抜粋）をキャプチャしたので、貼り付けます。

3種を確認する前に、まずは本家であるChatGPT3.5を確認してみましょう！
弊社について学習させてないので以下のようになります。

ChatBotKit
うまく回答できてないですね。
情報は間違っているし、会社の基本情報（住所、資本金、事業内容、従業員数など）が出せてません。

DocsBot
こちらは必要そうな情報を、分けて表示している！
ものすごくホスピタリティがあっていいのですが大外れ……！
山田太郎さん……だれやねん！？笑
設立年2010年……そんな古くない！
しっかり学習させているはずなのですが……

Python + GPT3
query()という関数で、質問を入力した場合は、成功！したのですが、どのファイルを参考にしたのかを表示しようとすると、なぜか英語で返答されてしまいます。

各ボットの回答を確認して、GPT3系を使っているため、精度がいまいちな場合があるのかなぁと。
GPT4を使って精度が上がるのであれば、コンサルや営業をボットに置き換えられるかもしれないですね
ツール自体は、GPT4に対応しているので、APIキーを取得でき次第、再度実験したいと思ってます。

今回開発したPythonプログラムについて

プログラムを以下に記載しておきます。
お好きなインフラ環境でスクリプト実行すると、質問に対しての回答が返ってきます。
次の2つに関しては、ご自身の環境に合わせて変更しご利用ください。

import os
# APIキー
OPENAI_API_KEY = "your-APIKEY"  #@param {type:"string"}
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
# 学習させるPDFの格納先
PDF_DIR = "/your/path/to/directory/"
import glob
from langchain.document_loaders import UnstructuredPDFLoader
from langchain.agents import initialize_agent, Tool
from langchain.llms import OpenAI
from langchain.indexes import VectorstoreIndexCreator
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from gpt_index import LangchainEmbedding
from gpt_index import GPTSimpleVectorIndex, SimpleDirectoryReader
from gpt_index.indices.prompt_helper import PromptHelper
from gpt_index import download_loader
tools = []
files = glob.glob(PDF_DIR + '/*')
# 日本語モデル埋め込み
embedding = HuggingFaceEmbeddings(
    model_name="oshizo/sbert-jsnli-luke-japanese-base-lite"
)
loaders = [UnstructuredPDFLoader(f) for f in files]
index_creator = VectorstoreIndexCreator(
    embedding=embedding,
    text_splitter=CharacterTextSplitter(chunk_size=200, chunk_overlap=20)
)
index = index_creator.from_loaders(loaders)
index_creator = VectorstoreIndexCreator(
    embedding=embedding,
    text_splitter=CharacterTextSplitter(chunk_size=200, chunk_overlap=20)
)
res = index.query_with_sources("会社の基本情報を教えてください。")　#()の中には質問を入れる
print(res["sources"])　　
print(res["answer"])　#回答が出力されます

【無料】2023年11月版｜生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIの業務活用コンサルティング

・システム間API連携

無料ダウンロード

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

自社専用のAIチャットボット開発実績

弊社では、自社専用のAIチャットボット開発も行っています。

AIチャットボットには専門知識を学習することができ、例えばマーケターやエンジニア、コンサルタントなど、専門家を複数登場させることも可能です。

AIチャットボットを作成することで、社内の質疑にかかる工数を減らすことができ、余剰時間を産むことができます。

弊社は、透明性を重要視しており、このAIチャットボット作成手法を一般公開しています。

以下の記事からご覧ください。

自社専用のAIチャットボット開発に興味がある方には、まずは1時間の無料相談をご用意しております。
こちらからご連絡ください。

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「1時間の無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ