【GPT Crawler】URLを入れるだけでどんなサイトもGPTsにできる神AIを使ってみた

2023-11-262023-12-02

メディア事業部AIライターのたけしとLLMリサーチャーの中田です。この記事は専門的な内容を含むため、AIスペシャリストとの共同執筆となっています。

2023年11月15日、Builder.ioより「GPT Crawler」がオープンソース化されました。

GPT Crawlを利用すれば、URLを指定するだけで、そのサイト独自のGPTsをたった2分で簡単に作れてしまうんです！

これは例えるなら、映画『スタートレック』に登場する”膨大な情報データベースにアクセスするためにコンピュータと対話するシーン”が、現実世界でも再現できるようなものですね。

というわけで今回は、GPT Crawlerの概要や使い方について詳しく解説します。

ぜひ最後までご覧いただき、お手元のPCでGPTsを作成してみてください！

なお弊社では、生成AIの開発について1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

GPT Crawlerの概要

GPT Crawlerは、【サイトのURLを指定するだけで、独自のGPTsをChatGPT上で作成できるソフトウェア】です。

例として以下は、GPT Crawlerで作成した「Builder.io Assistant」というGPTsを使用した様子です。（GPTsの利用にはChatGPT Plusへの課金が必要）

ご覧のとおり、Builder.ioの使い方についてプロンプトで質問するだけで、手順をわかりやすく解説してくれていますね。

ちなみに作成したGPTsは、自社サイトやサービスに設置して、チャットボットとして使うことも可能です。

GPT CrawlerでGPTsを作成するメリットは以下の2点。

［ユーザー視点］：不明点についてわざわざ調べたり問い合わせたりする必要がなく、GPTsに質問するだけで疑問が解決する。
［開発者視点］：GPTsが自動でユーザーとやり取りしてくれるため、顧客対応業務の負担が軽減される。

さらに、GPT CrawlerでGPTsを作成する手順は非常にシンプルで、早ければ2分ほどで完了します。

興味のある方は、ぜひ独自のGPTsを作成してみてください！

なお、自社専用チャットボットの作り方について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【ChatGPT搭載】自社専用ボットの作り方3選！徹底検証

GPT Crawlerの使い方

早速GPT Crawlerを使うためのセットアップを行いましょう。

手順としてはローカルでGPT Crawlerをセットアップし、サイトをクローリングしてデータを取得したあと、ChatGPTで独自のGPTsを作成するという流れになります。

ローカル環境での準備

まずGitからソースコードを任意のフォルダにダウンロードします。

git clone https://github.com/builderio/gpt-crawler

次に、生成された「gpt-crawler」というフォルダに移動し、installコマンドでインストールを開始します。

cd gpt-crawler
npm install

※もしPlaywrightがインストールされていなければ、下記コマンドでインストールを行ってください。

npx playwright install

GPT Crawlerのインストールが完了したら、「config.ts」という設定ファイルを変更します。

export const config: Config = {
  // 下記のURLからクロールを開始する
  url: "https://weel.co.jp/media",
  // 上記のパターンに一致するURLのみをクロールする
  match: "https://weel.co.jp/media/**",
  //このセレクタ内のテキストのみを取得する
  selector: `.l-mainContent`,
  // クロールするページ数
  maxPagesToCrawl: 50,
  //結果が出力されるファイルの名前
  outputFileName: "output.json",
};

今回は弊社WEELの公式サイトをクローリングしてみます。
詳細はコード内のコメントに書いていますが少し補足です。

「 selector:」という箇所はCSSセレクタとなります。上記の場合、CSSのクラス「l-mainContent」の中のコンテンツのみ、クローリングするという設定になります。

設定ファイルを保存したら準備は完了です。
下記コマンドでGPT Crawlerを起動します。

npm start

すると、設定ファイルで指定したURLからクローリングを始めます。

「Finished!」の記述が表示されれば、クローリング完了です。設定ファイルで指定した名前でjsonファイルが吐き出されていると思います。

ChatGPTでの準備

ChatGPTの左下に表示されているアカウント名をクリックしたあと、「My GPTs」をクリックします。

「Create a GPT」をクリックし、次の画面で「Configre」タブを選択します。
「Name」にGPTの名前を入力し、「Knowledge」でjsonファイルをアップロードします。
最後に右上のSaveボタンをクリックしたら、ChatGPTでの準備は完了です。

GPT Crawlerを実際に使ってみた

では早速GPT Crawlerを使ってみましょう！
ChatGPTの画面の左上に、さっき作ったGPTsが表示されているのでクリックします。
ここでは「Test Crawler」という名前になります。

あとは普通のChatGPTと同じ使い方です。

異なるのは、読み込ませたjsonファイルに存在する情報をプロンプトに入力すると、「Searching mu knowlede」と表示されるところです。
例えば、「elyza-japanese-codellama-7bについて教えて」と入力すると。。。

ChatGPTがウェブサイトから情報をクローリングし、回答してくれます。すごい！

では読み込ませたjsonファイルに全く関係のない質問の場合はどうなるのか、試してみました。

ちゃんと回答されましたね。
関係のない質問は、普通のChatGPTが答えてくれるようです。

次に、今回は50ページしかクロールさせていないので、その範囲外の情報を聞いてみます。

すると、「手元の資料（読み込んだjsonファイル）には詳しく記載されていないが、他の記事にありそう」ということを教えてくれました！

ちなみに、普通のChatGPTで同じ質問をすると・・・

そんなもんは知らん、と言われてしまいました。。。

ChatGPTは万能ではありませんが、GPT Crawlerを使えば自分好みのGPTsを簡単に作成することができるため、作業効率がグッとあがることでしょう！

なお、AIチャットボットの作り方について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→AIチャットボットの作り方は？自社開発とツール活用の場合に分けて徹底解説！

まとめ

GPT Crawlerは、【サイトのURLを指定するだけで、独自のGPTsを作成できるソフトウェア】です。

作成したGPTsは、自社サイトやサービスに設置して、チャットボットとしても利用できます。

GPT CrawlerでGPTsを作成するメリットは以下の2点。

［ユーザー視点］：GPTsに質問するだけで疑問が解決するため、リサーチの手間が省ける。
［開発者視点］：GPTsが自動でユーザーとやり取りしてくれるため、顧客対応業務の負担が軽減される。

GPT Crawlerを使えば最短2分でGPTsが作れるので、興味のある方はぜひお試しください！

GPT Crawlerがさらに進化すれば、近い将来、映画『スタートレック』に登場する”コンピュータと対話するシーン”が本当に実現するかもしれませんね。

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「1時間の無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ