【GPT Crawler】URLを入れるだけでどんなサイトもGPTsにできる神AIを使ってみた

メディア事業部AIライターのたけしとLLMリサーチャーの中田です。この記事は専門的な内容を含むため、AIスペシャリストとの共同執筆となっています。

2023年11月15日、Builder.ioより「GPT Crawler」がオープンソース化されました。

GPT Crawlを利用すれば、URLを指定するだけで、そのサイト独自のGPTsをたった2分で簡単に作れてしまうんです！

というわけで今回は、GPT Crawlerの概要や使い方について詳しく解説します。

ぜひ最後までご覧いただき、お手元のPCでGPTsを作成してみてください！

GPT Crawlerの概要

GPT Crawlerは、【サイトのURLを指定するだけで、独自のGPTsをChatGPT上で作成できるソフトウェア】です。

例として以下は、GPT Crawlerで作成した「Builder.io Assistant」というGPTsを使用した様子です。（GPTsの利用にはChatGPT Plusへの課金が必要）

ご覧のとおり、Builder.ioの使い方についてプロンプトで質問するだけで、手順をわかりやすく解説してくれていますね。

ちなみに作成したGPTsは、自社サイトやサービスに設置して、チャットボットとして使うことも可能です。

GPT CrawlerでGPTsを作成するメリットは以下の2点。

さらに、GPT CrawlerでGPTsを作成する手順は非常にシンプルで、早ければ2分ほどで完了します。

興味のある方は、ぜひ独自のGPTsを作成してみてください！

なお、ノーコードでGPTsを方法については下記の記事を合わせてご確認ください。
→【GPTs（GPT Builder）】ノーコードで自分専用のChatGPTを開発できる！使い方や活用事例を紹介

GPT Crawlerのライセンス

GPT CrawlerはISC licenseでライセンスされています。商用利用や改変などは許可されていますが、特許については明示されていませんので特許に関連した使用を行う場合はそのご注意ください。

GPT Crawlerの使い方

早速GPT Crawlerを使うためのセットアップを行いましょう。

手順としてはローカルでGPT Crawlerをセットアップし、サイトをクローリングしてデータを取得したあと、ChatGPTで独自のGPTsを作成するという流れになります。

GPT Crawlerをローカルで動かすのに必要なPCのスペック

今回、GPT Crawlerを動かしたのは下記のマシンになります。

■マシン：MacBook Pro（13-inch 2020）
■CPUの種類:1.4 GHz クアッドコアIntel Core i5
■システムメモリ:16GB
■GPUの種類:Intel Iris Plus Graphics 645 1536 MB
■HDD/SSDの空き容量:50GB


■必要なパッケージ
Node.js >= 16 

ローカル環境での準備

まずGitからソースコードを任意のフォルダにダウンロードします。

git clone https://github.com/builderio/gpt-crawler

次に、生成された「gpt-crawler」というフォルダに移動し、installコマンドでインストールを開始します。

cd gpt-crawler
npm install

※もしPlaywrightがインストールされていなければ、下記コマンドでインストールを行ってください。

npx playwright install

GPT Crawlerのインストールが完了したら、「config.ts」という設定ファイルを変更します。

export const config: Config = {
  // 下記のURLからクロールを開始する
  url: "https://weel.co.jp/media",
  // 上記のパターンに一致するURLのみをクロールする
  match: "https://weel.co.jp/media/**",
  //このセレクタ内のテキストのみを取得する
  selector: `.l-mainContent`,
  // クロールするページ数
  maxPagesToCrawl: 50,
  //結果が出力されるファイルの名前
  outputFileName: "output.json",
};

今回は弊社WEELの公式サイトをクローリングしてみます。
詳細はコード内のコメントに書いていますが少し補足です。

「 selector:」という箇所はCSSセレクタとなります。上記の場合、CSSのクラス「l-mainContent」の中のコンテンツのみ、クローリングするという設定になります。

設定ファイルを保存したら準備は完了です。
下記コマンドでGPT Crawlerを起動します。

npm start

すると、設定ファイルで指定したURLからクローリングを始めます。

「Finished!」の記述が表示されれば、クローリング完了です。設定ファイルで指定した名前でjsonファイルが吐き出されていると思います。

ChatGPTでの準備

ChatGPTの左下に表示されているアカウント名をクリックしたあと、「My GPTs」をクリックします。

「Create a GPT」をクリックし、次の画面で「Configre」タブを選択します。
「Name」にGPTの名前を入力し、「Knowledge」でjsonファイルをアップロードします。
最後に右上のSaveボタンをクリックしたら、ChatGPTでの準備は完了です。

とはいえ、GPTsの上手な使い方がいまいちよくわからない・・・という方は下記の記事も合わせてご確認ください。
→【ChatGPT「GPTs（GPT Builder）」のおすすめ活用事例一覧】猛者達が開発した最強GPTsの使い方60選

GPT Crawlerを実際に使ってみた

では早速GPT Crawlerを使ってみましょう！
ChatGPTの画面の左上に、さっき作ったGPTsが表示されているのでクリックします。
ここでは「Test Crawler」という名前になります。

あとは普通のChatGPTと同じ使い方です。

異なるのは、読み込ませたjsonファイルに存在する情報をプロンプトに入力すると、「Searching mu knowlede」と表示されるところです。
例えば、「elyza-japanese-codellama-7bについて教えて」と入力すると。。。

ChatGPTがウェブサイトから情報をクローリングし、回答してくれます。すごい！

では読み込ませたjsonファイルに全く関係のない質問の場合はどうなるのか、試してみました。

ちゃんと回答されましたね。
関係のない質問は、普通のChatGPTが答えてくれるようです。

次に、今回は50ページしかクロールさせていないので、その範囲外の情報を聞いてみます。

すると、「手元の資料（読み込んだjsonファイル）には詳しく記載されていないが、他の記事にありそう」ということを教えてくれました！

ちなみに、普通のChatGPTで同じ質問をすると・・・

そんなもんは知らん、と言われてしまいました。。。

ChatGPTは万能ではありませんが、GPT Crawlerを使えば自分好みのGPTsを簡単に作成することができるため、作業効率がグッとあがることでしょう！

本記事を読んでGPTsは設定できたけどプロンプトの作り方に迷っている方は下記記事を合わせてご確認ください。
→【GPTs（GPT Builder）の作り方マニュアル】プロンプトのコツやプロンプトインジェクション対策まで解説

GPT Crawlerで独自のGPTsを作成してみよう！

GPT Crawlerは、【サイトのURLを指定するだけで、独自のGPTsを作成できるソフトウェア】です。

作成したGPTsは、自社サイトやサービスに設置して、チャットボットとしても利用できます。

GPT CrawlerでGPTsを作成するメリットは以下の2点。

GPT Crawlerを使えば最短2分でGPTsが作れるので、興味のある方はぜひお試しください！

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、サービス紹介資料もご用意しておりますので、併せてご確認ください。

無料で相談する

資料をダウンロードする