サイトのデザインが新しくなりました。

【GPT Crawler】URLを入れるだけでどんなサイトもGPTsにできる神AIを使ってみた

GPT Crawler GPTs 自社専用AIボット

メディア事業部AIライターのたけしとLLMリサーチャーの中田です。この記事は専門的な内容を含むため、AIスペシャリストとの共同執筆となっています。

2023年11月15日、Builder.ioより「GPT Crawler」がオープンソース化されました。

GPT Crawlを利用すれば、URLを指定するだけで、そのサイト独自のGPTsをたった2分で簡単に作れてしまうんです!

というわけで今回は、GPT Crawlerの概要や使い方について詳しく解説します。

ぜひ最後までご覧いただき、お手元のPCでGPTsを作成してみてください!

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

目次

GPT Crawlerの概要

GPT Crawlerは、【サイトのURLを指定するだけで、独自のGPTsをChatGPT上で作成できるソフトウェア】です。

例として以下は、GPT Crawlerで作成した「Builder.io Assistant」というGPTsを使用した様子です。(GPTsの利用にはChatGPT Plusへの課金が必要)

ご覧のとおり、Builder.ioの使い方についてプロンプトで質問するだけで、手順をわかりやすく解説してくれていますね。

ちなみに作成したGPTsは、自社サイトやサービスに設置して、チャットボットとして使うことも可能です。

GPT CrawlerでGPTsを作成するメリットは以下の2点。

  • [ユーザー視点]:不明点についてわざわざ調べたり問い合わせたりする必要がなく、GPTsに質問するだけで疑問が解決する。
  • [開発者視点]:GPTsが自動でユーザーとやり取りしてくれるため、顧客対応業務の負担が軽減される。

さらに、GPT CrawlerでGPTsを作成する手順は非常にシンプルで、早ければ2分ほどで完了します。

興味のある方は、ぜひ独自のGPTsを作成してみてください!

GPT Crawlerの使い方

早速GPT Crawlerを使うためのセットアップを行いましょう。

手順としてはローカルでGPT Crawlerをセットアップし、サイトをクローリングしてデータを取得したあと、ChatGPTで独自のGPTsを作成するという流れになります。

ローカル環境での準備

まずGitからソースコードを任意のフォルダにダウンロードします。

git clone https://github.com/builderio/gpt-crawler

次に、生成された「gpt-crawler」というフォルダに移動し、installコマンドでインストールを開始します。

cd gpt-crawler
npm install

※もしPlaywrightがインストールされていなければ、下記コマンドでインストールを行ってください。

npx playwright install

GPT Crawlerのインストールが完了したら、「config.ts」という設定ファイルを変更します。

export const config: Config = {
  // 下記のURLからクロールを開始する
  url: "https://weel.co.jp/media",
  // 上記のパターンに一致するURLのみをクロールする
  match: "https://weel.co.jp/media/**",
  //このセレクタ内のテキストのみを取得する
  selector: `.l-mainContent`,
  // クロールするページ数
  maxPagesToCrawl: 50,
  //結果が出力されるファイルの名前
  outputFileName: "output.json",
};

今回は弊社WEELの公式サイトをクローリングしてみます。
詳細はコード内のコメントに書いていますが少し補足です。

「 selector:」という箇所はCSSセレクタとなります。上記の場合、CSSのクラス「l-mainContent」の中のコンテンツのみ、クローリングするという設定になります。

設定ファイルを保存したら準備は完了です。
下記コマンドでGPT Crawlerを起動します。

npm start

すると、設定ファイルで指定したURLからクローリングを始めます。

「Finished!」の記述が表示されれば、クローリング完了です。設定ファイルで指定した名前でjsonファイルが吐き出されていると思います。

ChatGPTでの準備

ChatGPTの左下に表示されているアカウント名をクリックしたあと、「My GPTs」をクリックします。

「Create a GPT」をクリックし、次の画面で「Configre」タブを選択します。
「Name」にGPTの名前を入力し、「Knowledge」でjsonファイルをアップロードします。
最後に右上のSaveボタンをクリックしたら、ChatGPTでの準備は完了です。

GPT Crawlerを実際に使ってみた

では早速GPT Crawlerを使ってみましょう!
ChatGPTの画面の左上に、さっき作ったGPTsが表示されているのでクリックします。
ここでは「Test Crawler」という名前になります。

あとは普通のChatGPTと同じ使い方です。

異なるのは、読み込ませたjsonファイルに存在する情報をプロンプトに入力すると、「Searching mu knowlede」と表示されるところです。
例えば、「elyza-japanese-codellama-7bについて教えて」と入力すると。。。

ChatGPTがウェブサイトから情報をクローリングし、回答してくれます。すごい!

では読み込ませたjsonファイルに全く関係のない質問の場合はどうなるのか、試してみました。

ちゃんと回答されましたね。
関係のない質問は、普通のChatGPTが答えてくれるようです。

次に、今回は50ページしかクロールさせていないので、その範囲外の情報を聞いてみます。

すると、「手元の資料(読み込んだjsonファイル)には詳しく記載されていないが、他の記事にありそう」ということを教えてくれました!

ちなみに、普通のChatGPTで同じ質問をすると・・・

そんなもんは知らん、と言われてしまいました。。。

ChatGPTは万能ではありませんが、GPT Crawlerを使えば自分好みのGPTsを簡単に作成することができるため、作業効率がグッとあがることでしょう!

まとめ

GPT Crawlerは、【サイトのURLを指定するだけで、独自のGPTsを作成できるソフトウェア】です。

作成したGPTsは、自社サイトやサービスに設置して、チャットボットとしても利用できます。

GPT CrawlerでGPTsを作成するメリットは以下の2点。

  • [ユーザー視点]:GPTsに質問するだけで疑問が解決するため、リサーチの手間が省ける。
  • [開発者視点]:GPTsが自動でユーザーとやり取りしてくれるため、顧客対応業務の負担が軽減される。

GPT Crawlerを使えば最短2分でGPTsが作れるので、興味のある方はぜひお試しください!

GPT Crawlerがさらに進化すれば、近い将来、映画『スタートレック』に登場する”コンピュータと対話するシーン”が本当に実現するかもしれませんね。

サービス紹介資料

生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

最後に

いかがだったでしょうか?

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
ハルシネーション対策AIツールの開発
自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

Authors

  • たけし

    Webライター / メディア運営 フリーランスのWebライターとして活動。 これまでさまざまなAIツールを使ってきた経験を基に、AI技術の最新情報や使用方法に関する記事を執筆。 また、個人でもメディアを運営中。

  • 藤崎

    情シスとして8年間勤務したあと、現在はWEBコンサルタントとして独立。 システム開発やマーケティング、ライター、プログラミング教室など幅広い分野で活動中。 と言えば聞こえはいいですが、実際のところはITの何でも屋さんみたいなことをしています。

  • URLをコピーしました!
  • URLをコピーしました!
目次