NotebookLMの性能を徹底比較！カスタムメイドRAGと使いやすさを比べてみた
WEELメディア事業部AIライターの2scです！
生成AIへの感度が高いみなさんなら、「NotebookLM」はご存知のはず。こちらは、資料ベースでの回答・要約が得られるGoogle発のAIツールで、なんと日本語換算で500,000語分の資料が一度に要約できるという優れものです！
このNotebookLMが登場した際、「RAGシステムを自前で開発・実装する意義が薄れてきたのでは……」と思われた方も、結構いらっしゃるのではないでしょうか？
ですが、そんなことはありません！NotebookLMとカスタムメイドのRAGシステムには、大きなキャラクターの違いがあるんです。
ということで今回は、NotebookLMとカスタムメイドのRAGを徹底比較！機能・利便性の比較はもちろん、実験に基づく性能比較も行っていきます。
完読いただくと、業務スタイルに合ったAIツールの導入方法が見えてくるはず。ぜひ、最後までお読みください！
NotebookLMとは
まずはGoogle発の生成AIツール「NotebookLM」について、概要・機能を紹介！以下、NotebookLMのどこがすごいのかを詳しくみていきましょう。
NotebookLMの概要
「NotebookLM」は、Googleが送るLLM（大規模言語モデル）を搭載したWebサービスです。2023年7月12日・アメリカでの先行リリース後、翌年の2024年6月6日に日本を含む200カ国以上の国と地域で提供が始まり、話題を呼んでいます。
このNotebookLMの概要をひとことで説明すると……
LLMに資料を読み込ませて、その資料についての要約・FAQ・アイデア…etc.が得られるサービス
というもの。そんなNotebookLMが注目される理由としては、
- Googleが誇る最新のLLM「Gemini 1.5 Pro」を搭載している
- 非エンジニアでも資料の引用に基づく回答生成（RAG）ができる
の2点が挙げられます。
とくにGemini 1.5 Proを搭載している、というのが重要で……
- コンテキストウィンドウが1Mトークン（日本語にして500,000語前後！）
- テキスト・画像対応のマルチモーダルLLM
- 計算効率に優れた「MoE / Mixture-of-Experts」アーキテクチャを採用
以上のとおり、膨大な文書についても要約が可能になっているんです！
NotebookLMでできること
NotebookLMの具体的な機能は、以下のとおりになっています。
- 最大500,000語まで、日本語の資料が読み込み可
- 下記のメディア媒体について、読み込み・引用可
- Googleドキュメント
- テキストファイル
- Googleスライド
- URL
- 下記5種類のテンプレートを完備、ワンクリックでの要約が可能
- FAQ：FAQ形式での要約
- Study Guide：テスト問題・論述問題・用語集の形式での要約
- Table of Contents：複数のテーマに分割後、箇条書きでの要約
- Timeline：年代の抽出、時系列・歴史順での要約
- Briefing Doc：論述形式での要約
- 生成時には、引用元の提示が可能
- その他、プロンプトに基づく要約・回答生成も可能
このNotebookLMはGoogleによると、資料の読み込み / 情報の整理 / アイデア出し / 共同作業…etc.に使えるとのこと。具体的な活用例を挙げてみると……
- 会議資料の確認
- 会議の文字起こし・議事録の要約
- FAQの作成
- 論文・リサーチ業務
- テスト問題の作成
- ニュースレターの生成
- 契約書の抜け漏れチェック
などなど、様々な用途に使えそうです。
なお「資料内で文字コードが混在していると文字化けが起きる」「資料内の画像は読み取れない」等、できないこともありますので、その点はご留意ください。
なお、同Googleの生成AIチャットGeminiについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
NotebookLMとその他RAGの機能・利便性を比較！
「NotebookLMをそのまま使う」以外にも、LLMに資料・ドキュメントベースの回答をさせる方法があります。それは「RAGシステムを自分で開発・開発する」というものです。
NotebookLMもRAGシステムの一種なのですが、カスタムメイドのRAGシステムとは様々な面で違っていて……
| NotebookLM | カスタムメイドのRAGシステム | |
|---|---|---|
| 導入のしやすさ | ◎ | △ |
| 入出力の機密性 | × | ◯ |
| Temperatureの調節 | 不可 | 可 |
| 機能の拡張・外部ツールとの連携 | 不可 | 可 |
| モデルの選択肢 | Gemini 1.5 Proのみ | GPT-4o / Gemini / Llama3 …etc.自由 |
| 利用料金 | 無料（2024年6月時点） | モデルによっては無料 |
以上のとおりになっています。それでは次の項目で、性能面の違いもみていきましょう！
NotebookLMとその他RAGの性能も比較！
ここからは、NotebookLMとカスタムメイドのRAGシステムの性能面での違いを……
- 要約の能力
- アイデア出しの能力
- コーディング能力
- FAQの生成能力
- 時系列順での要約能力
以上5項目で徹底比較していきます！まずは肝心な「要約の能力」から、詳しくみていきましょう。
要約の能力
まずは実際に、NotebookLMと自前で用意したRAGシステムを使って、両者の性能差を比較してみます。
今回実験に用いるRAGシステムの内訳は……
- Google Colaboratory（Colab）とPythonで制作
- LLMとデータベースの連携にはLangChainを使用
- 引用したチャンクの数 / n_results：4（デフォルト）
- ベクトルデータベースにはChromaを使用
- 分割するチャンクの大きさ / chunk_size：1000
- チャンク同士の重複 / chunk_overlap：0
- エンベディングに使ったモデル：text-embedding-ada-002（Embeddings API）
- LLMはChatGPT APIのGPT-4o（gpt-4-0125-preview）を使用
以上のとおりです。基本は上記条件のもと、回答の自由度（temperature）と引用させるテキストを適宜変更します。
ということで早速、NotebookLMと自作RAGシステムとで「要約」の能力を比較していきます。今回両者に引用させるのは……
こちら、「生成AIずかん」全記事のテキストデータ。自作RAGシステムのtemperatureは0.1に設定して、精度重視で比較します。
準備・設定後、以下のプロンプトをNotebookLMと自作RAGシステムに入力してみると……
日本語に対応しているLLMについて、具体的なモデル名を交えて要約して
自作RAGシステムでの回答
日本語に対応しているLLM（大規模言語モデル）には、複数の具体的なモデルが存在します。その中でも特に注目されているのは、「ELYZA-japanese-Llama-2-70b」と「PLaMo-13B」です。
「ELYZA-japanese-Llama-2-70b」は、700億パラメータを持つ日本語特化のLLMであり、日本語能力が非常に高いとされています。しかし、知識面での不足が指摘されており、複雑なコーディングタスクにおいては他のモデルとの差が顕著になる場合があるようです。
一方、「PLaMo-13B」は、約130億個のパラメータを持ち、日本語と英語に特化した日本発のLLMです。このモデルは、Weblab-10BやLlama 2に匹敵する性能を持つと噂されています。日本語に特化している点が、日本人ユーザーにとって大きなメリットとなっています。
これらのモデルは、生成能力、理解能力、推論能力の向上により、創作活動、情報検索、顧客サービス、教育など様々な分野での活用が期待されています。しかし、バイアスの問題、説明責任の難しさ、セキュリティ問題など、克服すべき課題も存在しています。これらの課題を解決することで、LLMはさらに社会に貢献する技術となるでしょう。
以上のとおり、要約についてはどちらも問題なくしてくれました。
ですが、引用できたツールの数については、一度に全文を検索できる「NotebookLM」の圧勝。同等の検索能力をもつRAGシステムを作るには……
- Gemini 1.5 Pro（API版）
- Llama-3 8B Gradient Instruct 1048k
のような1MトークンのコンテキストウィンドウをもつLLMを使うほかなさそうです。
アイデア出しの能力
続いては、NotebookLMと自作RAGシステムのそれぞれに引用ベースでの「アイデア出し」をしてもらいます。
今回も、引用させるのは「生成AIずかん」全記事のテキストデータ。そして、自作RAGシステムのtemperatureは、自由度重視で1.1に設定してみます。その後、下記プロンプトをNotebookLM・自作RAGシステムに投げかけてみると……
画像を加工できる生成AIを使ったビジネスアイデアを考えてください。アイデアについて語るときは具体的にどんなモデルが使えるかも添えること
自作RAGシステムでの回答
一つのビジネスアイデアは、カスタマイズ可能なプリント商品のEコマースプラットフォームの開発です。このプラットフォームでは、ユーザーが簡単なスケッチやテキストベースの説明をアップロードし、それをもとにして「flowty-realtime-lcm-canvas」モデルを使用して高品質な画像を生成します。生成された画像はTシャツ、マグカップ、キャンバスプリントなど、さまざまな商品に印刷して販売できます。
このアイデアの鍵は、「flowty-realtime-lcm-canvas」が提供するリアルタイムでの画像生成能力で、ユーザーは自分の雑なスケッチからプロ並みの絵を見ることができ、その瞬間の創造性を即座に商品化することができます。ユーザーは生成された画像をリアルタイムでプレビューし、必要に応じて調整や変更を加えることが可能です。これにより、自分だけのオリジナル商品を簡単に、かつ迅速に作成することができます。
また、このプラットフォームはアーティストやデザイナーにとっても有益で、彼らの作品をプロダクトとして直接一般の消費者に届ける新しいチャネルを提供します。さらに、既存のアニメキャラクターや人気のあるデザインを題材にして、合法的な版権許諾を受けたカスタマイズ商品を提供することも可能です。
このビジネスアイデアで重要なのは、ユーザー中心のデザインと、Eコマースプラットフォームの柔軟性です。プラットフォームでは、「flowty-realtime-lcm-canvas」モデルの能力を最大限に活用し、ユーザーが自分自身で簡単に使える、直感的なインターフェースを提供する必要があります。
今度は自作RAGシステムの圧勝です！引用したAIツールに基づいて、いい感じのビジネスアイデアを出してくれました。
対してNotebookLMでは、「引用元にビジネスアイデアがないので回答不可」との旨を返しています。どうやら、原典に忠実に回答するよう、制約がかけられている様子です。
コーディング能力
今度は「コーディング」でも、NotebookLMと自作RAGシステムの能力を比較してみます。
ここでは引用元を「生成AIずかん」に、自作RAGシステムのtemperatureを0.9に、それぞれ設定。下記のプロンプトを入力してみました。結果は……
LLMについて、用途別で分類を考えてから、関連する具体的なモデル名を挙げてください。なお、出力はマーメイド記法のフローチャートで書くこと。
自作RAGシステムでの回答
graph TD;
LLM(大規模言語モデルLLM)
LLM --> 創作活動
LLM --> 情報検索
LLM --> 顧客サービス
LLM --> 教育
創作活動 --> ELYZA-japanese-Llama[ELYZA-japanese-Llama-2-70b]
情報検索 --> GPT4[GPT-4 Turbo]
顧客サービス --> GPT35[GPT-3.5 Turbo]
教育 --> LLAVAl[LLaVA-1.5 LMM]このフローチャートは、大規模言語モデル（LLM）の用途別分類と、それに関連する具体的なモデル名をマーメイド記法で示しています。分類された用途は「創作活動」「情報検索」「顧客サービス」「教育」であり、各用途に対して、ELYZA-japanese-Llama-2-70b、GPT-4 Turbo、GPT-3.5 Turbo、LLaVA-1.5 LMMがそれぞれ関連するモデルとして挙げられています。
続いても自作RAGシステムの勝利です！回答の自由度（temperature）を大きめに設定したからか分類は的外れでしたが、それでも自力で考えたのち、コードに起こしてくれています。
ちなみに、自作RAGシステムによるマーメイド記法のコードを、エディターに入力してみると……
お見事！一発でフローチャートの画像に変換できました。
FAQの生成能力
ここからはNotebookLMの土俵「FAQの生成」で、自作RAGシステムとの比較を実施していきます。
今回両者に引用させるデータは下記の、生成AI企業の情勢をまとめた記事。そして、自作RAGシステムのtemperatureは0.8に設定しました。
準備後、下記のプロンプトをNotebookLMと自作RAGシステムの両方に入力してみると……
ChatGPTのすごいところについて、FAQを作って
自作RAGシステムでの回答
ChatGPTに関するFAQ
Q: ChatGPTって何ですか？
A: ChatGPTは、自然言語処理を行うための人工知能技術を基にしたOpenAIによるチャットボットです。ユーザーからの入力に対し、自然な会話形式で応答ができます。
Q: ChatGPTのすごい点は何ですか？
A: ChatGPTのすごい点は、以下の3つです。
- 一般人でも使いやすい – プログラミングの知識がなくても、直感的に対話できます。
- 安全な回答を提供 – 過去のモデルで問題となった有害な回答を抑える工夫があります。
- 学習能力 – 人間によるフィードバックを受けて、どんどん賢くなります。
Q: ChatGPTでできることは？
A: 文章作成、プログラムコードの生成、質問への回答、言語学習のサポート、日常会話など、多岐にわたります。
Q: ChatGPTは無料で使えますか？
A: 基本的な機能は無料で使うことができますが、追加機能や高度な対応が必要な場合は有料版のChatGPT Plusを利用することができます。
Q: ChatGPTはどうやって賢くなるのですか？
A: ユーザーからのフィードバックや大量のデータを学習し、その知識を元に応答を改善していきます。これには機械学習技術が用いられています。
Q: ChatGPTの安全性は？
A: OpenAIはChatGPTの安全性を高めるために、有害なコンテンツや誤情報を生成しないように訓練されていますが、完璧ではなく使用者の判断も重要です。
Q: ChatGPTの対話履歴はどこに保存されるの？
A: OpenAIはプライバシー保護のために対話履歴の取り扱いに注意を払っていますが、サービス改善のために匿名でデータを使用する場合があります。具体的な取り扱いについては、利用規約やプライバシーポリシーを確認してください。
以上のとおり、NotebookLMは原典に忠実に、自作RAGシステムはある程度応用を利かせて、それぞれFAQを生成してくれました。ただ、FAQの仕上がりについては好みの問題ですので、今回は引き分けとしましょう。
時系列順での要約能力
最後にNotebookLMの得意分野「時系列順での要約」について、自作RAGシステムとの性能差をみていきます。
両者に示すのは先ほど同様、生成AI企業の情勢をまとめた記事になります。そして自作RAGシステムのtemperatureは、ハルシネーション対策の観点から、0.5と低めに設定しました。
あとは下記のプロンプトを、NotebookLMと自作RAGシステムのそれぞれに入力するだけで……
2023年の出来事について、具体的な企業名を交えて時系列で要約して
自作RAGシステムでの回答
2023年の生成AI戦国時代の主要な出来事は以下の通りです：
- 3月14日、西軍のOpenAIが大規模言語モデル「GPT-4」を公開。
- 3月17日、西軍のパートナーであるMicrosoftが生成AIアシスタント「Microsoft 365 Copilot」を発表。
- 3月21日、東軍のGoogleが生成AIチャットサービス「Bard」を公開。
- 3月22日、NVIDIAが生成AI開発プラットフォームを発表。NVIDIAは生成AI界の鉄砲鍛冶と見なされています。
- 3月28日、イーロン・マスクらが生成AI開発の一時停止を求める声明を発表。
- 7月11日、東軍のAnthropicが大規模言語モデル「Claude 2」を公開。
- 7月12日、イーロン・マスクが生成AI開発企業「xAI」を設立。
- 7月18日、中立またはその他の勢力とされるMetaが「Llama 2」を発表。
この年は、生成AI技術の開発と公開に関して、OpenAIとMicrosoft（西軍）、GoogleとAnthropic（東軍）、さらにMeta、NVIDIA、イーロン・マスクの新会社xAIなど、多数の企業が重要な役割を果たしました。
このように、両者ともに時系列での要約を返してくれました。ですが要約の完成度においては、原文の余計な情報（西軍・東軍）を省いたうえで、2023年の出来事を漏れなく返してくれたNotebookLMの圧勝です！
なお、RAGの進化系について詳しく知りたい方は、下記の記事を合わせてご確認ください。
NotebookLMの料金・規約
Googleによると、NotebookLMは「早期テスト段階」とのこと。したがって2024年6月現在、日本国内では完全無料で使えます。ビジネスでもプライベートでも使い放題ですね。
ただし、気をつけていただきたい点もあって……
- 年齢制限あり（18歳以上）
- 入出力の内容については、人間のレビュアーによる確認・監視を実施（改善・不正対策のため）
- 医療・法律・財務・その他の専門分野についての質問は非推奨
- 他者の著作物のアップロードは基本NG（クラウド上に複製される）
以上のとおり、NotebookLMには各種規約・制限が設けられています。社内の機密情報や購入した電子書籍については、アップロードを控えたほうがよいでしょう。
なお、生成AI特有のリスクについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
弊社のAI導入コンサルティングについて
弊社では、AI導入コンサルティングを行なっています。当コンサルティングは
● 社内におけるAI基礎教育・AI活用法研修
● AIツール導入支援
● AIツール運用支援
●プロンプト研修・定着支援
● AI活用におけるリスク対策・ガイドライン遵守
● 社内システムとのインテグレーション（要相談）
といった弊社のサービスを網羅！コンサルティング / 不動産 / ITベンダー / 教育などなど、あらゆる業種で「AI込みのDX」をトータルサポートいたします。
なお弊社コンサルティングの期間や料金につきましては、下表をご覧ください。
| AI導入コンサルティング | |
|---|---|
| 期間 | 3ヶ月〜 |
| 費用 | 800,000 ~ 1,600,000/月 |
| 見積もり額 | ¥ 2,400,000 ~ ※対象規模により変動 |
「AI活用を基礎からはじめたい」「社内での知識の格差をなくしたい」
などなど、幅広いご要望にご対応していますので、まずは無料相談でご連絡ください。
→無料相談で話を聞いてみる
生成AIを使って効率的な働き方をしたい！といった方へ
【無料】サービス紹介資料｜コンサルティング
AIの導入からサポートまで網羅したい企業様へおすすめのサービスです。
生成AIを使って効率的な働き方をしたい！といった方へ
【無料】サービス紹介資料｜コンサルティング
AIの導入からサポートまで網羅したい企業様へおすすめのサービスです。
NotebookLMとRAGはそれぞれ一長一短！
当記事では、資料をもとに回答・要約が行えるAIツール「NotebookLM」について、その他カスタムメイドのRAGシステムと比較を実施しました。
NotebookLMとその他RAGシステムとの機能・利便性の違いは……
| NotebookLM | カスタムメイドのRAGシステム | |
|---|---|---|
| 導入のしやすさ | ◎ | △ |
| 入出力の機密性 | × | ◯ |
| Temperatureの調節 | 不可 | 可 |
| 機能の拡張・外部ツールとの連携 | 不可 | 可 |
| モデルの選択肢 | Gemini 1.5 Proのみ | GPT-4o / Gemini / Llama3 …etc.自由 |
| 利用料金 | 無料（2024年6月時点） | モデルによっては無料 |
以上のとおりでしたね。回答の傾向も違っていて、それぞれの特徴をひとことでまとめると……
NotebookLM：膨大な資料を忠実に要約
カスタムメイドのRAGシステム：アイデア出し / コーディング / 外部ツール連携…etc.応用力が抜群
このように同じRAGシステムでも、全くの別物になっています。両者ともに一長一短ありますので、用途にあわせて選ぶのがベストでしょう！
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
