生成AIを徹底比較！ChatGPT・Bard・BingAIの中で最強の生成AIを本気で決めてみた

今や1億人以上のユーザーを抱えるChatGPT以外にも、優れた生成AIが登場しています。

とくに長年AI技術をリードしてきたGoogleのBardや、本来は有料のGPT-4がタダで使えるBing AIが対抗馬として注目を集めているところです。

そこで当記事では生成AIの注目株である、ChatGPT・Google Bard・BingAIの3つに焦点を当てて性能を比較していきます。

最後まで読んでいただくと、やりたいことに合った生成AIが選べるはずです。

ぜひ最後までお読みください。

なお弊社では、生成AIの開発について1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

生成AIとは？

生成AI（Generative AI）は文章・画像・音声・ソースコードなど多種多様なコンテンツを生成するAIの総称です。従来のAIと比べて学習データ量が多く、創造的なアイデアの生成にまで対応しています。

この生成AIのなかでも、自然言語の処理に特化した大規模言語モデル（LLM）はひときわ注目を集めています。

たとえば1億人以上が使っているAIチャットボット「ChatGPT」はLLMを搭載。その対抗馬として注目を集める「Google Bard」や「BingAI」もLLM搭載型なのです。

自然言語の命令文（プロンプト）を入力すれば、高品質な文章やソースコードを生成してくれるのがLLMの特徴です。

ちなみにLLMは人間よりも高い問題解決能力をみせることがあります。以下の記事はその一例です。

WEEL

LLMが自己最適化を行い、巡回セールスマン問題も解けるという論文が公開 | WEEL 本記事では、最新LLMの論文である「Large Language Models as Optimizers」について解説します。この論文では、LLMだけで最適化問題を解いたり、人間よりも優れたプロンプ…

ChatGPT ・Google Bard・BingAIの概要

まずは生成AIの代表格、ChatGPT・Google Bard・BingAIそれぞれの概要・特徴・用途を解説していきます！

ChatGPT

ChatGPTは、OpenAIが開発した生成AIチャットボットです。大規模言語モデルのGPTシリーズを搭載しており、人間との自然な会話を実現しています。

このChatGPTは搭載モデルから2つのバージョンに分けられます。それが2022年11月のリリース時から変わらないGPT-3.5版と、2023年3月に追加された高性能モデルのGPT-4版（ChatGPT Plus）です。GPT-3.5版は無料で、GPT-4版は月々20ドルからそれぞれ利用できます。

両モデルの違いは、AIの賢さを示す指標のひとつであるパラメータ数とその他の機能です。GPT-3.5のパラメータ数が3,550億であったのに対して、GPT-4では推定100兆個と大きく性能が向上しています。さらに有料のGPT-4版では、さまざまな拡張機能が追加できる「ChatGPTプラグイン」を開放しているのです。

それぞれの特徴については、以下に箇条書きと表形式でまとめました。GPT-3.5の特徴

• 無料で利用可能
• GPT-4と比べると、解答精度が劣っている
• GPT-4比で、回答速度は高速
• 利用制限なし

GPT4の特徴

• 月20ドルの有料プランで利用可能
• 回答精度が優れており、複雑な会話やタスクを処理できる
• 回答にやや時間が掛かる
• ChatGPTプラグインに対応
• 3時間ごとに最大50メッセージを超えると利用制限が掛かる
• 2023年9月のアップデートで画像入力にも対応した

ただ一つだけ注意点があって、GPT-3.5もGPT-4もそれぞれ学習データは2021年9月時点までのものです。それ以降の出来事については、回答を行なってくれません。

もしもChatGPTに最新情報を聞きたいのであれば、

有料版で「ChatGPTプラグイン」からインターネットとの接続機能を追加することをおすすめします。

Google Bard

Google Bardは、Googleが開発した生成AIサービスです。こちらも会話形式での操作ができます。

このGoogle Bardが搭載しているのは自社開発の「PaLM2」という大規模言語モデルです。そのパラーメータ数は3400億と、GPT-3.5に匹敵するものになっています。。機能面もChatGPTとほぼ同様で、質疑応答・文章作成・プログラミングがひととおりこなせます。

一方ChatGPTと違うのは、デフォルトでGoogle検索と連携している点です。最新情報が取得でき、さらに質問に対して3パターンの回答を生成してくれる「ドラフト」機能も備えています。よってユーザーは一つの質問に対して複数の視点からの回答を見ることとなり、より広範な情報が得られるようになります。

• またBardはGoogleアカウントがあれば無料で利用可能です。Bardの詳細については、以下をご覧ください。Google検索と連携して最新情報を取得可能
• 無料で利用可能
• 回答速度が高速
• 質問に対して、3つの回答をしてくれる
• 画像による受け答えもできる
• 回答の出典を示してくれる（英語版限定）
• GoogleWorkspaceとAPIなしで連携できる（英語版限定）

搭載モデルの性能において、Bardと無料版のChatGPTはほぼ同格です。しかしBardのほうが最新情報へのアクセスや使い勝手の面で優れています。

BingAI

BingAIとは、Microsoft社の検索エンジン「Bing」に生成AIが組み込まれたチャットサービスです。
こちらも会話形式での質疑応答ができるほか、画像の生成にも対応しています。

このBingAIは「Microsoft Prometheus」という、GPT-4とBingを組み合わせた技術を利用しています。

GPT-4を搭載しているにもかかわらず、BingAIはなんと無料で利用可能です。Microsoftアカウントに登録した場合は1日60回、登録しない場合は1日10回やり取りができてしまいます。

その特徴については、以下の箇条書き部分と表をご覧ください。

• Bing検索と連携して最新の情報を取得可能
• 無料で利用可能
• 回答速度は標準的
• 回答の出典を示してくれる
• 目的に合わせた3種類の会話スタイル
  • 独創性（説明的かつ客観的な回答）
  • 厳密（簡潔な回答）
  • バランス（独創性と厳密の中間）
• 会員登録で1日60回の利用制限有(質問と回答でそれぞれ1回)
• 画像の生成が可能

ChatGPTやBardと違って、早くから情報の検索に特化してきたBingAIは、情報のリサーチや要約などのタスクを得意としています。

ChatGPT・Bard・BingAIの各生成AIの比較

ここからは生成AIの代表格、ChatGPT・Google Bard・BingAIの実用性を比較していきます。今回は以下4つのタスクにて、テストを実施しました。

• テキスト生成
• リサーチ
• コーディング
• 翻訳

出力した結果については、下記の4項目で5段階評価を行なっています。

• 回答のスピード
• 質問した内容と回答の関連度
• 情報の豊富さ
• 情報の正確さ

なおChatGPTについては、無料のGPT-3.5版と有料のGPT-4版それぞれでテストを行いました。ではさっそくテストの内容をみていきましょう。

テキスト生成

まずは各生成AIのテキスト生成能力を比較していきます。試しに以下のプロンプトを入力して、ビジネスメールの文章を生成させてみました。

アポイントを依頼するメールを教えてください

候補日時は3つを掲示してください

まずは定番のChatGPTから、その結果をみていきましょう。

ChatGPT（GPT-3.5）

以下のとおり無料版のChatGPTは、かなり精度の高いアポイント依頼のメール例文を生成してくれました。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

無料版でもChatGPTはかなり親切で、注意点まで明示してくれています。GPT-4版の結果にも期待できそうです。さっそく次項で、有料版の結果をみていきましょう。

ChatGPT（GPT-4）

内容は下図のとおり、GPT-3.5とほぼ一緒でした。ただ前置きや注意点の親切さでいえば、わずかにGPT-3.5に劣っている印象です。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の正確さ:☆☆☆☆☆

ある程度型が決まっているメール文章の生成については、同じChatGPTでも無料版に軍配が上がると考えられます。次はライバル、Google Bardの腕前をご覧ください。

GoogleBard

以下のとおり、Google BardはそのままGmailで送信しても問題なさそうな文章を生成してくれました。。複数の案から選べるので、場面に応じて文体が使い分けられます。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

最後にBingAIについても、文章力を測ってみましょう。

BingAI

以下のとおりBingAIも、内容としては問題ない文章を生成してくれました。ただ改行をしてくれていないのは不便ですね。

また文末の連絡先情報が明記されていないのも、少し気になりました。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆☆☆☆

検索に重きを置いているBingAIは、メール文章の生成に向かないと考えられます。次は公平な比較のためにもリサーチについて、各生成AIでの検証結果をみていきましょう。

リサーチ

ここからは以下のプロンプトを使って、各生成AIが出力する情報の正確さを検証してみます。

各AIチャットボットの概要について教えて下さい

ChatGPT

Google Bard

BingAI

ではさっそく、どの生成AIが一番リサーチ業務に向いているのかを比べていきましょう！

ChatGPT（GPT-3.5）

BingAIもGoogle Bardもリリースされたのは2021年9月以降です。つまり両者の情報はChatGPTの学習データに含まれていません。

そのため以下の結果において、ChatGPT以外の項目では文脈を読み取って推測に基づいた回答を行っている（ハルシネーション）と考えられます。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆

次で紹介するGPT-4版のChatGPTも、学習データは2021年9月までのものです。ただ違う点があるので、詳しくみていきましょう。

ChatGPT（GPT-4）

GPT-4でも学習データの問題は変わりませんが、ハルシネーションについては対策済みです。
以下のとおりGPT-3.5でハルシネーションがあったGoogle Bardの項目では、はっきり「存在しない」と解答しているのです。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆

GPT-4版ではハルシネーションが抑えられていますが、最新情報へのアクセスまではできません。次からはリアルタイムで情報を集めるGoogle Bardについても、同様の検証を行なっていきます。

Google Bard

以下のとおり、Google Bardはひとつの質問に対して3パターンの回答をしてくれます。

どれも最新の情報を反映しており、人力で確認したところ正しい情報でした。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の正確さ:☆☆☆☆

次は検索機能を備えたGPT-4、BingAIの検証結果をご覧ください。

BingAI

以下のとおりBingAIは正しい情報を出典付き返してくれますが、他の生成AIと比べて情報量が圧倒的に少ないです。詳細を知りたい場合は、各リンク先で確認しなくてはいけませんね。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆☆☆

ここまでは自然言語処理での能力比較を行なってきました。次からは趣旨を変えて、コーディング能力について検証していきましょう。

コーディング

ここからは同じ言語処理でも自然言語ではなく、プログラミング言語について比較していきます。
今回は現在の時刻を表示する、Pythonコードを生成してもらいました。

Pythonで現在の時刻を表示するプログラムを教えてください。

各生成AIのなかで最もコーディングに長けているのは、どのモデルなのでしょうか？以下、その結果をご覧ください。

ChatGPT（GPT-3.5）

無料版のChatGPTは以下のとおり、表示別で2パターンのコードを生成してくれました。

上から2つ目のコードを、実際の開発環境で動かしてみると……

このように正しく機能しています。よって5段階評価は以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

次はGPT-4のほうでも、サンプルコードを生成させてみましょう。

ChatGPT（GPT-4）

下図のとおりGPT-4版でも、ChatGPTは実行可能なサンプルコードを生成してくれています。

コードを実行してみた結果は以下のとおりで、GPT-3.5と比べると情報量が少なめです。

この結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆
・情報の正確さ:☆☆☆☆☆

次はChatGPTのライバルである、Google Bardのコーディングスキルを検証していきます。

Google Bard

以下のとおりGoogle Bardも、サンプルコードを生成してくれました。

こちらも実行してみると……

このとおりしっかり動作します。

ですが時刻が現在のものであることを明記していません。加えてコンマ以下の秒数まで表示されており、視認性が良いとはいえないでしょう。

よって5段階で評価すると下記のようになります。

・回答のスピード:☆☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆☆☆

次にBingAIでも、コーディングを試していきます。

BingAI

以下のとおりBingAIは、2パターンのサンプルコードを生成してくれました。引用付きで説明が添えられており、一見すると動作してくれそうなコードですね。

BingAIが生成してくれたコードを実行してみると、以下のとおり正常に動作します。ただこちらでも時刻のフォーマットが効いていないため、コンマ以下の秒数が見えてしまっていますね。

この結果を5段階評価すると、以下のとおりです。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の真実性:☆☆☆☆☆

どの生成AIも自然言語・プログラミング言語ともに、違和感のない出力ができていました。

次は最後の比較です。各生成AIに英文を和訳させてみて、その翻訳能力をみていきましょう。

翻訳

最後に各生成AIについて、英語から日本語への翻訳能力を比較していきます。今回は以下に示す、OpenAIのChatGPTのアップデート情報を和訳させてみました。

次の内容を日本語に翻訳して下さい

We’re rolling out a bunch of small updates to improve the ChatGPT experience. Shipping over the next week:

1. Prompt examples: A blank page can be intimidating. At the beginning of a new chat, you’ll now see examples to help you get started. 

2. Suggested replies: Go deeper with a click. ChatGPT now suggests relevant ways to continue your conversation. 

3. GPT-4 by default, finally: When starting a new chat as a Plus user, ChatGPT will remember your previously selected model — no more defaulting back to GPT-3.5. 

4. Upload multiple files: You can now ask ChatGPT to analyze data and generate insights across multiple files. This is available with the Code Interpreter beta for all Plus users. 

5. Stay logged in: You’ll no longer be logged out every 2 weeks! When you do need to log in, you’ll be greeted with a much more welcoming page. 

6. Keyboard shortcuts: Work faster with shortcuts, like ⌘ (Ctrl) + Shift + ; to copy last code block. Try ⌘ (Ctrl) + / to see the complete list.

各生成AIが和訳した結果は、以下のDeepL翻訳と比較して正確さを評価しております。

これまでどおり、まずはChatGPTから翻訳の精度をみていきましょう。

ChatGPT（GPT-3.5）

ChatGPTは以下のように、直訳気味ながらもそれなりに高精度で翻訳してくれました。ただNext Weekを「今週中」と、全く違う意味に誤訳してしまっています。

この結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の正確さ:☆☆☆

これがGPT-4になると、翻訳精度は向上するのでしょうか？次でその答え合わせをしていきます。

ChatGPT（GPT-4）

以下のとおりGPT-4版のChatGPTでも、GPT-3.5版と翻訳精度に大差がない印象です。

日本語として不正確な「次の週間に出荷予定」や英単語そのままの「白紙ページがintmidaiting」など、気になる部分がありました。

ただ意味の間違いはなかったため、以下のとおりに評価しています。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆

次はGoogle Bardに翻訳させてみます。Google翻訳のノウハウは、生成AIに活かされているのでしょうか？

Google Bard

以下のとおりGoogle Bardの和訳は、全体的に良くまとまっています。ただ気になる点もあって、「空白のページは威圧的です。」の部分は直訳気味で文脈に合わせてくれていない印象でした。

この結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆

最後にBingAIでも翻訳を試してみて、生成AIの比較を終えたいと思います。

BingAI

BingAIは比較した中で、一番よくまとまった訳文を生成してくれました。以下のとおり翻訳ミスがなく、日本語としても自然な仕上がりです。

よって5段階評価をつけると、以下のとおり正確さが満点になります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆☆

どの生成AIも自然言語からプログラミング言語まで、それなりにうまく処理してくれました。

生成AIの技術が順当に発展したらの話ですが、将来的には外国語やプログラミングを学ぶ必要がなくなるはずです。未来の小学生は授業で、プロンプトの書き方を習っているかもしれませんね。

ちなみにChatGPTには、他にもライバルがいます。そのひとつ、Claude Proについては以下の記事をご覧ください。

WEEL

【Claude Pro】本1冊読み込める！？GPT4のライバル生成AIを使ってみた | WEEL 本記事では、Anthropicが発表したClaude 2の有料プラン Claude Proについて紹介しました。有料ユーザーになることで、利用上限アップ、アクセス集中時の優先利用、新機能へ…

生成AI比較のまとめ

当記事ではChatGPT・Google Bard・BingAIの性能を、4つのタスクで比較しました。以下に示した比較内容の一覧から、もう一度結果を振り返ってみましょう。

各生成AIについて、この結果をひとことでまとめると以下のとおりです。

• ChatGPTは文章生成やタスク処理に強い
• GoogleBardは全体的に優等生
• BingAIはWeb検索や翻訳に優れる

今回の比較でGPT-3.5に対するGPT-4の優位性は、あまり感じられませんでした。もう少しクリエイティブなタスクで比較すれば、また違う結果になるかもしれません。

今後生成AIを活用していく予定の方は、ぜひ上の結果を参考に各モデルを選んでいただけたらと思います。