Google BardとChatGPT 実際に使って徹底比較してみた

今回は、BardとChatGPTの違いをまとめていきます。
Bardが得意とするユースケースで、
本当に優れているのか比較・検証していきますので、
ぜひ最後までご覧くださいっ!

また、お時間がない方は、目次からまとめをクリック!
ぱっと概要を理解できるようにしています!

サービス紹介資料

【無料】2023年11月版生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIの業務活用コンサルティング

・システム間API連携

サービス紹介資料

生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

目次

比較するAIとユースケース

今回、比較するチャットボットは以下3つです。

  1. ChatGPT(GPT-3.5)
  2. ChatGPT(GPT-4)
  3. Google Bard

Google Bard は、以下を含む多言語のデータを組み合わせて学習しています。

  • 高品質のウェブ文書
  • 書籍
  • Wikipedia
  • 会話
  • GitHub

そのため、Google 公式が発表している主な使用例(ユースケース)は以下4つです。

  1. リサーチ
  2. プログラム生成
  3. デバッグ
  4. 多言語の翻訳

では、その使用例をもとに比較・検証をしていきましょう!

サービス紹介資料

【無料】2023年11月版生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIの業務活用コンサルティング

・システム間API連携

サービス紹介資料

生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

リサーチ

G7サミットについて聞いてみた

今回は、2023年5月19日から21日に行われた「G7サミット」のことを聞いてみました。
プロンプトは以下です。

広島のG7サミットについて教えてください。

ただし、比較対象は以下です。

  1. Bard
  2. ChatGPT(WebBrowsing プラグインを利用)

ChatGPT(GPT-3.5)は、プラグインを使えないので除外しています。

結果

どちらも間違ったことは出力してなさそうです。

Bard:

image18.png

ChatGPT(WebBrowsing with Bing を利用) :

image16.png

ポイント

結果の出力が速いのはBard
サクサク調べたい場合は、Bardがおすすめですね。
ChatGPTは、出力までに時間がかかる印象です。

プログラム生成

まずは、次のようなプロンプトを入力して、プログラムを書いてもらいます。

フィボナッチ数列を作るプログラムを書いてください

結果

それぞれの回答は、以下のようになりました。

Bard:

image7.png

ChatGPT(GPT-4):

image11.png

プログラムをGoogle Colabで実行してみると、問題なく動きました。
数列の始まり(0 or 1)の定義が厳密になされてないですが、許容範囲でしょう。

ポイント

簡単なプログラムならChatGPTBardのどちらでも良さそうです。
同じ挙動をするプログラムをそれぞれで作り比較したら、
ハルシネーション(AIが嘘をつく)対策として有用ですね。

プログラムのデバッグ

少し情報の古い記事のプログラムが期待どおりに動かなかったため、どのようにすると動くのか試してみます。

Qiita
LINE BOT + Cloud Natural Languageで感情分析してみる (Google App Engine(GAE) + Python3.7 + LINE Messa... ■はじめにGoogle App Engine(GAE) + Python3.7 + LINE Message API + Google Cloud Natural Language API を使用して、LINE BOTを作成しましたので、その手順を投稿します...

次のようなことを試します。

  1. プログラムの理解
  2. 期待値の確認
  3. エラー原因の示唆

プログラムの理解

次のプロンプトで、作りたいプログラムについて理解してもらいます。
必要なファイル名と、そのファイルに書くプログラムについて伝えています。

プロンプトは、以下です。
ファイル名とプログラムを入力しました。
まずは、以下から、プログラムについて理解してください。
#input:
次に、「app.yaml」というファイルを作成してください
runtime: python37
handlers:
- url: /.*
  secure: always
  script: auto
automatic_scaling:
  min_idle_instances: automatic
  max_idle_instances: 1
  min_pending_latency: 3000ms
  max_pending_latency: automatic
次に、「appengine_config.py」というPythonファイルを作成してください
import vendor
vendor.add('lib')
(略)
    }

結果

それぞれ、次のようになりました。

ChatGPT(GPT-3.5):
問題なく理解しています。

ChatGPT(GPT-4) :
問題なく理解してくれています。

image15.png

Bard:
問題なく理解してくれています。

image9.png

プログラムの挙動を想像してもらう

プログラムを正しく理解しているか確認するため、期待値を聞いてみます。
感情分析のボットなので、それにまつわるプロンプトにしています。

プロンプトは、以下です。

「嬉しいです」と入力すると、どのようなレスポンスが返ってくることが想像できますか?

チャットボットは、ポジティブな感情には高得点をつけます。
ですので
「嬉しい」と入力すると、
「80点、問題ない。」
などと高得点をつけた返答があるはずです。
AIは、プログラムの期待値を理解してくれているのでしょうか?

結果

ChatGPT(GPT-3.5):
問題なさそうです。

image8.png

ChatGPT(GPT-4) :
問題なさそうです。

image12.png

Bard:
問題なさそうです。

image1.png

期待通りに動かない原因を考えてもらう

AIは、プログラムを理解しているようです。
現状は、
「ありがとうございます!お役に立てて嬉しいです。またいつでも話しかけてください。」
とボットから返答があります。
これは期待値とは違うので、以下のようにプロンプトを入力して考えてもらいます。

ありがとうございます!お役に立てて嬉しいです。またいつでも話しかけてください。
とレスポンスが返ってくるのはなぜでしょうか?

結果

ChatGPT(GPT-3.5) :
赤枠部分が事実とは違います。

image5.png

ChatGPT(GPT-4):
「作ったプログラムのデプロイができてないのでは?」とアドバイスをくれました。

image14.png

GoogleBard:
全く関係ないことを言ってきた。

image13.png

ポイント

このタスクで一番使えるのは、ChatGPT(GPT-4)という印象。
無料で使えるChatGPT(GPT-3.5)、Bardでもそこそこは使える。
ただ、
Bardは特に短期記憶が弱いように思えるので、
会話を何度も必要とするデバッグには向かないような気がします。
また、GPT-3.5は平気で嘘をついてきました。
鵜呑みにせず、必ず実行して検証しましょう。

サービス紹介資料

【無料】2023年11月版生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIの業務活用コンサルティング

・システム間API連携

サービス紹介資料

生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

翻訳力

韓国語と中国語に翻訳してもらった

翻訳した文章はこちらです。
「学生時代に私はフランス語を学びました。
美しい言語であり、文化にも深く根付いています。」
翻訳結果が正しいのかは、DeepLを使って確かめます。

結果

ChatGPT(GPT-3.5):
どちらもDeepLに入力して、問題なかったです。

image6.png

ChatGPT(GPT-4):
どちらもDeepLに入力して、問題なかったです。

image3.png

Bard:
それぞれ、このような結果が出力されました。
韓国語は問題ありませんでした。

image17.png
image4.png

中国語は微妙でした。
「深い文化遺産を持つ美しい言語」となってしまった……。

image2.png

ポイント

翻訳は、ChatGPTが強い印象。
Google Bardは、
公式でも多言語翻訳を推していたので意外でした。
強いと言われている理由としては、
Bardの学習データに、
100以上の人語などを使っているから。
Bardはまだ試験運用中ということもあり、今後に期待ですね。

まとめ

検証した結果、以下のようになりました。
料金も踏まえて検討してみてください。

項目

ChatGPT(GPT-3.5)

ChatGPT(GPT-4)

Google Bard

リサーチ

コード生成

デバッグ

翻訳

料金

無料

月額20ドル

無料

WEEL
Google BardとChatGPT 実際に使って徹底比較してみた | WEEL 今回は、BardとChatGPTの違いをまとめていきます。Bardが得意とするユースケースで、本当に優れているのか比較・検証していきますので、ぜひ最後までご覧くださいっ! また...

弊社では法人向け生成AI研修・勉強会を行なっています

いかがだったでしょうか?

弊社では、法人様向けに生成AI研修を行なっております。
また、研修に加えて本事業の支援も行わせていただいております。

詳しくはこちらをご覧ください!
セミナー実績 | WEEL

研修をさせていただいた企業様からは、以下のような好評をいただいております。

生成AIについて包括的に理解ができ、多くの業務で生成AIが活用されるようになった。
生成AIの事例を知ることで、社内で生成AIを活用するためのアイデアがたくさん出てくるようになった。
全社で生成AIに関する認識を共有できたので、生成AIに関するプロジェクトの理解が得られるようになった。

研修の内容としては、以下のようなものになっています。

1. 生成AIの概要
2. 生成AIの歴史
3. 生成AIのリスク・対応策
4. 生成AIの活用事例
5. 生成AIの未来予測
6. 〇〇業界特有の生成AI活用法(様々な業界に対応)
7. プロンプトエンジニアリング実践(ChatGPTや画像生成AIへの入力文)
8. AI開発実践(Pythonプログラミング)
9. 生成AIの社内導入手順

※企業様のニーズに合わせて内容はカスタマイズしています。

「社員に生成AIに関する知識を身に付けてもらいたい」
「今後、生成AIを活用して事業展開をしていきたい」

と考えている方は、まずはご相談から承っておりますので、ぜひご連絡ください。

➡︎生成AIセミナー・社内勉強会について相談をしてみる

生成AIをもっと活用していきたい方へ

\ 生成AIツールの活用方法のご提案からツールの開発・実装までサポートします!/

document

弊社では以下のようなお悩みをご相談いただいております。

・生成AIを社内で活用するには?

・おすすめの生成AIツールを知りたい…

・生成AIの業務効率化方法がわからない!

・生成AIの開発を行いたい!

弊社の生成AIに精通したAIコンサルタントが、お悩みをヒアリングし、ベストなソリューションを提案します。

よくわからないけど、とりあえず話を聞きたいという方でも大丈夫です。

お気軽にご相談ください!

投稿者

  • Leon Kobayashi

    必ずフォローすべきAIエバンジェリスト(自称) => 元東証一部上場ITコンサル (拙者、早口オタク過ぎて性に合わず退社)<-イマココ 【好きなもの】リコリコ・しゃぶ葉 宜しくおねがいします。

  • URLをコピーしました!
  • URLをコピーしました!
目次