生成AIを徹底比較！ChatGPT・Bard・BingAIの中で最強の生成AIを本気で決めてみた

生成AIの中身大解剖

2024-04-25

今や1億人以上のユーザーを抱えるChatGPT以外にも、優れた生成AIが登場しています。

とくに長年AI技術をリードしてきたGoogleのGeminiや、本来は有料のGPT-4がタダで使えるMicrosoft Copilot、ベンチマークでGPT-4よりも性能が良かったClaudeが対抗馬として注目を集めているところです。

そこで当記事では生成AIの注目株である、ChatGPT・Gemini・BingAI・Claudeの4つに焦点を当てて性能を比較していきます。

最後まで読んでいただくと、やりたいことに合った生成AIが選べるはずです。ぜひ最後までお読みください。

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

生成AIとは

生成AI（Generative AI）は文章・画像・音声・ソースコードなど多種多様なコンテンツを生成するAIの総称です。従来のAIと比べて学習データ量が多く、創造的なアイデアの生成にまで対応しています。

この生成AIのなかでも、自然言語の処理に特化した大規模言語モデル（LLM）はひときわ注目を集めています。

たとえば、1億人以上が使っている生成AI「ChatGPT」はLLMを搭載。その対抗馬として注目を集める「Gemini」や「Microsoft Copilot」「Claude」もLLM搭載型なのです。

自然言語の命令文（プロンプト）を入力すれば、高品質な文章やソースコードを生成してくれるのがLLMの特徴です。近年では、生成AIを業務に導入している企業も少なくありません。

なお、生成AIの法人利用方法について詳しく知りたい方は、下記の記事も併せてご覧ください。

ChatGPT ・ Gemini・Microsoft Copilot・Claudeの概要

まずは生成AIの代表格、ChatGPT・ Gemini・Microsoft Copilot・Claudeそれぞれの概要・特徴・用途を解説していきます！

ChatGPT

ChatGPTは、OpenAIが開発した生成AIです。大規模言語モデルのGPTシリーズを搭載しており、人間との自然な会話を実現しています。

このChatGPTは搭載モデルから2つのバージョンに分けられます。それが2022年11月のリリース時から変わらないGPT-3.5版と、2023年3月に追加された高性能モデルのGPT-4版（ChatGPT Plus）です。GPT-3.5版は無料で、GPT-4版は月々20ドルからそれぞれ利用できます。

両モデルの違いは、AIの賢さを示す指標のひとつであるパラメータ数とその他の機能です。GPT-3.5のパラメータ数が3,550億であったのに対して、GPT-4では推定100兆個と大きく性能が向上しています。さらに有料のGPT-4版では、さまざまなカスタマイズができる「GPTs」を開放しているのです。

それぞれの特徴については、以下に箇条書きと表形式でまとめました。GPT-3.5の特徴

無料で利用可能
GPT-4と比べると、解答精度が劣っている
GPT-4比で、回答速度は高速
利用制限なし

項目	GPT-3.5
運営会社	OpenAI
特徴	GPT-3.5は自然言語処理に特化した生成AIで、大規模なインターネットデータセットで訓練を受けています。質問への自然言語回答・言語間の翻訳・テキスト生成などが可能です。
サイトの使いやすさ	ChatGPTはWebブラウザから簡単に利用できます。またiOSやAndroidアプリも公開されています。
料金	無料
無料利用	可
利用規約	OpenAIの利用規約は公式ウェブサイトで確認できます。 https://openai.com/policies
利用開始日	2022年11月

GPT4の特徴

月20ドルの有料プランで利用可能
回答精度が優れており、複雑な会話やタスクを処理できる
回答にやや時間が掛かる
GPTsに対応
3時間ごとに最大50メッセージを超えると利用制限が掛かる
2023年9月のアップデートで画像入力にも対応した

項目	GPT-4
運営会社	OpenAI
特徴	GPT-4はGPT-3.5の後継モデルで、より高度な自然言語処理能力に加えて画像処理や音声処理も可能なマルチモーダルAIです。有料プランのChatGPT Plusの機能として提供されています。
サイトの使いやすさ	ChatGPTはWebブラウザから簡単に利用できます。またiOSやAndroidアプリも公開中です。
料金	月額20ドル
無料利用	不可
利用規約	OpenAIの利用規約は公式ウェブサイトで確認できます。 https://openai.com/policies
利用開始日	2023年3月

ただ一つだけ注意点があって、GPT-3.5の学習データは2021年9月時点まで、GPT-4は2023年4月時点までのものです。それ以降の出来事については、回答を行なってくれません。

Gemini

Geminiは、Googleが開発した生成AIサービスです。こちらも会話形式での操作ができます。

2024年4月24日現在では、無料で利用できるGeminiと、月額2,900円でGemini Advancedにアップグレードすることで最も高性能なGemini 1.0 Ultraを利用することができます。日本語での利用もできますが、「Gemini Advanced with 1.0 Ultra モデルは英語でのみ利用可能です。」と公式ページに記載があるので、現段階ではプロンプトは英語で入力した方が精度が良いでしょう。

ChatGPTと比較したベンチマークの結果を見ても、Gemini Ultra 1.0がほとんどの項目で、GPT-4よりもスコアを上回る結果となっています。

また、デフォルトでGoogle検索と連携しているので、最新情報が取得でき、さらに質問に対して3パターンの回答を生成してくれる「ドラフト」機能も備えています。よってユーザーは一つの質問に対して複数の視点からの回答を見ることとなり、より広範な情報が得られるようになります。

GeminiはGoogleアカウントがあれば無料で利用可能です。Geminiの詳細については、以下をご覧ください。Google

検索と連携して最新情報を取得可能
無料で利用可能
有料のGemini Ultra 1.0はGPT-4よりもベンチマークのスコアが高い
回答速度が高速
質問に対して、3つの回答をしてくれる
画像による受け答えもできる
回答の出典を示してくれる（英語版限定）
GoogleWorkspaceとAPIなしで連携できる（英語版限定）

項目	Gemini
運営会社	Google
特徴	Geminiは、ユーザーが提供した自然言語プロンプトに対して応答を生成するGoogleの生成AIです。Googleが持つ大規模なデータセットとGoole検索の情報を学習しています。
サイトの使いやすさ	GeminiはWebブラウザから簡単に利用できます。また生成された結果はGmailやGoogleドキュメント、各種SNS経由での共有が可能です。
料金	Gmemini：無料 Gemini Advanced：月額2,900円
無料利用	可
利用規約	Geminiの利用規約は公式ウェブサイトで確認できます。 https://policies.google.com/terms#toc-software
利用開始日	2023年3月,2023年5月(日本)

搭載モデルの性能において、Geminiと無料版のChatGPTはほぼ同格です。しかしGeminiのほうが最新情報へのアクセスや使い勝手の面で優れています。

Microsoft Copilot

Microsoft Copilotとは、Microsoft社の検索エンジン「Bing」に生成AIが組み込まれたチャットサービスです。2023年12月にBingAIからMicrosoft Copilotに名称が変更となりました。こちらも会話形式での質疑応答ができるほか、画像の生成にも対応しています。

このMicrosoft Copilotは「Microsoft Prometheus」という、GPT-4とBingを組み合わせた技術を利用しています。

GPT-4を搭載しているにもかかわらず、Microsoft Copilotはなんと無料で利用可能です。Microsoftアカウントに登録した場合は1日300回、登録しない場合は1日5回やり取りができてしまいます。

その特徴については、以下の箇条書き部分と表をご覧ください。

Bing検索と連携して最新の情報を取得可能
無料で利用可能
回答速度は標準的
回答の出典を示してくれる
目的に合わせた3種類の会話スタイル
- 独創性（説明的かつ客観的な回答）
- 厳密（簡潔な回答）
- バランス（独創性と厳密の中間）
会員登録で1日300回の利用制限有(対話回数は30ターンまで)
画像の生成が可能

項目	Microsoft Copilot
運営会社	Microsoft
特徴	Microsoft Copilotは、ユーザーが提供した自然言語プロンプトに対して引用つきの回答を生成するMicrosoftのAIです。OpenAIの大規模言語モデル「GPT-4」とBing検索の情報を組み合わせた技術を利用しています。
サイトの使いやすさ	Microsoft CopilotはWebブラウザから簡単に利用することができます。また生成された結果はGmailやGoogleドキュメント、各種SNSを通じて共有することが可能です。AndroidやIOSのアプリも公開されています。
料金	無料
無料利用	可
利用規約	Microsoft Copilotの利用規約は公式ウェブサイトで確認できます。 https://www.microsoft.com/ja-jp/servicesagreement/
利用開始日	2023年2月

ChatGPTやGeminiと違って、早くから情報の検索に特化してきたMicrosoft Copilotは、情報のリサーチや要約などのタスクを得意としています。

Claude

Claudeとは、OpenAIの元幹部によって設立されたAnthropic社が開発した生成AIです。こちらもChatGPTのように会話形式で利用でき、言語の翻訳やさまざまなコンテンツの作成、有益な方法で質問に答えるなどの機能を備えています。

2024年4月24日現在の最新モデルはClaude3で、それぞれ性能の違う「Opus」「Sonnet」「Haiku」の3つモデルで構成されています。これらのモデルの違いとしては、Opus→Sonnet→Haikuの順に精度が高くなっており、Opusのみ課金することで利用できるようになります。

また、Opusはさまざまな業界ベンチマークでSOTAを達成しており、GPT-4よりも高い性能を持っています。

その特徴については、以下の箇条書き部分と表をご覧ください。

日本語のプロンプトに対応
Sonnet・Haikuは無料で利用可能
無害な応答を返す能力に優れている
学習データは2023年8月まで
さまざまな業界ベンチマークでSOTAを達成

項目	Claude
運営会社	Anthropic
特徴	Claudeは、ChatGPTと比較しても引けを取らない性能を持っていて、日本のプロンプト入力にも対応。最新のClaude3 Opusに関しては、GPT-4を上回る性能を持っている。
サイトの使いやすさ	公式のWEBサイトClaude.aiから簡単に利用することができ、分かりやすいUIで構成されているため、誰でも直感的に操作することができます。
料金	Sonnet・Haiku：無料 Opus：月額20ドル
無料利用	可
利用規約	Claudeの利用規約は公式ウェブサイトで確認できます。 https://www.anthropic.com/legal/aup
利用開始日	2023年7月

Claudeは日本から利用できるようになる前から話題となっており、今現在進化を続けている勢いのある生成AIといえるでしょう。

ChatGPT・Gemini・Microsoft Copilot・Claudeの各生成AIの比較

ここからは生成AIの代表格、ChatGPT・Gemini・Microsoft Copilot・Claudeの実用性を比較していきます。今回は以下4つのタスクにて、テストを実施しました。

テキスト生成
リサーチ
コーディング
翻訳

出力した結果については、下記の4項目で5段階評価を行なっています。

回答のスピード
質問した内容と回答の関連度
情報の豊富さ
情報の正確さ

なおChatGPTについては、無料のGPT-3.5版と有料のGPT-4版それぞれでテストを行いました。ではさっそくテストの内容をみていきましょう。

テキスト生成

まずは各生成AIのテキスト生成能力を比較していきます。試しに以下のプロンプトを入力して、ビジネスメールの文章を生成させてみました。

アポイントを依頼するメールを教えてください

候補日時は3つを掲示してください

まずは定番のChatGPTから、その結果をみていきましょう。

ChatGPT（GPT-3.5）

以下のとおり無料版のChatGPTは、かなり精度の高いアポイント依頼のメール例文を生成してくれました。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

無料版でもChatGPTはかなり親切で、注意点まで明示してくれています。GPT-4版の結果にも期待できそうです。さっそく次項で、有料版の結果をみていきましょう。

ChatGPT（GPT-4）

内容は下図のとおり、GPT-3.5とほぼ一緒でした。ただ前置きや注意点の親切さでいえば、わずかにGPT-3.5に劣っている印象です。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の正確さ:☆☆☆☆☆

ある程度型が決まっているメール文章の生成については、同じChatGPTでも無料版に軍配が上がると考えられます。次はライバル、Geminiの腕前をご覧ください。

Gemini

以下のとおり、GeminiはそのままGmailで送信しても問題なさそうな文章を生成してくれました。複数の案から選べるので、場面に応じて文体が使い分けられます。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

次ににMicrosoft Copilotについても、文章力を測ってみましょう。

Microsoft Copilot

以下のとおりMicrosoft Copilotも、内容としては問題ない文章を生成してくれました。ただ改行をしてくれていないのは不便ですね。

また文末の連絡先情報が明記されていないのも、少し気になりました。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆☆☆☆

検索に重きを置いているMicrosoft Copilotは、メール文章の生成に向かないと考えられます。

次に最後にClaudeについても、文章力を測ってみましょう。

Claude（Claude3 Opus）

以下のとおりClaudeも、内容としては問題ない文章を生成してくれました。ただ文末一文や敬具など、ビジネスメールとしては少し不自然に感じるようなところもあります。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

ChatGPTと比較すると少し生成スピードが遅く感じましたが、出力される内容も問題なく、業務で問題なく使えるレベルでしょう。

次は公平な比較のためにもリサーチについて、各生成AIでの検証結果をみていきましょう。

リサーチ

ここからは以下のプロンプトを使って、各生成AIが出力する情報の正確さを検証してみます。

各AIチャットボットの概要について教えて下さい

ChatGPT

Gemini

Microsoft Copilot

Claude

ではさっそく、どの生成AIが一番リサーチ業務に向いているのかを比べていきましょう！

ChatGPT（GPT-3.5）

Microsoft CopilotもGeminiもClaudeもリリースされたのは2021年9月以降です。つまり両者の情報はChatGPTの学習データに含まれていません。

そのため以下の結果において、ChatGPT以外の項目では文脈を読み取って推測に基づいた回答を行っている（ハルシネーション）と考えられます。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆

次で紹介するGPT-4版のChatGPTは、学習データは2023年4月までのものです。違う点があるので、詳しくみていきましょう。

ChatGPT（GPT-4）

GPT-4の学習データは2023年4月までの情報のため、Claudeについてはしっかりと情報が出力されています。
しかし、Microsoft Copilotにおいては2023年12月に、Geminiについては2024年2月に名称が変更されているため、ハルシネーションが発生しています。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆

GPT-4版ではGPT-3.5版と比較すると新しい情報を出力してくれますが、ハルシネーションが発生してしまいました。次はGeminiについても、同様の検証を行なっていきます。

Gemini

Geminiはひとつの質問に対して3パターンの回答をしてくれます。

どれも最新の情報を反映しておりますが、Microsoft Copilotのみコーディング支援ツールのGitHub Copilot の情報が出力されているようにみえます。しかし、各ツールを要点にまとめたり比較表をまとめてくれたりととても分かりやすく出力してくれました。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の正確さ:☆☆☆☆

次は検索機能を備えたGPT-4、Microsoft Copilotの検証結果をご覧ください。

Microsoft Copilot

以下のとおりMicrosoft CopilotIは出典付きで返してくれますが、ハルシネーションを含んだ内容を生成します.。正しい情報を知りたい場合は、各リンク先で確認しなくてはいけませんね。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆☆

Claude（Claude3 Opus）

Claudeの出力結果は下記の通りです。

それぞれのツールに関して端的にまとめられていて、GeminiやMicrosoft Copilotといったツール名が変わったツール情報に対しても正しく出力されています。

また、文末にまとめも出力されておりとても見やすい結果となりました。

出力の結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆
・情報の正確さ:☆☆☆☆☆

ここまでは自然言語処理での能力比較を行なってきました。次からは趣旨を変えて、コーディング能力について検証していきましょう。

コーディング

ここからは同じ言語処理でも自然言語ではなく、プログラミング言語について比較していきます。今回は現在の時刻を表示する、Pythonコードを生成してもらいました。

Pythonで現在の時刻を表示するプログラムを教えてください。各生成AIのなかで最もコーディングに長けているのは、どのモデルなのでしょうか？以下、その結果をご覧ください。

ChatGPT（GPT-3.5）

無料版のChatGPTは以下のとおり、表示別で2パターンのコードを生成してくれました。

上から2つ目のコードを、実際の開発環境で動かしてみると……

このように正しく機能しています。よって5段階評価は以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆☆
・情報の正確さ:☆☆☆☆☆

次はGPT-4のほうでも、サンプルコードを生成させてみましょう。

ChatGPT（GPT-4）

下図のとおりGPT-4版でも、ChatGPTは実行可能なサンプルコードを生成してくれています。

コードを実行してみた結果は以下のとおりで、GPT-3.5と比べると情報量が少なめです。

この結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆
・情報の正確さ:☆☆☆☆☆

次はChatGPTのライバルである、Google Geminiのコーディングスキルを検証していきます。

Gemini

以下のとおりGoogle Geminiも、サンプルコードを生成してくれました。

こちらも実行してみると……

このとおりしっかり動作します。

ですが時刻が現在のものであることを明記していません。加えてコンマ以下の秒数まで表示されており、視認性が良いとはいえないでしょう。

よって5段階で評価すると下記のようになります。

・回答のスピード:☆☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆
・情報の正確さ:☆☆☆☆

次にMicrosoft Copiloでも、コーディングを試していきます。

Microsoft Copilot

以下のとおりMicrosoft Copilotは、2パターンのサンプルコードを生成してくれました。引用付きで説明が添えられており、一見すると動作してくれそうなコードですね。

Microsoft Copilotが生成してくれたコードを実行してみると、以下のとおり正常に動作します。ただこちらでも時刻のフォーマットが効いていないため、コンマ以下の秒数が見えてしまっていますね。

この結果を5段階評価すると、以下のとおりです。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の真実性:☆☆☆☆☆

次にClaudeでも、コーディングを試していきます。

Claude（Claude3 Opus）

下記の通り、コードは他の生成AI同様に問題なく出力してくれました。コード以外にもプログラムの説明があったりと、ChatGPTなどと比較しても、Claudeはとても丁寧な印象です。

Claudeで生成されたコードを動かした結果は下記の通り、GPT-3.5と同じような形でしっかりと表示されました。

この結果を5段階評価すると、以下のとおりです。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆☆
・情報の真実性:☆☆☆☆☆

最後にGitHub Copilotというツールを使って、コーディングを試していきます。

GitHub Copilot

GitHub Copilotとは、AI技術を使ってプログラミングを支援してくれるサービスです。他の生成AIと同様に自然言語のプロンプトからコードを生成できます。今回はコーディング支援専門のツールとして、その他の生成AIと性能を比較してみます。

これまで同様に同じプロンプトで出力した結果は下記の通りです。コーディング支援ツールということもあって、解説等は特にありませんがしっかりとコードを出力してくれました。

GitHub Copilotで生成されたコードを動かした結果は下記の通り、問題なく動作してくれました。結果、GitHub CopilotとChatGPTを比較してもあまり変わりない結果となりました。

この結果を5段階評価すると、以下のとおりです。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:☆☆☆☆☆
・情報の豊富さ:☆☆☆
・情報の真実性:☆☆☆☆☆

どの生成AIも自然言語・プログラミング言語ともに、違和感のない出力ができていました。

次は最後の比較です。各生成AIに英文を和訳させてみて、その翻訳能力をみていきましょう。

翻訳

最後に各生成AIについて、英語から日本語への翻訳能力を比較していきます。今回は以下に示す、OpenAIのChatGPTのアップデート情報を和訳させてみました。

次の内容を日本語に翻訳して下さい

We’re rolling out a bunch of small updates to improve the ChatGPT experience. Shipping over the next week:

1. Prompt examples: A blank page can be intimidating. At the beginning of a new chat, you’ll now see examples to help you get started. 

2. Suggested replies: Go deeper with a click. ChatGPT now suggests relevant ways to continue your conversation. 

3. GPT-4 by default, finally: When starting a new chat as a Plus user, ChatGPT will remember your previously selected model — no more defaulting back to GPT-3.5. 

4. Upload multiple files: You can now ask ChatGPT to analyze data and generate insights across multiple files. This is available with the Code Interpreter beta for all Plus users. 

5. Stay logged in: You’ll no longer be logged out every 2 weeks! When you do need to log in, you’ll be greeted with a much more welcoming page. 

6. Keyboard shortcuts: Work faster with shortcuts, like ⌘ (Ctrl) + Shift + ; to copy last code block. Try ⌘ (Ctrl) + / to see the complete list.

各生成AIが和訳した結果は、以下のDeepL翻訳と比較して正確さを評価しております。

これまでどおり、まずはChatGPTから翻訳の精度をみていきましょう。

ChatGPT（GPT-3.5）

ChatGPTは以下のように、直訳気味ながらもそれなりに高精度で翻訳してくれました。結果、DeepL翻訳ChatGPTを比較してもあまり変わりがありませんでした。ただNext Weekを「今週中」と、全く違う意味に誤訳してしまっています。

この結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の正確さ:☆☆☆

これがGPT-4になると、翻訳精度は向上するのでしょうか？　次でその答え合わせをしていきます。

ChatGPT（GPT-4）

以下のとおりGPT-4版のChatGPTでも、GPT-3.5版と翻訳精度に大差がない印象です。

日本語として不正確な「次の週間に出荷予定」や英単語そのままの「白紙ページがintmidaiting」など、気になる部分がありました。

ただ意味の間違いはなかったため、以下のとおりに評価しています。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆

次はGeminiに翻訳させてみます。Google翻訳のノウハウは、生成AIに活かされているのでしょうか？

Gemini

以下のとおりGeminiの和訳は、全体的に良くまとまっています。ただ気になる点もあって、「空白のページは威圧的です。」の部分は直訳気味で文脈に合わせてくれていない印象でした。

この結果を5段階評価すると、以下のとおりになります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆

最後にMicrosoft Copilotでも翻訳を試してみて、生成AIの比較を終えたいと思います。

Microsoft Copilot

Microsoft Copilotは比較した中で、一番よくまとまった訳文を生成してくれました。以下のとおり翻訳ミスがなく、日本語としても自然な仕上がりです。

よって5段階評価をつけると、以下のとおり正確さが満点になります。

・回答のスピード:☆☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆☆

どの生成AIも自然言語からプログラミング言語まで、それなりにうまく処理してくれました。

Claude（Claude3 Opus）

こちらも下記の通り問題なく翻訳はできています。特徴としては、Geminiと似たような形で「威圧的」や「体験を向上させる」など、少しわかりづらい表現が混じっています。

Geminiと比較すると少し回答スピードが遅いように感じたので、5段階評価は下記の通りです。

・回答のスピード:☆☆☆
・質問した内容と回答の関連度:ー
・情報の豊富さ:ー
・情報の真実性:☆☆☆☆

生成AIの技術が順当に発展したらの話ですが、将来的には外国語やプログラミングを学ぶ必要がなくなるはずです。未来の小学生は授業で、プロンプトの書き方を習っているかもしれませんね。

ちなみにChatGPTには、他にもライバルがいます。そのひとつ、Llama 3については以下の記事をご覧ください。

生成AI比較のまとめ

当記事ではChatGPT・Gemini・Microsoft Copilot・Claudeの性能を、4つのタスクで比較しました。以下に示した比較内容の一覧から、もう一度結果を振り返ってみましょう。

スクロールできます

比較内容	ChatGPT(GPT-3.5)	ChatGPT(GPT-4)	Gemini	Microsoft Copilot	Claude（Claude3 Opus）
回答速度	速い	やや遅い	速い	普通	やや遅い
回答精度	普通	高い	普通	高い(参照元の表示有)	高い
情報の新しさ	2021年9月までの情報	2023年4月	最新の情報を取得	最新の情報を取得	2023年8月までの情報
回答スタイル	ひとつの回答を生成	ひとつの回答を生成	3つの回答を用意	3種類の会話スタイル	ひとつの回答を生成
言語モデル	GPT-3.5	GPT-4	PaLM 2	Microsoft Prometheus(GPT-4＋検索エンジン)	Claude3
利用制限	なし	3時間ごとに最大25メッセージ	なし	質問と回答で60回/1日	なし
主な利用用途	文書生成タスクの処理自然な会話	文書生成Web情報の検索タスクの処理自然な会話	文書生成タスクの処理自然な会話	Web情報の検索タスクの処理	文書生成Web情報の検索タスクの処理自然な会話
料金	無料	月額20ドル	無料	無料	Sonnet・Haiku：無料Opus：月額20ドル
テキスト生成	高精度	高精度	高精度	普通	高精度
リサーチ	低精度(嘘の回答＆限定された情報)	低精度(限定された情報)	高精度	普通	高精度
コーディング	高精度	高精度	普通	普通	高精度
翻訳	普通	普通	普通	高精度	普通

各生成AIについて、この結果をひとことでまとめると以下のとおりです。

ChatGPTは文章生成やタスク処理に強い
Geminiは全体的に優等生
Microsoft CopilotはWeb検索や翻訳に優れる
Claudeはすべてのタスクにおいて要求に答えている

今回の比較でGPT-3.5に対するGPT-4の優位性は、あまり感じられませんでした。もう少しクリエイティブなタスクで比較すれば、また違う結果になるかもしれません。

今後生成AIを活用していく予定の方は、ぜひ上の結果を参考に各モデルを選んでいただけたらと思います。

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ