Claude 2って本当にすごいの？ChatGPT・Bard・Bing Chatと忖度抜きで性能比較してみた

ChatGPTが発表されて世界を席巻した日から今日までに、数多くのテキストAIが公開されてきました。

こうして様々なLLMがある中で、皆さんは最適な使い分けをできていますか？LLMにはそれぞれ、得意不得意があるため、適切なユースケースを考えることで、LLMの力を最大限まで引き出せます！

とはいえそんなことは当たりまえなので、流石にご存知だと思いますが。

ただ、そのようなLLMの適切な使い分けを知らない人が多いのも事実です。このまま知らないで放置していると、すぐに時代の流れから取り残されてしまうでしょう。

そこで本記事では、世界的に有名な以下のLLMについて、性能を比較し、適切なユースケース皆さんに提案します。

• Claude 2
• Bard
• Bing Chat
• GPT-3.5
• GPT-4

この記事を最後まで読むと、LLMの最強の使い方を習得できます！
ぜひ最後までご覧ください！

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

各モデルの概要

ここでは今回比較する以下のLLMについて、概要を解説します。

• Claude 2
• Bard
• Bing Chat
• GPT-3.5
• GPT-4

それでは順番に見ていきましょう。

Claude 2とは？

Claude 2（クロード 2）は、Anthropic社が開発したAIチャットボットです。2023年7月11日にリリースされ、日本語を含む95カ国語に対応しています。

Claude 2は、文章の生成や要約、コーディングなどの様々なタスクに対応できます。さらに、数百ページの文章を一度に読み込むことができ、大量の情報を迅速に処理してユーザーに的確な返答を提供することが可能です。

また、テキストファイルやPDFファイルなどのドキュメントを、直接アップロードすることもできます。

Claude 2は、ChatGPTを上回る性能を発揮すると期待されており、日本語の大規模言語モデルの評価を行う「Rakuda Ranking of Japanese AI」では、GPT-4に次いで第二位の評価を獲得しているのです。

参考記事：The Rakuda Ranking of Japanese AI

GPT-3.5とは？

GPT-3.5はOpenAIが開発したLLMで、ChatGPTの無料版で利用することができます。

有料版のGPT-4と比べ、小型なモデルであるため、精度は落ちますが生成スピードはかなり速いです。

GPT-3.5であればChatGPTで無料で利用可能なので、ぜひ試してみてください。

GPT-4とは？

GPT-4は、同じくOpenAIが開発したLLMで、先ほどのGPT-3.5を改良したモデルです。

GPT-3.5と異なる点は、何と言ってもパラメータ数です。GPT-3.5のパラメータ数が175Bであるのに対して、GPT-4は1.5Tもあります。これは驚異的ですね。

そのため、GPT-3.5よりも生成スピードでは劣りますが、精度はかなり高めです。また、精度の高さに関しては、その他のLLMをも凌ぐほど最強です。

ChatGPTでは、有料版の方でGPT-4が利用でき、プラグインやコード生成、画像生成にも利用できます。

Bardとは？

Bardは、Google AIによって開発された大規模言語モデルです。具体的にはGoogleの「PaLM 2」というLLMが用いられています。

PaLM 2は、1.56Tものパラメータを持ち、さまざまなタスクに対応できます。なお、Bardは現在も開発中であり、今後も機能の向上が期待されているAIです。

Bardは誰でも無料で簡単に利用でき、すぐにその凄さを実感できます。また、主にGoogle検索のような使い方ができるため、次世代の検索方法を体感できるLLMでもあるのです。

Bing Chatとは？

Bing Chat は、Microsoftが開発したAIチャットツールです。ユーザーからの問いに対して、Bing検索機能とGPT-4の技術を組み合わせて結果を返してくれます。

こちらもBardと同様、強力な検索ツールとして利用できそうですね。

さらに、Bing Chatも無料で利用可能であり、GPT-4を搭載しているので、無料でGPT-4を使うことができます。

なお、現状最強のGPT-4 Turboついて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【GPT 4 Turbo】ChatGPT最強モデル！APIの使い方や料金、できることを解説

各モデルの機能を比較してみた

各モデルのスペックなどの情報は、以下の表のとおりです。

やはり、GPT-4のパラメータ数や、Claude 2のトークン数は、圧巻ですね。

また、Bing ChatはGPT-4が使われているので、必然的にGPT-4と同じスペックになるかと思います。

加えて、Bardには「PaLM 2」というLLMが搭載されているため、PaLM 2のスペックをそのまま記載しました。

各モデルに同じプロンプトを入力して『忖度なしで』性能比較してみた

ここでは、各モデルに以下に関するトピックについて、全く同じプロンプトを入れて、その挙動を比較してみようと思います。

• コーディング
• 計算
• 日本語対応
• 思想的な質問
• 違法情報へのアクセス
• エロ系の質問
• 犯罪への協力

結果は以下の通りです。

やはり、コード生成や計算、日本語対応などの基本的なタスクに関しては、どれも遜色ない感じですね。

また、倫理的にアウトな質問や、個人的な意見を聞くような質問に答えないあたりも、共通しているように思えます。

ただ個人的に、GPT-3.5では「官能小説は倫理的に問題があるから書けない」と言っていたのに、GPT-4では書いてくれるのは、すこし謎でした。

【結論】各LLMの最適なユースケース

各LLMをあえて一言で表すと、以下のような感じになるでしょう。

• 大量のインプットが可能なClaude 2
• スピードのGPT-3.5
• 圧倒的な精度のGPT-4
• 伸びしろのBard
• Bingによるファクトチェックが可能なBing Chat

上記の内容をもとに、それぞれの最適なユースケースを考えていきましょう。

Claude 2のユースケース

Claude 2の強みは何と言っても、大量に文字を入力できる点です。

そのため、例えば以下のようなケースでその強みを発揮してくれるでしょう。

• 長文の要約
• 文字数の多い本の内容理解
• ページ数の多い論文の解説

個人的には、「ビジネス書一冊分を要約するのにも使えるんじゃないか？」と思ったので、「本×Claude 2」の相性は良さそうです。また、私は研究者なので、レビュー論文などの長めの論文を要約する際に、使えるなと思いました。

ChatGPTのユースケース

GPT-3.5の強みは、文章生成の速さです。そのため、すぐに出力が欲しい場合などには、有用でしょう。

ただし、そのような場面ってなかなかありませんよね。ましてや最近では、GPT-4やその他のLLMの生成スピードも上がってきているので、よっぽどスピードを求めない限り、GPT-4で十分なんじゃないかと思いました。

また、GPT-4の強みは、その精度の圧倒的な高さです。

加えて、「プラグインの存在」「DALL・E 3による画像生成」「定期的な大型アップデート」など、他にはない強みがあるのも、ChatGPTのGPT-4のメリットです。

さらに、最近では「Bing」「コード生成」「画像生成」の機能全てをGPT-4ひとつにまとめたそうです。そのため、Bingによるファクトチェックをしながら、多様な生成が可能になりました。

個人的には、どのようなユースケースにおいても、脳死でChatGPTのGPT-4を選んでおけば間違いなしだと思います。

ただし、月額20ドルが必要な点がデメリットです。

Bardのユースケース

Bardの強みは、現在でも高い精度を誇りながら、まだ「試験運転中」であるという点です。

そのため、この先の超大型アップデートが見込まれ、さらなる飛躍が期待できます。

他にも、個人的にBardには、以下の点でメリットを感じています。

• Google検索の代わりにになる
• 出力結果を3通り出してくれ、自由に回答を選べる

そのため、上記のような使い方が、Bardには最適でしょう。

Bing Chatのユースケース

Bing Chatの良さは、Bingを用いたファクトチェックです。

というのも、Bing Chatでは出力結果に対して、「参考にしたWeb上の文献」も一緒に出力してくれます。そのため、LLM特有のハルシネーション対策としても、とても有効的なのです。

さらに、Bing Chatでは、無料でGPT-4を利用できます。そのため、無料でありながら精度が高いのも強みです。

また、当然ですが検索エンジンの代わりとしても、非常に役に立ちます。

これらのことから、Bing Chatが適しているのは、「ファクトチェック」や「検索」のようなユースケースでしょう。

なお、Claudeの最新版について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【Claude 2.1】ChatGPT超えAIの日本語での使い方やAPIの使用方法、GPT-4との比較を解説

まとめ

ChatGPTが発表されて世界を席巻した日から今日までに、数多くのテキストAIが公開されてきました。

本記事では、Claude 2・ChatGPT・Bard・Bing Chatについて、性能比較と適切なユースケースをご紹介しました。

やはり、基本的なタスクに関しては、どのLLMもほとんど性能は変わりません。とはいえ、それらLLMにはそれぞれ、得意不得意があるため、適切なユースケースを考えることで、LLMの力を最大限まで引き出せます！

本記事でご紹介したユースケースは、以下の通りです。

• Claude 2：長い文章を理解させたいとき
• GPT-3.5：早く生成結果を取得したいとき
• GPT-4：高い精度で、多様な使い方をしたいとき
• Bard：検索エンジンの代わりとして使いたいとき
• Bing Chat：ファクトチェックをしたいとき

結論、どのLLMを使えばわからない方は、以下の選び方をおすすめします。

• 有料でも良い方はGPT-4
• 無料が良い方はClaude 2

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする