Claude 3の画像認識機能とは？活用方法や利用するときの注意点を徹底解説

2024-03-10

2024年3月4日、OpenAIのライバルであるAnthropicが次世代の大規模言語モデル「Claude 3」を公開しました。高性能を誇ることで大きな期待が寄せられるClaude 3ですが、その中でも特に画像認識機能が素晴らしいと話題になっています。

本記事では、Claude 3の画像認識機能を深く掘り下げて解説します。具体的な活用方法や注意点、ChatGPTとの比較もご紹介するのでぜひ最後までご覧ください。

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

Claude 3とは

Claude 3は、画像と文章を同時に処理できるマルチモーダルAIです。Claude 3の最上位モデルであるOpusは、様々な業界ベンチマークでSOTAを達成しており、GPT-4よりも高い性能を発揮すると言われています。Anthropicの公式からの投稿には8900を超えるいいねがついており、大きな期待を寄せられていることが分かります。

Today, we're announcing Claude 3, our next generation of AI models.

The three state-of-the-art models—Claude 3 Opus, Claude 3 Sonnet, and Claude 3 Haiku—set new industry benchmarks across reasoning, math, coding, multilingual understanding, and vision. pic.twitter.com/TqDuqNWDoM
— Anthropic (@AnthropicAI) March 4, 2024

Claude 3には、

最も性能が高くGPT-4よりも強力な「Claude 3 Opus」
コストと性能のバランスが良くGemini 1.0 Proよりも強力な「Claude 3 Sonnet」
軽量で高速ながら、Gemini 1.0 Proよりも強力な「Claude 3 Haiku」

の3モデルが用意されています。

Claude 3の使い方や料金についてより詳しく知りたい方は、以下の記事をご確認ください。
→【Claude 3】GPT-4を超えるAnthropicのOpus、Sonnet、Haikuを使ってみた！使い方や料金も解説

Claude 3の画像認識機能

Claude 3には様々な機能が備わっていますが、その中でも特に注目されているのが画像認識機能です。以下に記す表はClaude 3と他の主要モデルの画像認識機能を比較したものですが、かなりの高性能を誇っているのがわかります。全体的に最も好成績を収めているのはGoogleのGemini 1.0 Ultraですが、それに引けを取らない結果と言えそうです。

参考：https://www.anthropic.com/news/claude-3-family

Claude 3の画像認識機能を使えば、写真・チャート・グラフ・図面など、幅広いビジュアルを処理できます。 PDF、フローチャート、プレゼンテーションスライドなど様々な場所でも使えるのでビジネスの場面でも活用してくれそうです。さらに日本語対応もしてくれています。

Claude 3 画像認識の活用方法

実際にClaude 3の画像認識機能を使ってみて、その能力を確認してみます。使ってみたい方はclaude.aiにアクセスすることで利用できます。「Claude 3 Opus」を利用する場合は料金がかかりますが、「Claude 3 Sonnet」は無料で使用できるので、気になる方はぜひ使ってみてください。

事例①画像の情報分析

まずClaude 3に画像の情報を分析してもらいます。以下のような桃太郎のフリー素材を読み込ませ、説明してもらいます。

画像をアップロードし「この画像について説明してください」とお願いしました。すると数秒で回答が表示され、以下のように答えてくれました。

桃太郎の説明をしてほしかったのですが、女の子と動物の説明になってしまいました。しかしそれ以外の動物や雰囲気などは正確に描写してくれています。画像の意味や背景まで読み取るのはまだ難しそうですが、かなり精度高く読み取ってくれています。

事例②お店情報を回答

続いて、お店の情報を回答してもらいました。以下のような店舗のイメージ画像を読み込ませ「これはどのようなお店ですか？」と質問してみました。そうすると、すぐに以下のような回答を返してくれます。

写真から飾ってある商品を読み取り、細かく説明してくれています。色合いや店内の様子から、お店の雰囲気も感じ取ってくれてますね。建物のデザインや店前の自転車など具体的な詳細も把握しており、こちらもかなり精度が高いと言えるのではないでしょうか。

事例③グラフの読み込み

続いてグラフを読み込ませてみます。以下のような日経平均株価のグラフを使用し、「この画像は何？」と聞いてみました。

回答の全体像は、以下のとおりです。

「日経平均株価」の特定こそできませんでしたが、全体の特徴を捉えて正確に説明してくれています。トレンドや変動の幅、利用方法なども的確に答えてくれています。上手に活用すれば仕事の効率化にもつながりそうです。

同じくマルチモーダルAIであるGeminiの画像認識について知りたい方は、こちらの記事も読んでみてください。
→Gemini VS サイゼの間違い探し！最強の画像認識AIに激ムズ間違い探しを解かせてみた

Claude 3とGPT-4の画像認識を比較

Claude 3で行った画像認識を、GPT-4でも行って比較してみます。まずは桃太郎のイラストを読み込ませてみます。こちらがClaude 3の結果です。

GPT-4に同じ画像を読み込ませてみます。

GPT-4からの回答は、以下のとおりです。

Claude 3では「桃太郎」という名前を特定できませんでしたが、GPT-4はしっかり特定しています。画像の意味まで理解し、詳しく説明してくれました。さすがGPT-4という結果ですね。

続いて店舗の画像を読み込ませてみます。Claude 3の結果は以下のとおりでした。

GPT-4にも同様に読み込ませます。結果は以下のとおりです。

GPT-4も店舗について正確に読み取り、説明してくれました。claude 3と同様に店内の商品や店前の自転車についても触れられており、正確な解説だと思います。

最後にグラフを読み込ませてみます。claude 3の結果は、以下のとおりでした。

GPT-4にも同じグラフを読み込ませました。

結果は以下のとおりです。

GPT-4も、かなり正確にグラフを読み取ってくれています。特筆すべきは「移動平均」という言葉を出しているところです。グラフの形や数値を読み取るだけでなく、背景や意味まで読み取ってくれています。そういう意味では、現在のところGPT-4に軍配が上がると言えそうです。

Claude 3とGPT-4を比較してみましたが、どちらも精度高く画像認識してくれています。ただし細かい部分では、それぞれに得意分野がありそうなので、適切なタイミングで使い分けたいですね。また今回は無料版のClaud 3 Sonnetを利用したので、最上位モデルのOpusを使えばさらにClaude 3の画像認識精度が上がりそうです。

Claude 3で画像認識するときの注意点

Claude 3の画像認識機能は便利ですが、利用するときには注意が必要です。特に以下の点には注意して使うようにしましょう。

著作権・商標権などの権利侵害：生成AIはインターネット上の膨大なデータを学習データとして使用するため、著作権や商標権に注意が必要です。読み込ませる画像に関しても同様で、権利侵害にならないよう注意が必要です。
ハルシネーションのリスク：生成AIには、ハルシネーション（幻覚）と呼ばれる事実とは異なる情報を出力するリスクがあります。画像認識によって出力されたデータも正確性を欠く可能性があるので気をつけましょう。
機密情報の漏洩：生成AIは大量のデータを学習して動作するため、その中に機密情報が混ざっていると、出力結果にもそれが反映される可能性もあるからです。画像認識に関しても同様で、読み込ませるデータには注意が必要と言えます。

Claude 3を含む生成AIには、さまざまなリスクが存在しています。これらのリスクを理解し対策することが非常に重要です。

なお、生成AIを利用する際のリスクについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→生成AIの企業利用・開発のリスクとその対策を解説！開発失敗事例も紹介