【Claude 3.5 Haiku】Opusを速度と性能で凌駕する激安コスパ最強API！

WEELメディア事業部LLMリサーチャーの2scです。

2024年10月22日、AnthropicがClaudeシリーズ最新版の末っ子モデル「Claude 3.5 Haiku」のリリースをアナウンスしました！

こちらはなんと、先代・Claude 3 Haikuと同じ料金・同じスピード感で、アップデート前のClaude 3.5 SonnetやGPT-4oよりも優れたAIエージェントが作れるようなんです！（下図のSWE-bench Verified参照）

Anthropic公式Xの投稿はすでに1万いいねを集めており、末っ子モデルながらもClaude 3.5 Haikuが注目されている様子です。

この記事ではそんなClaude 3.5 Haikuの使い方や、有効性の検証を行います。本記事を熟読することで、Claude 3.5 Haikuの凄さを理解したうえで、サクサク動くAIエージェントが作れちゃうかもです。

ぜひ、最後までご覧ください。

Claude 3.5 Haikuの概要

「Claude 3.5 Haiku」はAnthropicが送る最新のLLM・Claude 3.5シリーズの最軽量モデル。先代・Claude 3 Haikuの後継として登場しています。

このClaude 3.5 Haikuのすごいところとしては……

以上のとおり。特にClaude 3.5 Haikuは、AIエージェントとしての能力が優秀です。具体的には……

このように、AIエージェント用テストの「SWE-bench Verified」でアップデート前のClaude 3.5 SonnetやGPT-4oを上回るスコア40.6%を記録しています。

そんなClaude 3.5 Haikuは、2024年10月末にAPI版・Amazon Bedrock版・Vertex AI版がリリース予定。テキストのみのモデルから公開され、のちに画像入力に対応したモデルも出てくるそうです。

Claude 3.5 Haikuのライセンス・利用料金

Anthropicの規約に基づくと、Claude 3.5 Haikuは生成物&モデル自体の商用利用が可能。生成物については、著作権もユーザー側に委譲されるようです。（※2）

また、Claude 3.5 Haiku（API版）の利用料金としては……

以上のとおり。（※3）料金は従量課金制で使えば使うほどに発生しますが、プロンプトキャッシングで最大90%OFF、Message Batches APIで50%OFFと抑えられます。

なお、Claude 3.5 Sonnetについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

【Claude 3.5 Sonnet】ついにPCを操作するAIエージェントが公開！ | WEEL Anthropicの最新大規模言語モデル「Claude 3.5 Sonnet」のアップグレード版が登場！新機能や高性能化に注目が集まる中、AIエージェント機能「Computer use」が世界の業務を…

Claude 3.5 Haikuの使い方

2024年11月5日、ついにClaude 3.5 HaikuのAPI版がリリースされました。

【和訳】
Claude 3.5 Haiku は現在、Anthropic API、Amazon Bedrock、Google Cloud の Vertex AI で利用可能です。
Claude 3.5 Haiku は、これまでで最も高速かつ賢く、コスト効率の高いモデルです。その特徴をご紹介します。

ここからは、そんなClaudeの新顔の使い方を徹底解説。まずは、APIキーの発行手順から詳しくみていきましょう！

APIキーの発行手順

Claude 3.5 Haiku用のAPIキーは簡単に発行ができます。詳しくみていきましょう！まず、Anthropic Consoleの「Get API keys」にアクセスしてみてください！すると……

このような画面が表示されるはずですので、上図青枠「＋Create Key」をクリックします。

続いて、ポップアップ表示されるテキストボックスに……

それぞれ、APIキーの名前と連携先を記入しましょう。

最後は、「Add」をクリックします。すると……

このようにAPIキーが表示されますので、青枠「Copy Key」をクリックしてクリップボードにコピーしてください。このAPIキーは後から確認ができませんので、適宜メモ帳にもペーストしておきましょう。

回答生成の手順

API版Claude 3.5 Haikuを使うには、Python 3.8以上の実行環境とライブラリ「Anthropic」が必要です。手始めに、下記のコードを実行して、PythonライブラリのAnthropicをインストールしてしまいましょう！

pip install anthropic

次に、Claude 3.5 Haikuを動かすためのコードは下記のとおり。通常のプロンプトによる命令のほか、システムプロンプトによる役割の指定なども可能です。（※3）

import anthropic

client = anthropic.Anthropic(

    api_key="取得したAPIキー",

)

message = client.messages.create(

    model="モデル名",

    max_tokens=100, #出力トークン数、上限まで指定可

    temperature=1, #回答の自由度、0.0~1が指定可

    system="システムプロンプト",#大まかな役割・振る舞いを任意で指定可

    messages=[

        {

            "role": "user",

            "content": "プロンプト"

                }

            ]

        }

    ]

)

print(message.content[0].text)

ということで早速、上記のコードにプロンプト・Tempereture・Max tolens・システムプロンプトを書き加えて、実行してみます。今回実行するのは……

import anthropic

client = anthropic.Anthropic(api_key="任意のAPIキー")

prompt="""取引先に対して、アポイントメントのメールを作成してください。"""

message = client.messages.create(model="claude-3-5-haiku-20241022",max_tokens=8192, temperature=0.2, system="You are a helpful assistant.",messages=[{"role": "user","content": prompt}])

print(message.content[0].text)

以上のコード。それでは、Claude 3.5 Haikuを動かしてみましょう！

するとこのように、Claude 3.5 Haikuはメールのひな形を返してくれました。大まかな敬語の使い方はもちろんのこと、宛名と自分の名前の位置関係まで守ってくれています。これは確かに、先代Opus超えもあり得そうですね！

Claude 3.5 Haikuとライバルを検証・比較してみた！

さて、ここからはみなさんお待ちかね、実験パートです。Claude 3.5 HaikuとライバルのLLMをGoogle Colaboratory上で実際に使ってみて、回答生成の速度や品質を比較していきます。

今回、実際に性能比較で用いるLLMは……

【速度を比較】

• Claude 3.5 Haiku
• Claude 3 Opus
• GPT-4o
• Claude 3 Haiku
• Claude 3.5 Sonnet

【品質を比較】

• Claude 3.5 Haiku
• Claude 3 Opus
• GPT-4o

以上のとおり。回答の品質については、実力が拮抗しているであろう3モデルに絞ります。
続いて、実験に使用するPythonコードは次のとおりです。回答生成と回答時間の測定をモデル別で関数にまとめています。

import anthropic

from openai import OpenAI

import time

import os

os.environ["OPENAI_API_KEY"] = "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"

client1 = anthropic.Anthropic(api_key="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")

client2 = OpenAI()

def gpt(prompt):

  print("GPT-4o miniの回答")

  start=time.time()

  response = client2.chat.completions.create(model = "gpt-4o-mini",messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}],temperature=0.2)

  text = response.choices[0]

  print(text)

  end=time.time()

  print("経過時間は……")

  print(end-start)

def haiku(prompt):

  print("Claude 3.5 Haikuの回答")

  start=time.time()

  message = client1.messages.create(model="claude-3-5-haiku-20241022",max_tokens=8192, temperature=0.2, system="You are a helpful assistant.",messages=[{"role": "user","content": prompt}])

  print(message.content[0].text)

  end=time.time()

  print("経過時間は……")

  print(end-start)

def oldhaiku(prompt):

  print("Claude 3 Haikuの回答")

  start=time.time()

  message = client1.messages.create(model="claude-3-haiku-20240307",max_tokens=4096, temperature=0.2, system="You are a helpful assistant.",messages=[{"role": "user","content": prompt}])

  print(message.content[0].text)

  end=time.time()

  print("経過時間は……")

  print(end-start)

def opus(prompt):

  print("Claude 3 Opusの回答")

  start=time.time()

  message = client1.messages.create(model="claude-3-opus-20240229",max_tokens=4096, temperature=0.2, system="You are a helpful assistant.",messages=[{"role": "user","content": prompt}])

  print(message.content[0].text)

  end=time.time()

  print("経過時間は……")

  print(end-start)

def sonnet(prompt):

  print("Claude 3.5 Sonnetの回答")

  start=time.time()

  message = client1.messages.create(model="claude-3-5-sonnet-20241022",max_tokens=8192, temperature=0.2, system="You are a helpful assistant.",messages=[{"role": "user","content": prompt}])

  print(message.content[0].text)

  end=time.time()

  print("経過時間は……")

  print(end-start)

最後に、プロンプトの入力と結果の表示には下記のコードを使用。モデル別での結果を一度に表示させています。

meirei="""プロンプト"""

haiku(meirei)

oldhaiku(meirei)

opus(meirei)

sonnet(meirei)

gpt(meirei)

それでは以下、和訳のタスクから実験を行なっていきましょう！

長文の和訳

まずは、Claude 3.5 Haikuとその他LLM4種に下記のプロンプトを入力して、長文での翻訳能力を検証・比較していきます。

こちらを各モデルに渡してみたところ、回答生成の速さ（生成完了までの秒数）は下記のとおりになりました。Anthropicの発表とは裏腹に、先代のHaikuがClaude 3.5 Haikuの速さを上回っていますね。

【生成の速さランキング】

1. Claude 3 Haiku：8.989551782608032秒
2. GPT-4o mini：10.933892488479614秒
3. Claude 3.5 Haiku：17.500645875930786秒
4. Claude 3.5 Sonnet：18.011675596237183秒
5. Claude 3 Opus：41.18119263648987秒

続いて、回答の品質は……

以上のとおり。一見するとどれも同じですが、和訳した文章の自然さ・読みやすさでいえば、先代のフラッグシップモデルであるClaude 3 Opusが抜きん出ている感じですね。

日本語のビジネスメール

続いては、ビジネスメールの生成能力についても、比較していきましょう。今回は下記のプロンプトを、Claude 3.5 Haikuとその他LLM4種に入力します。

それでは結果をみていきましょう！まず、気になる回答生成の速度は……

【生成の速さランキング】

1. Claude 3 Haiku：2.293555736541748秒
2. GPT-4o mini：2.926245927810669秒
3. Claude 3.5 Haiku：5.266385316848755秒
4. Claude 3.5 Sonnet：6.091147184371948秒
5. Claude 3 Opus：14.52900218963623秒

以上のとおり。先ほどと全く同じ順位で、先代Haikuの圧勝です。

次に、生成されたメール文章は……

このようになっていて、どれも同程度の品質。ただ、雰囲気が違っていてClaude 3.5 Haikuは硬めの文体、Claude 3 Opus & GPT-4o miniは柔らかめの文体となっています。

言葉の変換

今度は、Cluade 3.5 Haikuとその他LLM4種に、下記の不適切な言葉を丁寧な言葉に変換してもらいます。

それではまず、生成速度からみていきましょう！

【生成の速さランキング】

1. Claude 3 Haiku：1.2682750225067139秒
2. GPT-4o mini：1.8579983711242676秒
3. Claude 3.5 Haiku：3.5409796237945557秒
4. Claude 3.5 Sonnet：4.974727153778076秒
5. Claude 3 Opus：10.837232828140259秒

なるほど……これまで通りの順位で、先代Haikuの圧勝となりました。

次に、返ってきた回答は……

以上のとおり。今回は3モデルの中で唯一、体調不良の内容（二日酔いからの頭痛）を含めてくれたGPT-4oの勝利とします。

問い合わせ対応

続いて、下記のプロンプトを使って、Claude 3.5 Haikuとその他LLM4種の問い合わせ対応能力をみていきます。

まずは恒例、回答生成の速度からご覧ください！

【生成の速さランキング】

1. Claude 3 Haiku：2.6138439178466797秒
2. GPT-4o mini：3.8349974155426025秒
3. Claude 3.5 Haiku：5.98279595375061秒
4. Claude 3.5 Sonnet：9.107584714889526秒
5. Claude 3 Opus：17.469351768493652秒

またしても同順。特にコメントできることはありませんね……

次に、返ってきた回答についても、みていきましょう。

今回もGPT-4o miniが特に優秀な感じ。全体的に具体性の高い解決策を返してくれています。次点で、Claude 3.5 Haikuも優秀でした。

ただ、Claude 3 Opusは解決策の代わりに、トラブルが解決した体の文章を勝手に生成してしまっています。

SNSの投稿文

最後に、Claude 3.5 Haikuとその他LLM4種の案出し能力を比較していきます。今回は下記プロンプトを使って、SNSの投稿文を考えさせてみましょう！

ということでまずは、回答生成の速度からどうぞ！

【生成の速さランキング】

1. Claude 3 Haiku：4.383708477020264秒
2. GPT-4o mini：5.839798450469971秒
3. Claude 3.5 Haiku：8.998962640762329秒
4. Claude 3.5 Sonnet：9.218515872955322秒
5. Claude 3 Opus：22.590426683425903秒

以上のとおり、回答生成の速度はこれまでと全く同じでした。

次に、返ってきたアイデア&投稿文は……

このように三者三様。生成AIではなく画像認識AIについて触れているClaude 3.5 Haikuは論外として、Claude 3 OpusとGPT-4o miniはいい感じの投稿文を考えてくれました。ただ、今回のところは、具体的なメリットも込みで投稿文を生成してくれたClaude 3 Opusの勝利としましょう！

最後の最後に、ここまでの実験結果を総括していきます。まず、回答生成の速度はどの実験でも変わらず以下のとおり。Anthropicの発表内容に反して、終始Claude 3 HaikuがClaude 3.5 Haikuのスピードを上回っていました。

1. Claude 3 Haiku
2. GPT-4o mini
3. Claude 3.5 Haiku
4. Claude 3.5 Sonnet
5. Claude 3 Opus

続いて、Claude 3.5 Haiku・Claude 3 Opus・GPT-4o miniの回答品質の比較結果もまとめます。こちらは優れている順に……

1. GPT-4o mini
2. Claude 3.5 Haiku
3. Claude 3 Opus

以上のとおり。今回、Claude 3.5 Haikuは安定してClaude 3 Opus以上のコンテンツを生成してくれています。

速さ&安さはそのまま品質UPの「Claude 3.5 Haiku」

当記事では、利用料金と生成速度は据え置きで回答の質が大幅UPしたHaikuの最新版「Claude 3.5 Haiku」をご紹介しました。

冒頭で取り上げたAnthropic公式Xの投稿が1万いいねを集めていたように、Claude 3.5 Haikuは末っ子モデルながらに注目を集めています。かくいうリサーチャーも興味津々で、Claude 3.5 Haikuなら質の高いAIツールが作れるんじゃないかと思っています。今後の活躍に期待が持てそうですね！

最後に

いかがだったでしょうか？

低コストながらClaude 3 Opusよりも高性能なClaude 3.5 Haikuを使えば、今までよりもコストパフォーマンス格段に上げられるでしょう。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、大規模言語モデル（LLM）を対象に、言語理解能力、生成能力、応答速度の各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。

無料で相談する

資料をダウンロードする