プロンプトを自動修正してClaudeの性能を爆上げ!Anthropicの神ツールPrompt Improverを試してみた

プロンプト 自動修正 Claude 性能 Anthropic Prompt Improver

2024/11/15、Anthropicから新たなツールが登場!

Prompt Improverは、プロンプトの改善、マルチショット例の管理、理想的な出力の評価を通じて、ユーザーが入力するプロンプトの精度を向上させます。

本記事では、Prompt Improverがどういったものなのか・どのような仕組みになっているのか、Prompt Improverを使う前後でどのように変化するのかを検証してみたいと思います。

本記事を最後までお読みいただければ、Prompt Improverについて理解が深まり、使いこなすことができるようになります!

ぜひ最後までお読みください!

目次

Prompt Improverの概要

Prompt Improverにはいくつかの機能があります。

プロンプト改良:既存のプロンプトを自動的に改良する機能
マルチショット例の管理:プロンプトに使用する例を構造化されたフォーマットで管理可能
理想的な出力評価機能:理想的な出力を基準にプロンプトの評価を実施

参考:https://www.anthropic.com/news/prompt-improver

上記3つの機能を可能とするのは、5つの手法です。

思考の連鎖: 正確性と信頼性を向上させるため、Claudeが体系的に問題を思考するための専用セクションを追加
例題の標準化: 明確さと処理を向上させるため、例題を一貫したXML形式に変換
例題の充実: 新しく構造化されたプロンプトに合わせて、既存の例題に思考の連鎖を追加
書き換え: 構造を明確化し、軽微な文法やスペルの誤りを修正するために、プロンプトを書き直す
事前入力の追加: Claudeのアクションを指示し、出力形式を強制するために、アシスタントメッセージを事前に入力

新しいプロンプトが生成されたら、Claudeに何がうまくいって何がうまくいっていないかについてのフィードバックを提供することで、プロンプトをさらに改善ができます。

マルチショット例の管理

プロンプトに例を追加することは、モデルの応答品質を向上させる最も効果的な方法の1つであり、特にClaudeが出力において特定のフォーマットに正確に従うようにする場合に有効。

Workbenchでは、構造化された形式で例題を直接管理できるようになっており、これにより、明確な入力と出力のペアを持つ新しい例題を追加したり、既存の例題を編集して応答品質を向上させたりすることが容易になります。

プロンプトに例題がない場合は、Claudeによる例題生成機能を使用して追加することができます。

Claudeは、このプロセスを合理化するために、合成例題の入力を自動的に作成し、出力をドラフトできます。例題を追加することで、以下の点で改善が見られます。

正確性: 指示の誤解を減少
一貫性: 望ましい出力形式を確保
パフォーマンス: Claudeの複雑なタスク処理能力を高める

参考:https://www.anthropic.com/news/prompt-improver

ここでいう「例題」や「マルチショット例」というのは、AIモデルがプロンプトに基づいて適切な応答を生成できるように、具体的な「入力と出力のペア」を用意すること。これらはAIに「このような入力が来たときには、こう応答してほしい」という具体例を示すものです。

プロンプトの評価機能

プロンプト評価機能では、さまざまなシナリオでプロンプトをテストすることが可能です。

パフォーマンスをベンチマークして改善するために、評価タブには「理想的な出力」列が追加されていて、この列を利用することで、モデルの出力を5段階で効果的かつ一貫して評価できます。

新しいプロンプトをテストした後、プロンプト評価機能を通じてClaudeに改善点をフィードバックすることが可能です。このプロセスを繰り返し行うことで、理想的な結果に近づけることが期待できます。

また、プロンプト評価機能では、リクエストに応じてプロンプトや例題を柔軟に変更でき、例えば、プロンプトと例題の出力形式をXMLからJSONに変えるように指示することもできます。こうした調整を行うことで、モデルの出力をより用途に合った形に整えることが可能です。

正確性の向上

プロンプト評価機能によって、マルチラベル分類テストではClaude 3 Haikuの精度が30%向上したという結果が出ています。これは、Wikipediaの記事タイトルとランダムに抽出された文をマッチさせるタスクで、プロンプト改善によってモデルがより正確にタスクを遂行できるようになったことを示しています。

一貫性の向上

プロンプトに例題を追加することで、モデルは出力の形式を一貫して守ることができるようになります。例えば、特定の単語数範囲内で要約を記述するように指示した場合、プロンプト改善機能を使用した結果、Claudeは100%の確率で指示に従うことができました。

パフォーマンスの向上

例題を追加することで、Claudeはより複雑なタスクを処理できるようになります。これは、例題を通じてモデルがタスクの具体的な要件を理解し、それに応じた出力を行うことができるようになるためです。

Prompt Improverの料金体系

Prompt Improverを使えるユーザーについての記載は公式ページにはありませんでした

Proに契約していないアカウントでAnthropic Consoleにログインして、「Improve existing prompt」をみてみると「Buy credits」と書かれています。

参考:https://console.anthropic.com/dashboard

Prompt ImproverはProに契約していなくても、「Billing」でクレジットを購入していると使えると考えられます。

最低5ドルからクレジットを購入可能です。Prompt Improverを試したい場合は、5ドル分のクレジット購入をご検討ください。

なお、Opusを速度と性能で凌駕する激安コスパ最強APIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

あわせて読みたい
【Claude 3.5 Haiku】Opusを速度と性能で凌駕する激安コスパ最強API! WEELメディア事業部LLMリサーチャーの2scです。 2024年10月22日、AnthropicがClaudeシリーズ最新版の末っ子モデル「Claude 3.5 Haiku」のリリースをアナウンスしました...

Prompt Improverの使い方

Prompt Improverを使うには、「Anthropic Console」を開き、「Improve an existing prompt」を選択します。

参考:https://console.anthropic.com/dashboard

Existing prompt template(既存のプロンプトテンプレート)」と「What would you like to improve?(改善したい点)」を入力します。

参考:https://console.anthropic.com/dashboard
{{Business}}について考えてください。
データを用いた具体的な改善策をさまざまな視点で考えてください。
プロンプトは日本語で作成してください。
参考:https://console.anthropic.com/dashboard

Open in Workbench」が表示されたらクリックすると以下のように出力されます。

参考:https://console.anthropic.com/workbench/2c8552bd-76ec-411a-8663-9bcadd081358
出力結果はこちら
あなたは経験豊富なビジネスコンサルタントです。以下の企業について分析し、データに基づいた具体的な改善策を提案する任務があります。

分析対象の企業:
<business>
{{Business}}
</business>

以下の手順に従って分析と提案を行ってください:

1. まず、<key_information>タグ内で、企業の説明から重要な情報を抽出し、箇条書きでリストアップしてください。

2. 次に、<initial_analysis>タグ内で企業の現状分析を行ってください。この分析では、以下の点を考慮し、それぞれの項目について企業の説明から根拠を示してください:
   - 企業の強みと弱み
   - 市場での位置づけ
   - 主要な競合他社
   - 現在の経営課題

3. 次に、少なくとも3つの異なる視点から企業を考察してください。各視点は<perspective>タグで囲んでください。各視点について、まずその視点がこの企業にとってなぜ重要かを簡単に説明してから分析を行ってください。視点の例:
   - 財務的視点
   - 顧客視点
   - 内部プロセス視点
   - 学習と成長の視点

4. 各視点に基づいて、データを用いた具体的な改善策を<strategy>タグ内で提案してください。各戦略には以下の要素を含めてください:
   - 改善策の詳細な説明
   - 期待される効果
   - 実施に必要なリソースやステップ
   - 成功を測定するための指標
   - 潜在的なリスクや課題

5. 最後に、提案した戦略の優先順位を示し、実施のタイムラインを提案してください。

注意事項:
- すべての分析と提案は、可能な限り具体的なデータや事例を用いて裏付けてください。
- 改善策は実行可能で、企業の現状に即したものにしてください。
- 回答はすべて日本語で作成してください。

それでは、分析と提案を開始してください。

Workbenchを開いたら「Run」をクリックして内容を検証してみましょう。

ちょっと見にくいですが、鉛筆マークがあるのでここをクリックすると情報を入力することができます。

参考:https://console.anthropic.com/workbench/2c8552bd-76ec-411a-8663-9bcadd081358

今回は「Anthropic」を分析してもらいましょう。

結果はこちら
AI研究開発企業として2021年に設立
安全で倫理的なAI開発に重点を置く
GPT-4を活用したAIアシスタントClaudeを開発
Google、Microsoft、OpenAIの主要な競合と比較して後発
約10億ドルの資金調達を実施
倫理的AI開発のための独自のConstitutional AIアプローチを採用
研究開発に強みを持つ技術者チームを保有
</key_information>

<initial_analysis>
強み:

倫理的AI開発への強いコミットメント
高度な技術力と研究開発能力
大規模な資金調達による財務基盤
Constitutional AIという独自のアプローチ

弱み:

市場後発による認知度の低さ
競合と比較して限定的な製品ポートフォリオ
商業化の経験が比較的浅い

市場位置:

大手テック企業に次ぐTier2ポジション
倫理的AI開発の分野でのリーダー的存在

主要競合:

OpenAI(ChatGPT)
Google(Bard)
Microsoft
Meta

現在の課題:

市場シェアの拡大
製品の差別化
収益モデルの確立
人材確保と育成
</initial_analysis>

<perspective>技術開発視点
AIの技術革新が急速に進む中、持続的な競争優位性の確保が重要。

Constitutional AIの更なる発展
研究開発投資の効率化
技術的差別化の維持
</perspective>


<perspective>市場展開視点
後発企業として市場シェアを確保するための戦略が必要。

ターゲット市場の明確化
製品差別化戦略
チャネル開発
</perspective>


<perspective>組織能力視点
持続的成長のための組織基盤の構築が重要。

人材獲得・育成
組織文化の醸成
ナレッジマネジメント
</perspective>


<strategy>
戦略1:特化型市場戦略
- 詳細:企業向け特化型AIソリューションの開発
- 効果:安定的な収益基盤の確立
- 必要リソース:
  - 営業チームの構築
  - 業界特化型モデルの開発
- 測定指標:
  - エンタープライズ顧客数
  - 契約継続率
- リスク:開発コストの増大
戦略2:研究開発の効率化

詳細:研究開発プロセスの最適化と自動化
効果:開発サイクルの短縮
必要リソース:

自動化ツールの導入
プロセス改善チーム


測定指標:

開発サイクル時間
特許出願数


リスク:品質管理の複雑化

戦略3:人材育成プログラムの確立

詳細:包括的な技術者育成システムの構築
効果:持続的な技術力の向上
必要リソース:

教育プログラムの開発
メンター制度の確立


測定指標:

出力されたら出力結果を評価しましょう。

Evaluate」が画面中央にあるので、クリック。

参考:https://console.anthropic.com/workbench/2c8552bd-76ec-411a-8663-9bcadd081358

Evaluate」を開くと1-5段階で評価することができます。目的とするアウトプットを得られているかに応じて、評価しましょう。

参考:https://console.anthropic.com/workbench/6356401d-c543-49dd-9341-39154e1272ba

また、コードを取得することもできます。

参考:https://console.anthropic.com/workbench/6356401d-c543-49dd-9341-39154e1272ba
コードはこちら
import anthropic

client = anthropic.Anthropic(
    # defaults to os.environ.get("ANTHROPIC_API_KEY")
    api_key="my_api_key",
)

# Replace placeholders like {{Business}} with real values,
# because the SDK does not support variables.
message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1000,
    temperature=0,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "あなたは経験豊富なビジネスコンサルタントです。以下の企業について分析し、データに基づいた具体的な改善策を提案する任務があります。\n\n分析対象の企業:\n<business>\n{{Business}}\n</business>\n\n以下の手順に従って分析と提案を行ってください:\n\n1. まず、<key_information>タグ内で、企業の説明から重要な情報を抽出し、箇条書きでリストアップしてください。\n\n2. 次に、<initial_analysis>タグ内で企業の現状分析を行ってください。この分析では、以下の点を考慮し、それぞれの項目について企業の説明から根拠を示してください:\n   - 企業の強みと弱み\n   - 市場での位置づけ\n   - 主要な競合他社\n   - 現在の経営課題\n\n3. 次に、少なくとも3つの異なる視点から企業を考察してください。各視点は<perspective>タグで囲んでください。各視点について、まずその視点がこの企業にとってなぜ重要かを簡単に説明してから分析を行ってください。視点の例:\n   - 財務的視点\n   - 顧客視点\n   - 内部プロセス視点\n   - 学習と成長の視点\n\n4. 各視点に基づいて、データを用いた具体的な改善策を<strategy>タグ内で提案してください。各戦略には以下の要素を含めてください:\n   - 改善策の詳細な説明\n   - 期待される効果\n   - 実施に必要なリソースやステップ\n   - 成功を測定するための指標\n   - 潜在的なリスクや課題\n\n5. 最後に、提案した戦略の優先順位を示し、実施のタイムラインを提案してください。\n\n注意事項:\n- すべての分析と提案は、可能な限り具体的なデータや事例を用いて裏付けてください。\n- 改善策は実行可能で、企業の現状に即したものにしてください。\n- 回答はすべて日本語で作成してください。\n\nそれでは、分析と提案を開始してください。"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "type": "text",
                    "text": "<key_information>"
                }
            ]
        }
    ]
)
print(message.content)
結果はこちら
[TextBlock(text='\n- 企業名:株式会社山田製作所\n- 業種:工業用金属部品製造\n- 従業員数:120名\n- 創業:1975年\n- 年間売上:約15億円\n- 主力製品:自動車・産業機械向け精密金属部品\n- 取引先:大手自動車メーカー、産業機械メーカー\n- 生産拠点:本社工場(愛知県)\n- 最近の課題:人材不足、設備の老朽化、デジタル化の遅れ\n</key_information>\n\n<initial_analysis>\n強み:\n- 45年以上の製造実績と技術力\n- 大手メーカーとの安定的な取引関係\n- 高品質な製品製造能力\n\n弱み:\n- 設備の老朽化による生産効率の低下\n- デジタル化への対応の遅れ\n- 若手人材の確保が困難\n\n市場での位置づけ:\n- 中堅の専門部品メーカーとして安定した地位\n- 特定の精密部品分野で高い評価\n\n主要競合他社:\n- 大手部品メーカー\n- 新興の自動化設備導入企業\n\n現在の経営課題:\n- 生産性向上\n- 人材確保・育成\n- 設備modernization\n</initial_analysis>\n\n<perspective>財務的視点\n重要性:持続可能な成長のための投資資金確保\n\n分析:\n- 売上高15億円に対する利益率の改善が必要\n- 設備投資のための資金調達が課題\n- 運転資金の効率化が求められる\n</perspective>\n\n<perspective>顧客視点\n重要性:取引先との関係強化と新規顧客開拓\n\n分析:\n- 既存顧客からの信頼は高い\n- 新規顧客開拓の機会がある\n- 品質管理体制の強化が必要\n</perspective>\n\n<perspective>内部プロセス視点\n重要性:生産効率の向上と品質維持\n\n分析:\n- 生産設備の更新が急務\n- デジタル化による効率化の余地が大きい\n- 技術伝承システムの構築が必要\n</perspective>\n\n<strategy>\n戦略1:スマートファクトリー化計画\n詳細:\n- IoTセンサーの導入\n- 生産管理システムの刷新\n- 予防保全システムの導入\n\n期待効果:\n- 生産効率20%向上\n- 不良品率50%削減\n- 保守コスト30%削減\n\n必要リソース:\n- 設備投資額:2億円\n- システム導入期間:1年\n- 従業員教育:3ヶ月\n\n測定指標:\n- 生産性向上率\n- 不良品率\n- 設備稼働率\n\nリスク:\n- 初期投資の負担\n- 従業員の習熟期間\n</strategy>\n\n<strategy>\n戦略2:人材育成・採用強化\n詳細:\n- 技術伝承プログラムの確立\n- 若手採用強化\n- 処遇改善\n\n期待効果:\n- 技能継承の確実化\n- 従業員定着率向上\n- 生産性向上\n\n必要リソース:\n- 教育訓練費:年間2000万円\n- 採用活動強化:1000万円\n- ', type='text')]

Prompt Improverの有無で出力が変化するかを検証

Prompt Improverの有無で出力が変化するかを検証してみたいと思います。今回はClaudeでPrompt Improverの有無、ChatGPT-4oの3つで比較します。

比較するタスクは次の3つ

  • 日本語のビジネスメール
  • 日本語のビジネスメールの返信文章
  • 悪い言葉を良い言葉に変えてくれるかどうか

Prompt Improverは以下のように設定をします。

{{Japanese language}}について考えてください。
取引先や上司、外部とのやり取りに対して適切な敬語を用いてください。
プロンプトは日本語で作成してください。

プロンプトとしては以下です。

タスク1はこちら
取引先に対して、アポイントメントのメールを作成してください。
タスク2はこちら
あなたは、優秀なビジネスマンです。以下の内容をもとに、メールの返信内容を出力してください。
#受信したメール内容
○○様

お世話になっております。
お忙しいところ失礼いたします。

現在進行中の施策について情報共有したいことがあり、ミーティングをお願いできればと思っております。
ご都合の良い日時をお知らせいただけますと幸いです。

以下の時間帯で、ご都合が合う時間がございましたらご教示ください。
8/6(火): 10:00~18:00
8/7(水): 10:00~18:00

お忙しいところ恐縮ですが、何卒よろしくお願いいたします
合わせて、ミーティングの際に使用させていただく資料も共有させていただきます。
お手すきの際にご確認いただけると幸いです。

#返信に含める内容
- 8月7日(水)17:00~18:00の日程が参加可能
- 試料がまとまっていてキレイであることを褒める

#条件
- 敬語を正確に使う
- 文章最後に電子署名を入れる

#出力

本文:
タスク3はこちら
あなたは、優秀なビジネスマンです。以下の内容をもとに、欠勤メールの文章をリライトしてください。
#メール内容
よう!くそパイセン! 
昨日の飲み会のせいで2日酔い酷くて朝から死ぬほど頭痛いんで、会社休むわー

今日の俺の業務も代わりにやっといてー
あ、あと明日は会社行けたら行く

よろー

#条件
- 敬語を正確に使う
- 不適切な内容は排除してください。
- 悪い言葉をすべて丁寧な言葉に変える
- 文章最後に電子署名を入れる

#出力

本文:

出力結果は以下です。

Claudeの結果は以下です(Prompt Improverなし)

タスク1の結果はこちら
件名:ご面談のお願い

○○株式会社
△△部
□□様

お世話になっております。
××株式会社の●●でございます。

平素は格別のご高配を賜り、厚く御礼申し上げます。

さて、この度は弊社の新規サービスについてご説明させていただきたく、
お忙しいところ大変恐縮ではございますが、下記の日程にてご面談をお願いできませんでしょうか。

【ご面談希望日時】
第1候補:○月○日(月)14:00~15:00
第2候補:○月○日(水)10:00~11:00
第3候補:○月○日(金)15:00~16:00

ご都合の良い日時をご教示いただけますと幸いです。
また、オンラインでの面談も可能でございます。
ご希望の方法をお知らせいただければと存じます。

なお、ご多忙中とは存じますが、○月○日までにご返信いただけますと幸いです。

お手数をおかけいたしますが、ご検討のほど何卒よろしくお願い申し上げます。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
××株式会社
営業部
●● ●●(やまだ たろう)
TEL:03-XXXX-XXXX
EMAIL:xxxx@xxxx.co.jp
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
タスク2の結果はこちら
件名:Re: ミーティングのお願い

○○様

お世話になっております。
メールありがとうございます。

ご提案いただいた日程について、8月7日(水)17:00~18:00でのミーティング参加が可能でございます。
ご予定を確保いただき、誠にありがとうございます。

また、ご共有いただいた資料を拝見させていただきました。
情報が非常に分かりやすく整理されており、内容も充実していて大変参考になりました。
事前に資料をご共有いただいたことで、より効果的な討議ができるものと存じます。

それでは、8月7日のミーティングを楽しみにしております。

何かございましたら、お気軽にご連絡ください。

よろしくお願い申し上げます。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
××株式会社
営業部
●● ●●(やまだ たろう)
TEL:03-XXXX-XXXX
EMAIL:xxxx@xxxx.co.jp
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
タスク3の結果はこちら
件名:本日の欠勤のご連絡

○○部
△△様

お世話になっております。
●●でございます。

大変申し訳ございませんが、本日は体調不良のため欠勤させていただきたく、
ご連絡申し上げます。

本日予定しておりました下記の業務につきまして、
代理対応のご検討をいただけますと幸いです。

【本日予定していた業務】
・○○の作成
・△△の確認
・□□との打ち合わせ

なお、明日の出社につきましては、本日の様子を見ながら
改めてご連絡させていただきます。

突然のご連絡となり、大変ご迷惑をおかけいたしますが、
何卒よろしくお願い申し上げます。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
××株式会社
○○部
●● ●●(やまだ たろう)
TEL:03-XXXX-XXXX
EMAIL:xxxx@xxxx.co.jp
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Claudeの結果は以下です(Prompt Improverあり)

生成されたプロンプトはこちら
あなたは日本語と日本文化の専門家です。以下の日本語に関するトピックについて、ビジネス環境での適切な敬語を用いて説明してください。

トピック:
<日本語トピック>
{{Japanese_language}}
</日本語トピック>

指示:
1. 上記のトピックについて深く考察し、関連する情報や洞察を提供してください。
2. 回答する前に、あなたの考えを<分析>タグ内にまとめてください。
3. 最終的な回答は、ビジネス環境での使用に適した敬語を用いて作成してください。
4. 回答は簡潔かつ明確に、段落に分けて構成してください。ビジネスコミュニケーションでは簡潔さと明確さが重要であることを忘れないでください。
5. 必要に応じて、例を挙げて説明を補足してください。

<分析>タグ内で以下の点を考慮してください:
- トピックの主要な要素や側面の分解
- トピックに関連する文化的・言語的なニュアンス
- トピックに関連する敬語表現の特定
- トピックを説明するための具体的な例やシナリオ

出力形式:
<分析>
[トピックに関する考察や分析をここに記述]
</分析>

<回答>
[敬語を用いた最終的な回答をここに記述]
</回答>

それでは、上記のトピックについて考察し、適切な敬語を用いて回答してください。
タスク1の結果はこちら
アポイントメントのメール作成において、以下の要素を考慮する必要があります:

基本構成


件名の明確な記載
冒頭の挨拶
本文(目的、希望日時、場所)
締めの挨拶


敬語の使用


謙譲語:お伺い、させていただく
尊敬語:いらっしゃる、ご都合
丁寧語:です、ます


ビジネスマナー


簡潔明瞭な文章
複数の候補日時の提示
返信期限の明示


文化的配慮


相手の立場を考慮した表現
時間への配慮
</分析>

<回答>
件名:面談のお願い
拝啓
○○株式会社
△△部長 ●●様
いつも大変お世話になっております。
□□株式会社営業部の××でございます。
突然のご連絡で恐縮でございますが、新規プロジェクトに関しまして
ご相談させていただきたく、お時間を頂戴できませんでしょうか。
つきましては、下記の日時にて面談をお願いできればと存じます。
第一候補:○月○日(月)14:00~15:00
第二候補:○月○日(水)15:00~16:00
第三候補:○月○日(金)10:00~11:00
ご多忙中、誠に恐れ入りますが、○月○日(金)までに
ご都合をお知らせいただけますと幸いでございます。
何卒よろしくお願い申し上げます。
敬具

□□株式会社
営業部 ××
TEL: 03-XXXX-XXXX
Email: xxx@xxx.co.jp
</回答>
タスク2の結果はこちら
このビジネスメールには以下の重要な要素が含まれています:

構造的特徴


適切な件名(Re:を含む返信形式)
明確な宛名と結びの挨拶
整った署名欄


敬語表現の特徴


「お世話になっております」による丁寧な書き出し
「いただく」「ございます」などの謙譲語・丁寧語の適切な使用
「拝見」などのビジネス特有の表現


コミュニケーションの特徴


提案への明確な返答
感謝の意の適切な表現
前向きな態度の表明


文化的要素


相手への配慮を示す表現の使用
謙虚さと礼儀正しさの表現
段階的な情報提示
</分析>

<回答>
このメールは、ビジネスメールの模範的な例として評価できます。以下の点で特に優れています:

構成と形式
本メールは、ビジネスメールとして適切な構成を備えております。件名での「Re:」の使用により返信メールであることが明確で、宛名から署名まで必要な要素が過不足なく含まれております。
敬語の使用
「お世話になっております」「ご提案いただいた」「拝見させていただきました」など、適切な敬語表現を用いており、ビジネスの場にふさわしい丁寧さを保っております。
内容の明確さ


日時の確定(8月7日17:00~18:00)
資料の受領確認
感謝の意の表明
これらの情報が簡潔かつ明確に伝えられております。


改善提案
さらに丁寧にする場合、以下のような表現も考えられます:


「ご多忙の中」という枕詞の追加
「貴重なお時間」という表現の使用
具体的な議題やアジェンダへの言及

このように、基本的な敬語表現を適切に使用しながら、簡潔で分かりやすい文面となっており、ビジネスメールとして非常に良い例と言えます。
タスク3の結果はこちら
このケースでは以下の点に注意が必要です:

体調不良による欠勤連絡という重要な業務連絡
上司への適切な敬語使用
責任ある態度の表明
具体的な状況説明と対応策の提示
電子署名による正式な形式の維持

問題点:

不適切な言葉遣いと略語の使用
飲酒による体調不良という不適切な理由の明示
無責任な態度
業務引継ぎの不適切な依頼方法
</分析>

<回答>
件名:本日の欠勤について(ご報告)
○○部 ○○課
○○様
お世話になっております。
○○でございます。
誠に申し訳ございませんが、本日体調不良のため欠勤させていただきたく、
ご連絡申し上げます。
本日予定しておりました下記の業務につきまして、
代替の対応をご検討いただけますと幸いです。
【本日予定していた業務】
・○○案件の資料作成
・○○との打ち合わせ
明日は通常通り出社の予定でございますが、
体調の回復状況により変更がある場合は、改めてご連絡させていただきます。
ご迷惑をおかけし、大変申し訳ございません。
何卒よろしくお願い申し上げます。
━━━━━━━━━━━━━━━━━━━━
○○株式会社
○○部 ○○課
氏名:○○ ○○
TEL:○○-○○○○-○○○○
Mail:○○@○○.co.jp
━━━━━━━━━━━━━━━━━━━━
</回答>

Prompt Improverありの場合、タスク2で求めている回答と異なっていたので、評価を1にして「Ideal output」に「メール本文を日本語で作成する」と追記をして再度出力してみました。

参考:https://console.anthropic.com/workbench/2c8552bd-76ec-411a-8663-9bcadd081358

変わりませんでした…

タスク2の再出力結果はこちら
このビジネスメールには以下の重要な要素が含まれています:

1. 構造的特徴
- 適切な件名(Re:を含む返信形式)
- 明確な宛名と結びの挨拶
- 整った署名欄

2. 敬語表現の特徴
- 「お世話になっております」による丁寧な書き出し
- 「いただく」「ございます」などの謙譲語・丁寧語の適切な使用
- 「拝見」などのビジネス特有の表現

3. コミュニケーションの特徴
- 提案への明確な返答
- 感謝の意の複数回の表明
- 前向きな態度の表現

4. 文化的要素
- 間接的な表現の使用
- 相手への配慮を示す表現
- 謙虚な姿勢の維持
</分析>

<回答>
このメールは、ビジネスメールの模範的な例として評価できます。以下の点で特に優れています:

1. 基本構成について
本メールは、ビジネスメールの基本的な構成要素を適切に備えております。件名、宛名、本文、署名の配置が明確で、読み手に配慮した構成となっております。

2. 敬語の使用について
「お世話になっております」「ご提案いただいた」「拝見させていただきました」など、適切な敬語表現を用いており、ビジネスの場にふさわしい丁寧さを保っております。

3. 改善提案
さらに洗練させるとすれば、以下の点を考慮することをお勧めいたします:
- ミーティングの場所の確認
- 準備すべき事項の明確化
- 議題や目的の再確認

4. 実践的なアドバイス
- 重要な情報は箇条書きにして視認性を高める
- 日時の確認は太字やアンダーラインで強調する
- 返信の期限がある場合は明記する

このような形式と内容を意識することで、より効果的なビジネスコミュニケーションが実現できます。

何度もフィードバックを繰り返すことで、理想の回答を得られるようになるかと思います。

ChatGPT-4oの結果はこちら

タスク1の結果はこちら
以下は、取引先へのアポイントメント依頼メールの例文です。適宜ご状況に応じてご活用ください。

---

**件名:** 【〇〇株式会社】アポイントメントのお願い

**〇〇株式会社**  
**[取引先担当者様のお名前]** 様  

いつも大変お世話になっております。  
[あなたの会社名] の [あなたの名前] でございます。  

このたび、[ご相談したい内容・目的] について直接お話しさせていただきたく、アポイントメントのお願いでご連絡差し上げました。  
ご多忙のところ恐縮ではございますが、以下の候補日時をご検討いただけますでしょうか。  

**【候補日時】**  
1. [第1候補: 日時・時間帯]  
2. [第2候補: 日時・時間帯]  
3. [第3候補: 日時・時間帯]  

お手数ではございますが、ご都合のよい日時をご返信いただけますと幸いです。  
また、他にご都合の良い日時がございましたら、ぜひお知らせください。  

お忙しいところ恐れ入りますが、何卒よろしくお願い申し上げます。  

---  
**[あなたの名前]**  
[会社名]  
[部署名]  
[電話番号]  
[メールアドレス]  
---

ご確認の上、調整が必要な場合はご連絡ください。
タスク2の結果はこちら
**件名:** 【ミーティング日程のご返信】  

○○様  

お世話になっております。  
このたびはミーティングのご提案をいただき、誠にありがとうございます。  

早速ですが、いただきましたご候補日程の中で、**8月7日(水)17:00~18:00**にて参加が可能でございます。  
お手数をおかけしますが、当該日時でご調整いただけますと幸いです。  

また、事前にご共有いただいた資料を拝見いたしましたが、非常にまとまっており、内容が分かりやすく整理されている点が大変素晴らしいと感じました。  
当日のミーティングでさらに深くお話を伺えることを楽しみにしております。  

何かご不明点や追加でご準備いただくものがございましたら、いつでもお気軽にお知らせください。  

それでは、当日お目にかかれるのを楽しみにしております。  
引き続きよろしくお願い申し上げます。  

---

[あなたの氏名]  
[会社名]  
[部署名]  
[役職]  
[電話番号]  
[メールアドレス]  

---
タスク3の結果はこちら
**件名:** 欠勤のご連絡  

○○様  

お世話になっております。  
昨日より体調不良が続いており、本日朝からひどい頭痛がございますため、誠に恐れ入りますが、本日はお休みをいただきたくご連絡申し上げます。  

また、本日予定しておりました業務については、急なお願いで大変恐縮ですが、可能であればご対応いただけますと幸甚に存じます。  
明日は体調が回復次第出社予定でございますので、引き続きよろしくお願いいたします。  

お忙しいところご迷惑をおかけしますが、何卒よろしくお願い申し上げます。  

---

[あなたの氏名]  
[会社名]  
[部署名]  
[役職]  
[電話番号]  
[メールアドレス]  

---

なお、ベンチマークでGPT-4oを超えた、Googleの新たなGeminiモデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL
【Gemini-exp-1114】ベンチマークでGPT-4oを超えた!Googleの新たなGeminiモデル | WEEL 2024年11月15日に登場したGemini-exp-1114は、LLM Leaderboardで世界1位を獲得した最新の生成AIモデルです。Google AI Studioで無料体験可能で、多言語対応や創造性、指示...

まとめ

本記事ではAnthropicの新たな機能、Prompt Improverについて解説をしました。指示の与え方はまだまだ検証が必要になりますが、従来のプロンプトに比べ精度の高いプロンプトを作ることができますね

従来のプロンプトでもアプリやWebサービスなどを開発することはできていましたが、今後はよりクリエイティブな活動に活用できそうです。

ぜひ皆さんも活用してみてください!

最後に

いかがだったでしょうか?

「Prompt Improver」を活用することで、Claudeの性能を上げることが可能です。正確で効率的なプロンプト設計が事業成長にどう貢献するか、ぜひ貴社の課題に当てはめてご検討ください。

株式会社WEELは、自社・業務特化の効果が出るAIプロダクト開発が強みです!

開発実績として、

・新規事業室での「リサーチ」「分析」「事業計画検討」を70%自動化するAIエージェント
・社内お問い合わせの1次回答を自動化するRAG型のチャットボット
・過去事例や最新情報を加味して、10秒で記事のたたき台を作成できるAIプロダクト
・お客様からのメール対応の工数を80%削減したAIメール
・サーバーやAI PCを活用したオンプレでの生成AI活用
・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタント

などの開発実績がございます。

まずは、無料相談にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ
LLM比較レポート

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、大規模言語モデル(LLM)を対象に、言語理解能力、生成能力、応答速度の各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。

投稿者

  • 翔平

    総合病院で10年間理学療法士として勤務し、その後Pythonを独学で学びデータアナリストとして転職。趣味はキックボクシング

  • URLをコピーしました!
  • URLをコピーしました!
目次