【Phi 3.5・mini instruct】MicrosoftのLLMの性能をGPT-4oと徹底比較してみた

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/Phi-3.5-vision-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    trust_remote_code=True,
    torch_dtype="auto",
    _attn_implementation='flash_attention_2'
)

messages = [
    {"role": "system", "content": "あなたは優秀なアシスタントです。"},
    {"role": "user", "content": "取引先に対して、アポイントメントのメールを作成してください。"}
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(prompt, return_tensors="pt").to("cuda:0")

generation_args = {
    "max_new_tokens": 500,
    "temperature": 0.7,
    "do_sample": True,
}

generate_ids = model.generate(**inputs,
  eos_token_id=tokenizer.eos_token_id,
  **generation_args
)

response = tokenizer.batch_decode(generate_ids,
  skip_special_tokens=True,
  clean_up_tokenization_spaces=False)[0]

print(response)

取引先に対して、アポイントメントのメールを作成してください。 
 件名：迅速な対応をお願いする - [取引先の名前]

親愛なる[取引先の名前],

こんにちは、[あなたの名前]と申します。取引先の皆様の取引において、私たちとの関係の重要性に加えて、私たちのビジネスにおいても重要な役割を果たしているという理解を持っており、今回はあなたの支援を必要としていることを知っています。

この取引の進行中に、あなたに対して進行中の問題が発生したことを知らせていただき、ご責任でご心配いただき、この取引の成功を担っていただき、あなたの支援が必要な場合があることを知らせてください。

今後も迅速な対応をお願い申し上げることができます。あなたの取引における私たちのサポートについてのご連絡をお知らせください。

敬具
[あなたの名前]
[あなたの住所]
[あなたの電話番号]
[あなたのアドレスメール]
[あなたの経済会社名]

件名: 【御社名】様とのアポイントメントのご依頼

【担当者名】様

お世話になっております。
【あなたの会社名】の【あなたの名前】でございます。

この度は、御社の【商談内容やプロジェクト名】に関して、直接お話しさせていただく機会を頂ければと思い、ご連絡差し上げました。
貴社のご都合の良い日時をご教示いただけますと幸いです。
私どもとしては、下記の日程が候補としてございます。

【候補日1】（例：8月25日（木）午後2時〜）
【候補日2】（例：8月26日（金）午前10時〜）
【候補日3】（例：8月29日（月）午後1時〜）
上記の日程以外でも、柔軟に調整可能ですので、お手数をおかけいたしますが、ご都合の良い時間帯をお知らせください。

お忙しいところ恐縮ですが、何卒よろしくお願い申し上げます。

敬具

【あなたの名前】
【あなたの会社名】
【連絡先情報（電話番号、メールアドレスなど）】

from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor
import torch

model_id = "microsoft/Phi-3.5-vision-instruct"

# モデルのロード
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    trust_remote_code=True,
    torch_dtype="auto",
    _attn_implementation='flash_attention_2'
)

# プロセッサのロード（シングルフレームの場合はnum_crops=16に設定）
processor = AutoProcessor.from_pretrained(
    model_id,
    trust_remote_code=True,
    num_crops=16
)

# 画像の読み込み
image = Image.open("/content/スクリーンショット 2024-08-22 21.00.49.png")

# メッセージの作成
messages = [
    {"role": "user", "content": "<|image_1|>\n画像を要約してください."},
]

# チャットテンプレートの適用
prompt = processor.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# 入力の処理
inputs = processor(text=prompt, images=image, return_tensors="pt").to("cuda:0")

# 生成パラメータ
generation_args = {
    "max_new_tokens": 1000,
    "temperature": 0.0,
    "do_sample": False,
}

# 生成
with torch.no_grad():
    generate_ids = model.generate(
        **inputs,
        eos_token_id=processor.tokenizer.eos_token_id,
        **generation_args
    )

# 入力トークンを削除
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(
    generate_ids,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False
)[0]

print(response)

1枚目の画像
The image captures a large, curved rock formation with a series of horizontal stripes in shades of brown and black. The formation is set against a clear blue sky with a few clouds. The rock appears to be part of a larger landscape, possibly a desert or arid region.

和訳：画像は、茶色と黒の濃淡の横縞が連なる、大きく湾曲した岩層をとらえている。この地層は、雲も少しある澄み切った青空を背景にしている。この岩は、おそらく砂漠か乾燥地帯と思われる大きな風景の一部に見える。

2枚目の画像
The image contains two sections. The top section is titled 'ENVIRONMENTAL ISSUES' and lists various environmental concerns associated with LLMs and generative AI, such as cost, CPU/GPU requirements, use of rare metals, carbon emissions, and the need for natural resources. The bottom section is titled 'How to provide Enterprise grade answers' and outlines a process flow for creating and verifying answers using AI, including steps like creating an index, getting context, building an answer, and verifying sub-answers. The process flow is depicted in a flowchart with arrows indicating the sequence of steps

和訳：画像には2つのセクションがある。上のセクションは「ENVIRONMENTAL ISSUES（環境問題）」と題され、コスト、CPU/GPU要件、希少金属の使用、炭素排出、天然資源の必要性など、LLMや生成AIに関連するさまざまな環境問題を挙げている。一番下のセクションは「How to provide Enterprise grade answers（エンタープライズグレードの回答を提供する方法）」と題され、インデックスを作成し、コンテキストを取得し、回答を構築し、サブ回答を検証するといったステップを含む、AIを使用して回答を作成し、検証するためのプロセスフローを概説している。プロセスの流れは、ステップの順序を矢印で示したフローチャートで描かれている。

!pip install flash_attn==2.5.8 torch==2.3.1 accelerate==0.31.0 transformers==4.43.0

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}

output = pipe(messages, **generation_args)
print(output[0]['generated_text'])

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

# モデルとトークナイザーのロード
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

# 翻訳用のプロンプトを生成
input_text = "今日はとてもいい天気ですね。"
languages = ["English", "Italian", "French"]

messages = [
    {"role": "system", "content": "You are a helpful AI assistant specialized in translation."},
    {"role": "user", "content": f"Translate the following Japanese text into {', '.join(languages)}: {input_text}"}
]

# パイプラインの設定
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}

# 翻訳を実行
output = pipe(messages, **generation_args)

# 結果を表示
print(output[0]['generated_text'])

English: Today is very nice weather, isn't it?
Italian: Oggi ha un molto bel tempo, vero?
French: Aujourd'hui il fait très beau temps, n'est-ce pas?

Here are the translations of "今日はとてもいい天気ですね" (It's such nice weather today) in English, Italian, and French:

English: It's such a beautiful day today. (More natural than a literal translation) or The weather is lovely today. or It's a beautiful day today.

Italian: Che bella giornata oggi! (This is the most natural and common way to say it.) or Fa un tempo splendido oggi. (More formal)

French: Il fait un beau temps aujourd'hui. (This is the most common and natural way to say it). or Quelle belle journée ! (This emphasizes the beauty of the day more than the weather itself.)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

# モデルとトークナイザーのロード
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

# 要約する日本語長文ニュース
input_text = """
本日、政府は新たな経済対策を発表しました。この対策には、中小企業向けの補助金、
再生可能エネルギーへの投資促進、そして所得税の一部減税が含まれています。
専門家はこれが経済成長に寄与すると期待していますが、一部では財源確保の課題も指摘されています。
この経済対策は、来年度の予算案に盛り込まれる予定です。
さらに、地方自治体向けの特別支援プログラムや、インフラ整備の加速も含まれています。
政府関係者によれば、これらの措置は地域経済の活性化を目的とし、雇用創出に大きく貢献する見込みです。
一方で、これらの対策が国際市場に与える影響についても注目が集まっています。
また、政府は教育分野への投資も発表しており、新たな奨学金プログラムや学校施設の改善が含まれています。
これにより、若者の教育機会が拡大し、長期的な人材育成に寄与することが期待されています。
さらに、環境保護に向けた取り組みとして、森林再生プロジェクトや海洋プラスチック削減計画も含まれています。
これらの政策は、国際的な協力を強化し、日本の環境目標を達成するための重要なステップとされています。
さらに、政府は医療分野にも注力しており、高齢化社会に対応するための新しい医療施設の建設や、
医療従事者の育成プログラムが含まれています。この取り組みは、地域医療の充実を図ることを目的としています。
また、観光業を活性化するための新たなプロモーションキャンペーンや、インバウンド需要に対応するための
インフラ整備が計画されています。これにより、観光業が地域経済の柱としてさらに成長することが期待されています。
加えて、政府はデジタルトランスフォーメーションを推進し、全国的なインターネット環境の改善や、
中小企業のデジタル化支援を進めています。これらの施策は、経済全体の効率性を向上させ、
国際競争力を強化する狙いがあります。
最後に、これらの対策を実行する上での課題として、財政負担の増大や、それに伴う国民の理解を
得るための努力が必要とされています。
"""

# プロンプトの作成
messages = [
    {"role": "system", "content": "You are a helpful AI assistant specialized in summarization."},
    {"role": "user", "content": f"Summarize the following Japanese news article: {input_text}"}
]

# パイプラインの設定
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 200,
    "return_full_text": False,
    "temperature": 0.7,
    "do_sample": True,
}

# 要約を実行
output = pipe(messages, **generation_args)

# 結果を表示
print("要約:", output[0]['generated_text'])

要約:  政府は新たな経済対策を発表し、中小企業向けの補助金、再生可能エネルギーへの投資促進、所得税の一部減税などが含まれており、来年度の予算案に盛り込まれる予定です。これらの措置は地域経済の活性化と雇用創出を目指しており、国際市場への影響も注視されています。教育分野への投資と環境保

政府は新たな経済対策を発表。中小企業補助金、再生可能エネルギー投資促進、所得税減税などを柱に、地域経済活性化、雇用創出、そして教育・医療・環境・観光・デジタル化への投資を盛り込んだ。経済成長への期待感がある一方、財源確保や国際市場への影響が課題となる。来年度予算案に計上予定。