軽量なのに高性能！Phi 3.5 mini instructの驚異的な実力を徹底解説！

!pip install flash_attn==2.5.8 torch==2.3.1 accelerate==0.31.0 transformers==4.43.0

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}

output = pipe(messages, **generation_args)
print(output[0]['generated_text'])

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

# モデルとトークナイザーのロード
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

# 翻訳用のプロンプトを生成
input_text = "今日はとてもいい天気ですね。"
languages = ["English", "Italian", "French"]

messages = [
    {"role": "system", "content": "You are a helpful AI assistant specialized in translation."},
    {"role": "user", "content": f"Translate the following Japanese text into {', '.join(languages)}: {input_text}"}
]

# パイプラインの設定
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}

# 翻訳を実行
output = pipe(messages, **generation_args)

# 結果を表示
print(output[0]['generated_text'])

English: Today is very nice weather, isn't it?
Italian: Oggi ha un molto bel tempo, vero?
French: Aujourd'hui il fait très beau temps, n'est-ce pas?

Here are the translations of "今日はとてもいい天気ですね" (It's such nice weather today) in English, Italian, and French:

English: It's such a beautiful day today. (More natural than a literal translation) or The weather is lovely today. or It's a beautiful day today.

Italian: Che bella giornata oggi! (This is the most natural and common way to say it.) or Fa un tempo splendido oggi. (More formal)

French: Il fait un beau temps aujourd'hui. (This is the most common and natural way to say it). or Quelle belle journée ! (This emphasizes the beauty of the day more than the weather itself.)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

# モデルとトークナイザーのロード
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

# 要約する日本語長文ニュース
input_text = """
本日、政府は新たな経済対策を発表しました。この対策には、中小企業向けの補助金、
再生可能エネルギーへの投資促進、そして所得税の一部減税が含まれています。
専門家はこれが経済成長に寄与すると期待していますが、一部では財源確保の課題も指摘されています。
この経済対策は、来年度の予算案に盛り込まれる予定です。
さらに、地方自治体向けの特別支援プログラムや、インフラ整備の加速も含まれています。
政府関係者によれば、これらの措置は地域経済の活性化を目的とし、雇用創出に大きく貢献する見込みです。
一方で、これらの対策が国際市場に与える影響についても注目が集まっています。
また、政府は教育分野への投資も発表しており、新たな奨学金プログラムや学校施設の改善が含まれています。
これにより、若者の教育機会が拡大し、長期的な人材育成に寄与することが期待されています。
さらに、環境保護に向けた取り組みとして、森林再生プロジェクトや海洋プラスチック削減計画も含まれています。
これらの政策は、国際的な協力を強化し、日本の環境目標を達成するための重要なステップとされています。
さらに、政府は医療分野にも注力しており、高齢化社会に対応するための新しい医療施設の建設や、
医療従事者の育成プログラムが含まれています。この取り組みは、地域医療の充実を図ることを目的としています。
また、観光業を活性化するための新たなプロモーションキャンペーンや、インバウンド需要に対応するための
インフラ整備が計画されています。これにより、観光業が地域経済の柱としてさらに成長することが期待されています。
加えて、政府はデジタルトランスフォーメーションを推進し、全国的なインターネット環境の改善や、
中小企業のデジタル化支援を進めています。これらの施策は、経済全体の効率性を向上させ、
国際競争力を強化する狙いがあります。
最後に、これらの対策を実行する上での課題として、財政負担の増大や、それに伴う国民の理解を
得るための努力が必要とされています。
"""

# プロンプトの作成
messages = [
    {"role": "system", "content": "You are a helpful AI assistant specialized in summarization."},
    {"role": "user", "content": f"Summarize the following Japanese news article: {input_text}"}
]

# パイプラインの設定
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 200,
    "return_full_text": False,
    "temperature": 0.7,
    "do_sample": True,
}

# 要約を実行
output = pipe(messages, **generation_args)

# 結果を表示
print("要約:", output[0]['generated_text'])

要約:  政府は新たな経済対策を発表し、中小企業向けの補助金、再生可能エネルギーへの投資促進、所得税の一部減税などが含まれており、来年度の予算案に盛り込まれる予定です。これらの措置は地域経済の活性化と雇用創出を目指しており、国際市場への影響も注視されています。教育分野への投資と環境保

政府は新たな経済対策を発表。中小企業補助金、再生可能エネルギー投資促進、所得税減税などを柱に、地域経済活性化、雇用創出、そして教育・医療・環境・観光・デジタル化への投資を盛り込んだ。経済成長への期待感がある一方、財源確保や国際市場への影響が課題となる。来年度予算案に計上予定。