【NVIDIAのLlama-3.1-Nemotron-70B-Instruct】Claude 3.5 SonnetやGPT-4o超える実力を検証！

!pip install transformers torch accelerate

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How many r in strawberry?"
messages = [{"role": "user", "content": prompt}]

tokenized_message = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt", return_dict=True)
response_token_ids = model.generate(tokenized_message['input_ids'].cuda(),attention_mask=tokenized_message['attention_mask'].cuda(),  max_new_tokens=4096, pad_token_id = tokenizer.eos_token_id)
generated_tokens =response_token_ids[:, len(tokenized_message['input_ids'][0]):]
generated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
print(generated_text)

# See response at top of model card

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC"
)

completion = client.chat.completions.create(
  model="nvidia/llama-3.1-nemotron-70b-instruct",
  messages=[{"role":"user","content":"Write a limerick about the wonders of GPU computing."}],
  temperature=0.5,
  top_p=1,
  max_tokens=1024,
  stream=True
)

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "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"
)

completion = client.chat.completions.create(
  model="nvidia/llama-3.1-nemotron-70b-instruct",
  messages=[{"role":"user","content":"取引先に対して、アポイントメントのメールを作成してください。"}],
  temperature=0.5,
  top_p=1,
  max_tokens=1024,
  stream=True
)

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "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"
)

completion = client.chat.completions.create(
  model="nvidia/llama-3.1-nemotron-70b-instruct",
  messages=[{"role":"user","content":"""
あなたは、優秀なビジネスマンです。以下の内容をもとに、欠勤メールの文章をリライトしてください。
#メール内容
よう！くそパイセン！　
昨日の飲み会のせいで2日酔い酷くて朝から死ぬほど頭痛いんで、会社休むわー

今日の俺の業務も代わりにやっといてー
あ、あと明日は会社行けたら行く

よろー

#条件
- 敬語を正確に使う
- 不適切な内容は排除してください。
- 悪い言葉をすべて丁寧な言葉に変える
- 文章最後に電子署名を入れる

#出力

本文：
"""}],
  temperature=0.5,
  top_p=1,
  max_tokens=1024,
  stream=True
)

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

以下は、取引先に対してアポイントメント（面会、ミーティング、会議などの約束）のためのメールのサンプルです。必要に応じて内容を調整してください。

---

件名: 【アポイントメントのお願い】[otreameeの名前/会社名]様との[面会/ミーティング/会議]のご予約

[取引先の名前]様

[取引先の会社名]
[あなたの名前]
[あなたの会社名]
[あなたの連絡先（電話番号、メールアドレス）]

お世話になっております。
[あなたの名前]です。

先日は[前回のやり取り、あるいは取引内容]に関しまして、ご多忙のところ大変お世話になりました。現在、[プロジェクト/提案/ディスカッション]の進捗にあたり、[otreameeの名前]様のご貴重なお時間をいただき、直接お話しづきに進めたいと思っております。

以下の日時で、アポイントメントのご予約をご確認いただけないでしょうか。ご都合の良い日時が異なる場合は、お気軽にご連絡いただけますと幸いです。

### アポイントメントの詳細

- **日時**：
  1. **第一希望**：[年]年[月]月[日]（[曜日]）[時間]～[時間]
  2. **第二希望**：[年]年[月]月[日]（[曜日]）[時間]～[時間]
  
- **場所**：[あなたの会社/取引先の会社/中間地点など、具体的な場所]
  - または、オンラインミーティング（[使用ツール、例：Zoom、Google Meetなど]）も可能です。ご希望に応じてご案内致します。

- **目的**：[プロジェクト/提案/ディスカッション]に関する詳細なディスカッション

- **予定時間**：約[時間]時間

ご都合の確認および、ご希望の日時・場所等がございましたら、[あなたのメールアドレス]または[あなたの電話番号]までお知らせいただければ幸いです。早めのご連絡をお待ちしております。

今後ともどうぞよろしくお願い申し上げます。

[敬具]

[あなたの名前]  
[あなたの役職]  
[あなたの会社名]  
[あなたの連絡先（電話番号、メールアドレス）]

---

**注意点：**

- **具体性**: 日時、場所、目的を具体的に記載する。
- **柔軟性**: 複数の日時オプションを提示することで、取引先のスケジュールに合わせやすくする。
- **連絡先の明示**: 迅速なご連絡が取れるよう、電話番号とメールアドレスを明記する。
- **丁寧な表現**: 丁寧な言葉遣いと礼儀を忘れない。

以下がリライトされた欠勤メールの文章です。

**件名：お休みのお願いおよび業務の代行のお願い**

お世話になっております。

先日のお礼を兼ねた飲み会の影響で、現在二日酔いの症状が強く、朝から頭痛がひどくお休みをいただきたく存じます。

本日予定していた業務について、ご代行いただけないでしょうか。

また、明日については体調が回復した場合、出勤いたします。

ご不便おかけしますことをお詫び申し上げます。

**敬具**

【電子署名】

*   **名前**：【ご自身の名前】
*   **所属**：【ご自身の所属部署・会社】
*   **連絡先**：【ご自身の連絡先（メールアドレス、電話番号など）】

以下は、取引先に送るアポイントメントのメールのサンプルです。ご参考ください。

件名: 【○○株式会社】面談のご依頼

○○株式会社
（担当者名）様

いつも大変お世話になっております。△△株式会社の（あなたの名前）です。

貴社の製品／サービスについて、弊社と貴社の今後の協業に関してお話をさせていただきたく、ご都合のよろしい日時でアポイントメントをお願いできればと存じます。

つきましては、以下の日程にて面談の候補日をご提案させていただきます。

【面談候補日】

○月○日（○曜日）○時～○時
○月○日（○曜日）○時～○時
○月○日（○曜日）○時～○時
上記日程の中でご都合がつかない場合は、他の日程もご調整可能ですので、ご希望をお知らせください。

また、面談はオンライン（Zoom／Teamsなど）での実施も可能ですので、その旨もご希望があればご連絡ください。

お忙しいところ恐れ入りますが、何卒よろしくお願い申し上げます。

敬具

△△株式会社
（あなたの名前）
電話番号: xxx-xxxx-xxxx
メールアドレス: xxx@xxxx.com

件名: 【欠勤のご連絡】

○○（上司の名前）様

お疲れ様です。○○（あなたの名前）です。

昨日の飲み会の影響で、今朝から体調不良が続いており、頭痛がひどいため、本日はお休みをいただきたく存じます。大変恐縮ではございますが、本日の私の担当業務につきましては、対応いただけますと幸いです。

また、明日には体調が回復する予定ですが、状況次第でご連絡させていただきます。

お忙しいところ申し訳ございませんが、どうぞよろしくお願い申し上げます。

敬具

○○（あなたの名前）
△△株式会社
電話番号: xxx-xxxx-xxxx
メールアドレス: xxx@xxxx.com

件名: ミーティングのお願い

○○株式会社
△△部
□□様

いつもお世話になっております。
○○株式会社の××でございます。

突然のご連絡で恐縮ですが、下記の件についてお打ち合わせをさせていただきたく、ご連絡いたしました。

【議題】
・今後の取引について
・新規プロジェクトの提案

つきましては、以下の日程でお時間をいただけますでしょうか。

第一候補：○月○日（○） 14:00～15:00
第二候補：○月○日（○） 10:00～11:00
第三候補：○月○日（○） 16:00～17:00

ご都合のよろしい日時をお知らせいただけますと幸いです。
また、オンラインミーティングでも構いませんので、ご希望がございましたらお申し付けください。

ご多忙中誠に恐れ入りますが、ご検討のほどよろしくお願い申し上げます。

━━━━━━━━━━━━━━━━━━━━━━━━
○○株式会社
××部 ××
TEL: 03-XXXX-XXXX
Email: xxxx@xxxx.co.jp
━━━━━━━━━━━━━━━━━━━━━━━━

件名: 本日の欠勤のご連絡

拝啓　○○部長

いつもお世話になっております。
△△部の□□でございます。

誠に恐れ入りますが、体調不良のため、本日は欠勤させていただきたくご連絡申し上げます。

大変申し訳ございませんが、本日予定しておりました業務につきましては、代理の方にお願いできますと幸いです。

なお、明日の出社につきましては、体調の回復状況を見て判断させていただき、改めてご連絡させていただきます。

ご迷惑をおかけして誠に申し訳ございません。
何卒よろしくお願い申し上げます。

敬具

━━━━━━━━━━━━━━━━━━━━━━━━
○○株式会社
△△部 □□ ××
TEL: 03-XXXX-XXXX
Email: xxxx@xxxx.co.jp
━━━━━━━━━━━━━━━━━━━━━━━━