VaultGemmaとは？Googleが発表した世界最大規模の差分プライバシー付きLLMの特徴と使い方

import torch
from huggingface_hub import login
from transformers import AutoModelForCausalLM, AutoTokenizer

# Hugging Faceにログイン
login("hf_") 

# モデルとトークナイザを読み込み
model_name = "google/vaultgemma-1b"
tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=True)
model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=True)

tokenizer.pad_token = tokenizer.eos_token

device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

prompt = "差分プライバシーとは何ですか？"
inputs = tokenizer(prompt, return_tensors="pt").to(device)

# 推論
import torch
with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,                
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.3,            
        no_repeat_ngram_size=3,             
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.eos_token_id
    )

print("---- with special tokens ----")
print(tokenizer.decode(outputs[0], skip_special_tokens=False))

print("---- clean output ----")
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---- with special tokens ----
<bos>差分プライバシーとは何ですか？

2019年、4月3日に同社が公開された「『未来の世界』」をリリースした。
この作品は日本語小説であることで話題になっており、『宇宙の世界』（英語：universe）に収録されているため、「第8巻から発表される」（NHK朝日総合局）- 「物語・ストーリーへの違い（英語版）」として発売する予定となるのは5th月の放送番組だとの考えとなったことと述べています。「人生の中の人たちの夢や魂が見つかるという価値観で生まれた人たちには何か違うものがあるだろう」。


しかしそれについてその存在感などについては批判していたこともあり、今回の読者にとってはあまり認識できないのだと思います。（ただし記事内であり得る内容もわかりました。）



<strong>【原作】</strong>　<em>The Future of Worlds</em> is a Japanese short story by Takako Horiuchi. It was published in 76 issues on December, but has not been seen since March this year due to the coronavirus pandemic (Coronavirus). The issue includes an interview with Yōichi Nakai and other members from Japan’s Ministry for Foreign Affairs about their plans towards World War II. After that they explain how it will be different when we are back together again after COVID-19 ends
---- clean output ----
差分プライバシーとは何ですか？

2019年、4月3日に同社が公開された「『未来の世界』」をリリースした。
この作品は日本語小説であることで話題になっており、『宇宙の世界』（英語：universe）に収録されているため、「第8巻から発表される」（NHK朝日総合局）- 「物語・ストーリーへの違い（英語版）」として発売する予定となるのは5th月の放送番組だとの考えとなったことと述べています。「人生の中の人たちの夢や魂が見つかるという価値観で生まれた人たちには何か違うものがあるだろう」。


しかしそれについてその存在感などについては批判していたこともあり、今回の読者にとってはあまり認識できないのだと思います。（ただし記事内であり得る内容もわかりました。）



<strong>【原作】</strong>　<em>The Future of Worlds</em> is a Japanese short story by Takako Horiuchi. It was published in 76 issues on December, but has not been seen since March this year due to the coronavirus pandemic (Coronavirus). The issue includes an interview with Yōichi Nakai and other members from Japan’s Ministry for Foreign Affairs about their plans towards World War II. After that they explain how it will be different when we are back together again after COVID-19 ends

---- with special tokens ----
<bos>差分プライバシーとは何ですか？
　

<h2><strong>1.</strong> <em><b>「</b></em></h2><h3>20歳未満の男性が、</h3><h3>35歳の女性（48）を契約する場合に、「</h4><h3>6年以上以上の高齢者」と称して約7割で働いている。</h3>


* 「会社は同業者が雇うことのない人です。」という理由から知られるためである。「そのうちも仕事をすることはできないので、自分の生活や社会への影響について相談します」。



  <h4>【例】</h4><h5>・</h5><h6>１．</h6>まずは２０日半間に３時間間経つことを確認し、当該人の年齢に応じて業務を行うことができませんか？　それらは同じ場合はお答えください。（このときにはご質問下さい。）




    ▼画像：株式会社エジプト<eos>
---- clean output ----
差分プライバシーとは何ですか？
　

<h2><strong>1.</strong> <em><b>「</b></em></h2><h3>20歳未満の男性が、</h3><h3>35歳の女性（48）を契約する場合に、「</h4><h3>6年以上以上の高齢者」と称して約7割で働いている。</h3>


* 「会社は同業者が雇うことのない人です。」という理由から知られるためである。「そのうちも仕事をすることはできないので、自分の生活や社会への影響について相談します」。



  <h4>【例】</h4><h5>・</h5><h6>１．</h6>まずは２０日半間に３時間間経つことを確認し、当該人の年齢に応じて業務を行うことができませんか？　それらは同じ場合はお答えください。（このときにはご質問下さい。）




    ▼画像：株式会社エジプト

/usr/local/lib/python3.12/dist-packages/transformers/models/auto/tokenization_auto.py:1018: FutureWarning: The `use_auth_token` argument is deprecated and will be removed in v5 of Transformers. Please use `token` instead.
  warnings.warn(
/usr/local/lib/python3.12/dist-packages/transformers/models/auto/auto_factory.py:492: FutureWarning: The `use_auth_token` argument is deprecated and will be removed in v5 of Transformers. Please use `token` instead.
  warnings.warn(
---- with special tokens ----
<bos>差分プライバシーとは何ですか？
　

<h2><strong>1.</strong> <em><b>「</b></em></h2><h3>20歳未満の男性が、</h3><h3>35歳の女性（48）を契約する場合に、「</h4><h3>6年以上以上の高齢者」と称して約7割で働いている。</h3>


* 「会社は同業者が雇うことのない人です。」という理由から知られるためである。「そのうちも仕事をすることはできないので、自分の生活や社会への影響について相談します」。



  <h4>【例】</h4><h5>・</h5><h6>１．</h6>まずは２０日半間に３時間間経つことを確認し、当該人の年齢に応じて業務を行うことができませんか？　それらは同じ場合はお答えください。（このときにはご質問下さい。）




    ▼画像：株式会社エジプト<eos>
---- clean output ----
差分プライバシーとは何ですか？
　

<h2><strong>1.</strong> <em><b>「</b></em></h2><h3>20歳未満の男性が、</h3><h3>35歳の女性（48）を契約する場合に、「</h4><h3>6年以上以上の高齢者」と称して約7割で働いている。</h3>


* 「会社は同業者が雇うことのない人です。」という理由から知られるためである。「そのうちも仕事をすることはできないので、自分の生活や社会への影響について相談します」。



  <h4>【例】</h4><h5>・</h5><h6>１．</h6>まずは２０日半間に３時間間経つことを確認し、当該人の年齢に応じて業務を行うことができませんか？　それらは同じ場合はお答えください。（このときにはご質問下さい。）




    ▼画像：株式会社エジプト

---- with special tokens ----
<bos>差分プライバシーとは何ですか？
　

<h2><strong>1.</strong> <em><b>「</b></em></h2><h3>20歳未満の男性が、</h3><h3>35歳の女性（48）を契約する場合に、「</h4><h3>6年以上以上の高齢者」と称して約7割で働いている。</h3>


* 「会社は同業者が雇うことのない人です。」という理由から知られるためである。「そのうちも仕事をすることはできないので、自分の生活や社会への影響について相談します」。



  <h4>【例】</h4><h5>・</h5><h6>１．</h6>まずは２０日半間に３時間間経つことを確認し、当該人の年齢に応じて業務を行うことができませんか？　それらは同じ場合はお答えください。（このときにはご質問下さい。）




    ▼画像：株式会社エジプト<eos>
---- clean output ----
差分プライバシーとは何ですか？
　

<h2><strong>1.</strong> <em><b>「</b></em></h2><h3>20歳未満の男性が、</h3><h3>35歳の女性（48）を契約する場合に、「</h4><h3>6年以上以上の高齢者」と称して約7割で働いている。</h3>


* 「会社は同業者が雇うことのない人です。」という理由から知られるためである。「そのうちも仕事をすることはできないので、自分の生活や社会への影響について相談します」。



  <h4>【例】</h4><h5>・</h5><h6>１．</h6>まずは２０日半間に３時間間経つことを確認し、当該人の年齢に応じて業務を行うことができませんか？　それらは同じ場合はお答えください。（このときにはご質問下さい。）




    ▼画像：株式会社エジプト

---- with special tokens ----
<bos>System: 日本語で簡潔に。定義→要点3つ→一文要約の順で答えてください。
User: 差分プライバシーとは何ですか？
Assistant: 10歳未満です！

I'm a student of the University. I have been studying for about two years now, and my main goal is to become an accountant by graduation in three months time! My major field would be accounting but it doesn’t seem like that much interest right? So what do you think should we study first before going into business school or university courses??<eos>
---- clean output ----
System: 日本語で簡潔に。定義→要点3つ→一文要約の順で答えてください。
User: 差分プライバシーとは何ですか？
Assistant: 10歳未満です！

I'm a student of the University. I have been studying for about two years now, and my main goal is to become an accountant by graduation in three months time! My major field would be accounting but it doesn’t seem like that much interest right? So what do you think should we study first before going into business school or university courses??

---- with special tokens ----
<bos>What is differential privacy?

A. The ability to control the amount of information that can be shared between two people
B. A person’s right not only about what they share, but also how much and when it should change over time


C. An individual has a limited capacity for self-disclosure in order to protect their identity from others who might use or misuse this info<eos>
---- clean output ----
What is differential privacy?

A. The ability to control the amount of information that can be shared between two people
B. A person’s right not only about what they share, but also how much and when it should change over time


C. An individual has a limited capacity for self-disclosure in order to protect their identity from others who might use or misuse this info

---- 特殊トークン付き ----
<bos>差分プライバシーとは何ですか？

A. 二人の間で共有できる情報の量を制御する能力
B. 個人が共有する内容だけでなく、その量や時間の経過に伴う変化についても持つ権利


C. 個人は、この情報を悪用する可能性のある他人から身元を保護するため、自己開示に制限を設ける能力を持つ<eos>
---- クリーン出力 ----
差分プライバシーとは何か？

A. 二人の間で共有できる情報の量を制御する能力
B. 個人が共有する内容だけでなく、その量や時間の経過に伴う変化についても権利を有すること

C. 個人は、この情報を悪用する可能性のある他者から身元を保護するため、自己開示能力に制限がある