【日本語版LLM】東大松尾研のWeblab-10b、使い方・実践をまとめて解説

pip install transformers

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("matsuo-lab/weblab-10b-instruction-sft")
model = AutoModelForCausalLM.from_pretrained("matsuo-lab/weblab-10b-instruction-sft")

# VRAMがクラッシュしたので、コメントアウト
# if torch.cuda.is_available():
#   model = model.to("cuda")

# if torch.cuda.is_available():
#   model = model.to("cuda")

text = 
# プロンプト
"""以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
大規模言語モデルについて説明してください。

### 応答:
"""


token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=100,
        do_sample=True,
        temperature=0.5,
        top_p=0.9,
        # 以下3つがないためコメントアウト
        # pad_token_id=tokenizer.pad_token_id,
        # bos_token_id=tokenizer.bos_token_id,
        # eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

        # 以下3つがないためコメントアウト
        # pad_token_id=tokenizer.pad_token_id,
        # bos_token_id=tokenizer.bos_token_id,
        # eos_token_id=tokenizer.eos_token_id

print(tokenizer.pad_token_id)
print(tokenizer.bos_token_id)
print(tokenizer.eos_token_id)

text = 
# プロンプト
"""以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
大規模言語モデルについて説明してください。

### 応答:
"""

token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=650,
        do_sample=True,
        temperature=0.5,
        top_p=0.9,
        # 以下3つがないためコメントアウト
        # pad_token_id=tokenizer.pad_token_id,
        # bos_token_id=tokenizer.bos_token_id,
        # eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
大規模言語モデルについて説明してください。

### 応答:
大規模言語モデルは、複数の言語を対象とするコンピュータモデルであり、複雑な言語モデルを構築するために使用される。
大規模言語モデルは、言語の特徴の分析、言語の翻訳、および言語の生成に使用できる。
大規模言語モデルは、テキストの分析、テキストの生成、およびテキストの分類などのタスクに使用できる。
大規模言語モデルは、大規模なテキストデータセットを分析するために使用でき、大量のデータを処理して、言語の特徴を理解することができる。

大規模言語モデルは、自然言語処理の分野で広く使用されている人工知能モデルの一種です。
このモデルは、大量のテキストデータを使用して、文脈のある応答を生成することができます。
大規模言語モデルは、言語の理解、文章の作成、応答の作成など、さまざまなタスクに使用できます。

大規模言語モデルは、数十億から数兆のパラメータを持つ深層学習モデルの一種で、
テキストデータの大量のサンプルを使用して訓練されます。
これらのモデルは、テキスト生成、文章の補完、質問応答、翻訳などのタスクにおいて高い性能を発揮することができます。

大規模言語モデルの主な特徴は以下の通りです：
1. **膨大なデータセットでの訓練**: 
これらのモデルは、ウェブページ、書籍、記事などの大量のテキストデータを使用して訓練されます。
2. **転移学習の利用**: 
一度大量のデータで事前訓練されたモデルは、特定のタスクに特化してさらに訓練することができます。
これにより、少量のデータでも高い性能を達成することが可能です。
3. **多様な応用**: 
言語モデルは、テキスト生成、文章の補完、質問応答、翻訳だけでなく、
感情分析や文章の要約など、多岐にわたるタスクに適用することができます。

OpenAIのGPTシリーズやGoogleのBERTは、大規模言語モデルの代表的な例として知られています。
これらのモデルは、自然言語処理の分野において革命的な進歩をもたらし、多くの応用例が生まれています。