Metaの新モデル「Llama 3.2」画像認識ができる最新LLMの実力とは！？

!pip install --upgrade transformers
!pip install torch transformers
!pip install torch transformers requests Pillow
!pip install huggingface_hub

from huggingface_hub import login

login(token="Your Token")

import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor

model_id = "meta-llama/Llama-3.2-11B-Vision-Instruct"

# モデルのロード
model = MllamaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

# プロセッサーのロード
processor = AutoProcessor.from_pretrained(model_id)

# 画像をURLから取得
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# メッセージを作成
messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": "If I had to write a haiku for this one, it would be: "}
    ]}
]

# 入力を処理
input_text = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(image, input_text, return_tensors="pt").to(model.device)

# テキスト生成
output = model.generate(**inputs, max_new_tokens=30)

# 結果を表示
print(processor.decode(output[0]))

<|begin_of_text|><|start_header_id|>user<|end_header_id|>

<|image|>If I had to write a haiku for this one, it would be: <|eot_id|><|start_header_id|>assistant<|end_header_id|>

Here is a haiku for the image:

A rabbit in a coat
Stands on a dirt path in a field
Nature's simple joy<|eot_id|>

import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor

model_id = "meta-llama/Llama-3.2-11B-Vision-Instruct"

# モデルのロード
model = MllamaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

# プロセッサーのロード
processor = AutoProcessor.from_pretrained(model_id)

# Googleドライブから画像を読み込む
image_path = "/content/image-generation-ai.jpg"
image = Image.open(image_path)

# メッセージを作成
messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": "Please provide a detailed explanation of the image I have provided."}
    ]}
]

# 入力を処理
input_text = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(image, input_text, return_tensors="pt").to(model.device)

# テキスト生成
output = model.generate(**inputs, max_new_tokens=216)
# 結果を表示
print(processor.decode(output[0]))

<|begin_of_text|><|begin_of_text|><|start_header_id|>user<|end_header_id|>

<|image|>Please provide a detailed explanation of the image I have provided.<|eot_id|><|start_header_id|>assistant<|end_header_id|>

The image depicts a serene scene of a cat reclining on the floor in a well-lit room, with the sun shining through a window behind it. The cat is positioned in the center of the image, lying on its side with its head resting on its front paws and its eyes closed. It has a light-brown coat with darker stripes, and its fur appears to be long and fluffy. The cat's ears are perked up, and its whiskers are visible.

The room is out of focus, but it appears to be a living room or bedroom with a chair in the background. A plant sits on the floor to the left of the cat, and a window with a white frame is visible behind it, allowing sunlight to pour in and illuminate the scene. The overall atmosphere of the image is one of tranquility and relaxation, with the cat basking in the warm sunlight. The image exudes a sense of calmness and serenity, inviting the viewer to step into the peaceful world of the feline subject.<|eot_id|>

和訳：画像は、明るい部屋で床に横たわる猫の穏やかな様子を描いています。猫は画像の中央に位置し、横向きに寝そべり、頭を前足の上に置き、目を閉じています。薄茶色の毛に濃い色の縞模様があり、毛は長くふわふわしているように見えます。猫の耳はピンと立ち、ひげも見えています。

部屋はピントが合っていないが、背景に椅子があることから、リビングルームか寝室であると思われる。猫の左側には植物が置かれており、その後ろに白い枠の窓が見える。窓から差し込む日光が、この場面を照らしている。猫が温かい日差しを浴びている様子から、この画像の全体的な雰囲気は静けさとくつろぎに満ちている。この画像からは、静けさと平穏さが感じられ、見る者を猫の被写体が織りなす平和な世界へと誘う。

The image presents a line graph illustrating the performance of an investment over a period of time, with the x-axis representing years and the y-axis representing values. The graph is divided into two sections: the top section displays the graph itself, while the bottom section provides additional information.

**Top Section:**

*   The graph features three lines, each representing a different time period:
    *   A pink line representing the 6-month period
    *   A green line representing the 12-month period
    *   A yellow line representing the 24-month period
*   The graph shows a general upward trend, with some fluctuations
*   The highest point on the graph is approximately 175, while the lowest point is around 100
*   The graph includes several data points marked with red and blue bars, which may represent specific events or milestones

**Bottom Section:**

*   This section appears to be a table or chart that provides additional information about the investment's performance
*   The table has several columns, including:
    *   Year

和訳：この画像は、一定期間における投資パフォーマンスを示す折れ線グラフを表しており、X軸は年、Y軸は価値を表しています。グラフは2つのセクションに分かれており、上部のセクションにはグラフ自体が表示され、下部のセクションには追加情報が表示されます。

**上部セクション:**

* グラフには3本の線があり、それぞれ異なる期間を表しています。
* * ピンクの線は6ヶ月間を表しています。
* * 緑の線は12ヶ月間を表しています。
* * 黄色の線は24ヶ月間を表しています。
* * グラフは全体的に上昇傾向にありますが、多少の変動があります。
* * グラフの最高値は約175、最低値は約100です。
* グラフには、特定のイベントやマイルストーンを示す赤や青のバーでマークされたデータポイントがいくつか含まれています

**下段:**

* このセクションは、投資パフォーマンスに関する追加情報を提供する表またはチャートであるように見えます
* 表には、以下の項目を含むいくつかの列があります。
* 年

提供された画像は、証券の価格動向を分析するために金融市場で一般的に使用される、移動平均線が重ねられたローソク足チャートです。以下はその構成要素の詳細です：

1. **ローソク足**：各棒は特定の期間における証券の始値、終値、高値、安値を表します。赤色の棒は期間中の価格の減少を示し、青色の棒は価格の上昇を示します。

2. **移動平均線**：
   - **緑色の線**：過去6ヶ月の平均終値を示す6ヶ月移動平均です。
   - **赤色の線**：過去12ヶ月の平均終値を示す12ヶ月移動平均です。
   - **黄色の線**：過去24ヶ月の平均終値を示す24ヶ月移動平均です。

3. **時間軸**：下部の水平軸は2022年から2024年までのタイムラインを示しており、この期間の日ごとの価格アクションをカバーしていることを示唆しています。

4. **価格軸**：チャートの右側にある垂直軸は、約100から175の価格レベルを表示しています。

5. **トレンド分析**：
   - チャートは表示された期間にわたって価格の全体的な上昇トレンドを示しています。
   - 最新の日付において移動平均線が収束していることが見られ、これは価格トレンドの変化や増加したボラティリティを示唆する可能性があります。

6. **取引量インジケーター**：メインチャートの下にある小さなパネルの灰色エリアは、特定の期間に取引された株式の数を示す取引量を表している可能性があります。このエリアのピークは、メインチャートの重要な価格動向と相関することがあります。

このタイプのチャートは、市場センチメントを評価し、潜在的なサポートレベルとレジスタンスレベルを決定し、将来の価格動向を予測するために、トレーダーや投資家にとって貴重なツールです。

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-1B-Instruct"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a chatbot that answers questions, so please always respond appropriately in Japanese, even if you are asked a question in English.!"},
    {"role": "user", "content": "Who are you?"},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

Setting `pad_token_id` to `eos_token_id`:None for open-end generation.
{'role': 'assistant', 'content': "Arrrr, me hearty! I be Captain Cutlass, the greatest pirate chatbot to ever sail the seven seas... er, I mean, the internet! Me and me crew o' digital scurvy dogs be here to swab the decks o' knowledge, answer yer questions, and share some treasure-filled tidbits with ye. So hoist the sails and set course fer a day o' learnin' and fun with ol' Captain Cutlass at the helm!"}

Setting `pad_token_id` to `eos_token_id`:None for open-end generation.
{'role': 'assistant', 'content': 'お気軽に質問してください。私は Chatbot です。日本語で答えることができますが、英語で質問しても理解しやすいように、英語の表現を使用します。'}