Phi 3.5 Vision Instructとは？特徴・性能・活用法を徹底解説！

!pip install flash_attn==2.5.8 numpy==1.24.4 Pillow==10.3.0 Requests==2.31.0 torch==2.3.0 torchvision==0.18.0 transformers==4.43.0 accelerate==0.30.0

from PIL import Image
import requests
from transformers import AutoModelForCausalLM
from transformers import AutoProcessor

model_id = "microsoft/Phi-3.5-vision-instruct"

# Note: set _attn_implementation='eager' if you don't have flash_attn installed
model = AutoModelForCausalLM.from_pretrained(
  model_id,
  device_map="cuda",
  trust_remote_code=True,
  torch_dtype="auto",
  _attn_implementation='flash_attention_2'
)

# for best performance, use num_crops=4 for multi-frame, num_crops=16 for single-frame.
processor = AutoProcessor.from_pretrained(model_id,
  trust_remote_code=True,
  num_crops=4
)

images = []
placeholder = ""

# Note: if OOM, you might consider reduce number of frames in this example.
for i in range(1,20):
    url = f"https://image.slidesharecdn.com/azureintroduction-191206101932/75/Introduction-to-Microsoft-Azure-Cloud-{i}-2048.jpg"
    images.append(Image.open(requests.get(url, stream=True).raw))
    placeholder += f"<|image_{i}|>\n"

messages = [
    {"role": "user", "content": placeholder+"Summarize the deck of slides."},
]

prompt = processor.tokenizer.apply_chat_template(
  messages,
  tokenize=False,
  add_generation_prompt=True
)

inputs = processor(prompt, images, return_tensors="pt").to("cuda:0")

generation_args = {
    "max_new_tokens": 1000,
    "temperature": 0.0,
    "do_sample": False,
}

generate_ids = model.generate(**inputs,
  eos_token_id=processor.tokenizer.eos_token_id,
  **generation_args
)

# remove input tokens
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(generate_ids,
  skip_special_tokens=True,
  clean_up_tokenization_spaces=False)[0]

print(response)

The diagram illustrates a process flow for supervised learning in a federated learning context. On the left side, there are two vertical columns labeled 'Source Condition' and 'Target Condition.' The 'Source Condition' column is further divided into two sections: 'Supervised Learning' and 'Barlow Twins,' while the 'Target Condition' column is divided into 'Transfer' and 'Evaluate Fault Feature Extraction.' The process starts with 'Supervised Learning' where a symbol (a square with a circle inside) is input into a block labeled 'G_s,' which then connects to a 'Supervised Cross-Entropy Loss' block. This is followed by a 'Barlow Twins' block labeled 'G_t,' which also connects to a 'Cross-Entropy Loss' block. The outputs from these blocks are then combined and fed into a 'Transfer' block labeled 'G_t,' which leads to the 'Evaluate Fault Feature Extraction' block. The 'Target Condition' column also includes a 'Transfer Weights' block that connects to the 'Transfer' block in the 'Source Condition' column. On the right side, there is a 'Federated Averaging Server' with multiple 'Client Machine' blocks, each with a unique identifier (e.g., Client Machine 1, Client Machine 2, etc.), and arrows indicating the flow of 'Only Weights Transferred' from the server to the clients. The clients are connected to the 'Federated Averaging Server' through a dashed line labeled 'Different Training Data.' The diagram also includes a feedback loop from the 'Federated Averaging Server' to the 'Client Machine' blocks, indicating the iterative nature of the process.

この図は、フェデレーテッド・ラーニングの文脈における教師あり学習のプロセスフローを示しています。 左側には、「ソース条件」と「ターゲット条件」とラベル付けされた2つの縦列があります。 「ソース条件」列はさらに「教師あり学習」と「バーロー・ツイン」の2つのセクションに分かれており、「ターゲット条件」列は「転送」と「故障特徴抽出の評価」に分かれています。処理は「Supervised Learning」から始まり、G_sとラベル付けされたブロックに記号（円形の四角形）が入力され、「Supervised Cross-Entropy Loss」ブロックに接続されます。次に「Barlow Twins」ブロックが続き、G_tとラベル付けされ、「Cross-Entropy Loss」ブロックに接続されます。これらのブロックからの出力は結合され、「G_t」とラベル付けされた「Transfer」ブロックに送られ、「Evaluate Fault Feature Extraction」ブロックにつながります。「Target Condition」列には、「Source Condition」列の「Transfer」ブロックに接続する「Transfer Weights」ブロックも含まれています。右側には、「統合平均化サーバー」があり、それぞれに固有の識別子（例えば、クライアントマシン1、クライアントマシン2など）を持つ複数の「クライアントマシン」ブロックと、サーバーからクライアントへの「転送済み重み」の流れを示す矢印があります。クライアントは、「異なるトレーニングデータ」とラベル付けされた破線を通じて「統合平均化サーバー」に接続されています。また、この図には「統合平均化サーバー」から「クライアントマシン」ブロックへのフィードバックループも含まれており、プロセスの反復的な性質を示しています。

この図は、複数のクライアントマシンとサーバーを利用したフェデレート学習（Federated Learning）のフレームワークを示しています。図の内容を以下のように説明します。

1. 学習タスク：
   - ソース運転条件 (Source Operating Condition)：まず、ソース条件におけるデータを使って、監視学習（Supervised Learning）とBarlow Twinsによる自己教師あり学習（Self-Supervised Learning, SSL）が行われます。ここで、ネットワークのモデル（Gθ）が学習され、その後、ラベル付きデータに基づいて分類損失（Cross-Entropy Loss）が計算されます。
   - ターゲット運転条件 (Target Operating Condition)：ターゲット条件で新たに発生する故障（Emerging Faults）を予測するために、事前に学習されたモデルを使用します。Barlow Twins SSLによる特徴の相関損失（Cross-Correlation Loss）が使用され、ターゲット条件に合わせた重みの転送が行われます。

2. フェデレート学習：
   - このフレームワークでは、学習データは各クライアントマシン（Client Machine 1, 2, ...）で分散しており、各マシンで学習した重み（モデルパラメータ）がサーバーに送信されます。サーバー側ではこれらの重みが平均化され（Federated Averaging）、次の学習サイクルに向けて更新されます。
   - クライアントマシン間で異なる訓練データが使用され、将来の故障（Future Emerging Faults）を予測するためのモデルが進化していきます。

3. 特徴の評価と重みの転送：
   - クライアントマシンで学習したモデルの特徴が評価され、ターゲット運転条件での適用に向けてモデルの重みが転送されます。これにより、異なる運転条件下でもモデルが適応できるようになります。
このシステムは、複数の異なる運転条件に対して適応可能な故障予測モデルを学習するために、分散型のデータを活用しており、個別に学習したモデルを統合して最適化しています。

The chart is a line graph that represents the projected market size for various types of vehicles from 2000 to 2020. The vertical axis is labeled in dollars, ranging from $30,000 to $80,000, and the horizontal axis represents the years from 2000 to 2020 in five-year increments. There are six lines, each representing a different type of vehicle, with corresponding colors and labels in Japanese. The line for '車両' (vehicles) shows a steady increase from just over $41,000 in 2000 to approximately $77,567 in 2020. The 'トラック' (trucks) line also shows an increase but at a slower rate, starting at around $41,132 in 2000 and reaching about $61,320 in 2020. The 'バス' (buses) line starts just below $41,000 in 2000 and rises to just over $50,000 in 2020. The '車' (cars) line begins at around $41,428 in 2000 and climbs to approximately $55,000 in 2020. The '自転車' (bicycles) line starts at about $41,428 in 2000 and increases to around $45,000 in 2020. Lastly, the '電車' (trains) line begins at just over $41,000 in 2000 and goes up to about $45,000 in 2020. Below the graph, there is a legend indicating the percentage growth from 2000 to 2020 for each vehicle type, with '車両' at 126%, 'トラック' at 125%, 'バス' at 117%, '車' at 119%, '自転車' at 115%, and '電車' at 150%. The '車' line is highlighted with a red box, indicating a special focus or significance.

このグラフは、2000年から2020年までの各種車両の市場規模予測を表した折れ線グラフです。縦軸は3万ドルから8万ドルまでの範囲でドル表示されており、横軸は2000年から2020年までの5年刻みの年号を表しています。6本の線があり、それぞれ異なる種類の車両を表しており、日本語のラベルと色が対応しています。「車両」（車両）の線は、2000年の41,000ドル強から2020年には77,567ドル程度まで、着実に増加しています。「トラック」（トラック）の線も増加していますが、増加率はより緩やかで、2000年の41,132ドル程度から2020年には61,320ドル程度までとなっています。「バス」（buses）の線は2000年の41,000ドル弱から始まり、2020年には50,000ドル強に上昇しています。「車」（cars）の線は2000年の41,428ドル前後から始まり、2020年には55,000ドルに上昇しています。「自転車」（bicycles）の線は2000年には約41,428ドルから始まり、2020年には約45,000ドルに増加しています。最後に、「電車」（trains）の線は2000年には41,000ドル強から始まり、2020年には約45,000ドルに増加しています。グラフの下には凡例があり、2000年から2020年までの各車両タイプの伸び率が示されています。「車両」は126%、「トラック」は125%、「バス」は117%、「車」は119%、「自転車」は115%、「電車」は150%となっています。「車」の線は赤いボックスで強調表示されており、特別な注目や重要性を示しています。

このグラフは、2000年から2020年にかけての各国の実質平均年収の推移を示しています。主なポイントは以下の通りです：

1. 年収の比較：
   - アメリカの実質平均年収は、2020年に77,567ドルで最も高く、2000年から大きく増加しています。
   - 日本の実質平均年収は、2020年で41,442ドルとなっており、2000年からほぼ変動がなく、増加が見られませんでした。
   - オーストラリア、ドイツ、イギリス、フランス、韓国、イタリアも年収が増加していますが、アメリカほどの増加は見られません。
   
2. 年収の伸び率（2000年比）：
   - アメリカ（126%）とオーストラリア（125%）は、2000年比で比較的高い伸びを見せています。
   - 韓国は150%と最も高い成長率を示しており、実質平均年収が急激に増加しました。
   - 日本は100%で、2000年と2020年の年収がほぼ変わらないことを示しています。

3. 各国のトレンド：
   - アメリカとオーストラリアは、2000年から2020年にかけて継続的に年収が増加しており、特にアメリカが大きな伸びを示しています。
   - 日本は、ほぼ一定で、他国と比較すると成長が停滞していることが分かります。
   このグラフは、各国の経済成長や賃金の伸びを視覚的に示しており、特にアメリカや韓国の急成長が際立っています。