【MiniCPM-V 2.6】未来予測ができるGPT-4V超えの生成AIで、メッシのスーパープレーをガチ分析してみた

!git clone https://github.com/OpenBMB/MiniCPM-V.git
%cd MiniCPM-V
!pip install -r requirements.txt

!pip install flash_attn

# test.py
import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('openbmb/MiniCPM-V-2_6', trust_remote_code=True,
    attn_implementation='sdpa', torch_dtype=torch.bfloat16) # sdpa or flash_attention_2, no eager
model = model.eval().cuda()
tokenizer = AutoTokenizer.from_pretrained('openbmb/MiniCPM-V-2_6', trust_remote_code=True)

image = Image.open('your_image').convert('RGB') # 画像は自前で用意
question = 'What is in the image?'
msgs = [{'role': 'user', 'content': [image, question]}]

res = model.chat(
    image=None,
    msgs=msgs,
    tokenizer=tokenizer
)
print(res)

## if you want to use streaming, please make sure sampling=True and stream=True
## the model.chat will return a generator
res = model.chat(
    image=None,
    msgs=msgs,
    tokenizer=tokenizer,
    sampling=True,
    stream=True
)

generated_text = ""
for new_text in res:
    generated_text += new_text
    print(new_text, flush=True, end='')

The image depicts a person aiming a handgun. The individual is wearing headphones and has white hair. They are in an outdoor setting, possibly during a sports event or competition, as suggested by the background crowd and banners.
The image shows an individual aiming a pistol. The person is wearing headphones, sunglasses, and has a bag slung over their shoulder. In the background, there appears to be a sports stadium with spectators and banners displaying "PARISO" and Olympic rings.

和訳：画像には拳銃を狙う人物が描かれている。その人物はヘッドホンをしており、白い髪をしている。背景の群衆や横断幕が示唆するように、彼らは屋外におり、おそらくスポーツイベントか競技の最中であろう。
ピストルを構える人物。その人物はヘッドホンをし、サングラスをかけ、バッグを肩にかけている。背景には、観客と「PARISO」とオリンピック・リングを表示した横断幕があるスポーツ・スタジアムがあるように見える。

import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer
from decord import VideoReader, cpu    # pip install decord

model = AutoModel.from_pretrained('openbmb/MiniCPM-V-2_6', trust_remote_code=True,
    attn_implementation='sdpa', torch_dtype=torch.bfloat16) # sdpa or flash_attention_2, no eager
model = model.eval().cuda()
tokenizer = AutoTokenizer.from_pretrained('openbmb/MiniCPM-V-2_6', trust_remote_code=True)

MAX_NUM_FRAMES=64 # if cuda OOM set a smaller number

def encode_video(video_path):
    def uniform_sample(l, n):
        gap = len(l) / n
        idxs = [int(i * gap + gap / 2) for i in range(n)]
        return [l[i] for i in idxs]

    vr = VideoReader(video_path, ctx=cpu(0))
    sample_fps = round(vr.get_avg_fps() / 1)  # FPS
    frame_idx = [i for i in range(0, len(vr), sample_fps)]
    if len(frame_idx) > MAX_NUM_FRAMES:
        frame_idx = uniform_sample(frame_idx, MAX_NUM_FRAMES)
    frames = vr.get_batch(frame_idx).asnumpy()
    frames = [Image.fromarray(v.astype('uint8')) for v in frames]
    print('num frames:', len(frames))
    return frames

video_path="your_video"
frames = encode_video(video_path)
question = "Anticipate what happens next."
msgs = [
    {'role': 'user', 'content': frames + [question]}, 
]

# Set decode params for video
params = {}
params["use_image_id"] = False
params["max_slice_nums"] = 2 # use 1 if cuda OOM and video resolution > 448*448

answer = model.chat(
    image=None,
    msgs=msgs,
    tokenizer=tokenizer,
    **params
)
print(answer)

The video is likely concluding with the "To Be Continued" graphic, indicating that there will be a sequel or continuation of this content. The blurred yellow object suggests it may have been a significant part of the scene before being intentionally out of focus to draw attention to the ending message.

和訳：動画は「To Be Continued」のグラフィックで締めくくられ、このコンテンツの続編や続きがあることを示しているのだろう。ぼやけた黄色の物体は、エンディングのメッセージに注意を引くために意図的にピントを外す前は、シーンの重要な部分であった可能性を示唆している。

Based on the current actions and positioning of the players, the next likely event is that the player in white with the ball will attempt to either pass it to a teammate or take a shot at the goal. The goalkeeper's posture indicates readiness for action, suggesting he may dive to intercept if a shot is taken. Other players are positioned to support their teammates' movements or to defend against an opposing team's counterattack.

和訳：現在のプレーヤーの行動とポジショニングから、次に起こりそうなのは、ボールを持った白のプレーヤーが味方にパスを出すか、ゴールを狙ってシュートを打つことである。ゴールキーパーの姿勢は準備態勢を示しており、シュートが決まれば飛び込んでインターセプトする可能性を示唆している。他の選手は、味方の動きをサポートしたり、相手チームの反撃から守備をしたりする。