【Pyramid Flow徹底解説】高品質動画を効率的に作成する方法とGoogle Colabでの実装ガイド

from huggingface_hub import snapshot_download

model_path = '/content/pyramid-flow-model'  # モデルを保存するローカルディレクトリ
snapshot_download("rain1011/pyramid-flow-sd3", local_dir=model_path, local_dir_use_symlinks=False)

from huggingface_hub import snapshot_download

model_path = '/content/pyramid-flow-model'  # モデルを保存するローカルディレクトリ
snapshot_download("rain1011/pyramid-flow-sd3", local_dir=model_path, local_dir_use_symlinks=False)

%cd Pyramid-Flow

import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import export_to_video

torch.cuda.set_device(0)

model = PyramidDiTForVideoGeneration(
    '/content/pyramid-flow-model',
    model_dtype='bf16',
    model_variant='diffusion_transformer_768p',
)

model.vae.to("cuda")
model.dit.to("cuda")
model.text_encoder.to("cuda")
model.vae.enable_tiling()

# テキストプロンプトからビデオを生成
prompt = "A beautiful sunset over the ocean"
with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch.bfloat16):
    frames = model.generate(
    prompt=prompt,
    num_inference_steps=[10, 10, 10],  # ステップ数を減らす
    height=512,  # 解像度を下げる
    width=768,
    temp=16,
    guidance_scale=7.0,
    video_guidance_scale=4.0,
    output_type="pil",
    save_memory=True,
)

# ビデオファイルにエクスポート
export_to_video(frames, "./generated_video.mp4", fps=24)

import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import export_to_video

torch.cuda.set_device(0)

model = PyramidDiTForVideoGeneration(
    '/content/pyramid-flow-model',
    model_dtype='bf16',
    model_variant='diffusion_transformer_768p',
)

model.vae.to("cuda")
model.dit.to("cuda")
model.text_encoder.to("cuda")
model.vae.enable_tiling()

# テキストプロンプトからビデオを生成
prompt = "Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city."
with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch.bfloat16):
    frames = model.generate(
    prompt=prompt,
    num_inference_steps=[20, 20, 20],  # ステップ数を減らす
    height=512,  # 解像度を下げる
    width=768,
    temp=16,
    guidance_scale=7.0,
    video_guidance_scale=4.0,
    output_type="pil",
    save_memory=True,
)

# ビデオファイルにエクスポート
export_to_video(frames, "./generated_video1.mp4", fps=24)

import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import export_to_video

torch.cuda.set_device(0)

model = PyramidDiTForVideoGeneration(
    '/content/pyramid-flow-model',
    model_dtype='bf16',
    model_variant='diffusion_transformer_768p',
)

model.vae.to("cuda")
model.dit.to("cuda")
model.text_encoder.to("cuda")
model.vae.enable_tiling()

# テキストプロンプトからビデオを生成
prompt = "A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors."
with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch.bfloat16):
    frames = model.generate(
    prompt=prompt,
    num_inference_steps=[20, 20, 20],  # ステップ数を減らす
    height=512,  # 解像度を下げる
    width=768,
    temp=16,
    guidance_scale=7.0,
    video_guidance_scale=4.0,
    output_type="pil",
    save_memory=True,
)

# ビデオファイルにエクスポート
export_to_video(frames, "./generated_video1.mp4", fps=24)

from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
import torch
from diffusers.utils import export_to_video

# GPUの設定
torch.cuda.set_device(0)

# モデルのロード
model = PyramidDiTForVideoGeneration(
    '/content/pyramid-flow-model',  # モデルのパスを指定
    model_dtype='bf16',      # 半精度を使用する場合
    model_variant='diffusion_transformer_768p',  # モデルのバリアント
)

# 各コンポーネントをGPUに移動
model.vae.to("cuda")
model.dit.to("cuda")
model.text_encoder.to("cuda")
model.vae.enable_tiling()
# 入力画像を読み込み
image = Image.open('/content/20241001_furukawa_hiroaki_nakatogawa-650x433.jpg').convert("RGB").resize((768, 512))

# プロンプトを定義
prompt = "Make the figures in the paintings laugh."

# ビデオ生成
with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch.bfloat16):
    frames = model.generate_i2v(
        prompt=prompt,
        input_image=image,
        num_inference_steps=[10, 10, 10],  # 各ステージの推論ステップ数
        temp=16,  # 温度パラメータ
        video_guidance_scale=4.0,  # ガイダンススケール
        output_type="pil",
        save_memory=True,  # メモリを節約するオプション
    )

# ビデオファイルにエクスポート
export_to_video(frames, "./image_to_video_sample1.mp4", fps=24)

from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
import torch
from diffusers.utils import export_to_video

# GPUの設定
torch.cuda.set_device(0)

# モデルのロード
model = PyramidDiTForVideoGeneration(
    '/content/pyramid-flow-model',  # モデルのパスを指定
    model_dtype='bf16',      # 半精度を使用する場合
    model_variant='diffusion_transformer_768p',  # モデルのバリアント
)

# 各コンポーネントをGPUに移動
model.vae.to("cuda")
model.dit.to("cuda")
model.text_encoder.to("cuda")
model.vae.enable_tiling()
# 入力画像を読み込み
image = Image.open('/content/20241001_furukawa_hiroaki_nakatogawa-650x433.jpg').convert("RGB").resize((768, 512))

# プロンプトを定義
prompt = "run a person"

# ビデオ生成
with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch.bfloat16):
    frames = model.generate_i2v(
        prompt=prompt,
        input_image=image,
        num_inference_steps=[10, 10, 10],  # 各ステージの推論ステップ数
        temp=16,  # 温度パラメータ
        video_guidance_scale=4.0,  # ガイダンススケール
        output_type="pil",
        save_memory=True,  # メモリを節約するオプション
    )

# ビデオファイルにエクスポート
export_to_video(frames, "./image_to_video_sample1.mp4", fps=24)