生成AIの新時代、Stable Video 4D登場
Stability AIは、生成AIモデルの拡大を進め、Stable Video 4Dを発表しました。この新しいモデルは、既存のStable Video Diffusionモデルを基に、ビデオ入力を受け取り、8つの異なる視点から複数の新しいビデオを生成します。
- Stability AIがStable Video 4Dを発表。
- 動的3Dオブジェクトを多視点から視覚化。
- Hugging Faceで研究評価が可能。
Stable Video 4Dは、映画制作、ゲーム、AR/VRなどの分野で、動的に移動する3Dオブジェクトを様々なカメラアングルから視覚化するために利用されると期待されています。
3月に発表されたStable Video 3Dは、画像やテキストプロンプトから短い3Dビデオを生成するものでしたが、Stable Video 4Dはさらに一歩進み、時間軸（t）を加えた4次元の視点を提供します。
Stability AIの3Dリサーチチームリーダー、Varun Jampani氏は、Stable Video 4Dが以前のモデルの強みを組み合わせ、動的な3Dオブジェクトデータセットで微調整されたものであると説明しました。
また、Stable Video 4Dは、単一のネットワークが新しい視点の合成とビデオ生成の両方を行う初のモデルであるとしています。
アテンションメカニズムの設計により、各ビデオフレームが異なるカメラビューやタイムスタンプで隣接するフレームにアテンションを向けることができ、その結果、出力ビデオの3D一貫性と時間的なスムーズさが向上しました。
Stable Video 4Dは現在、Hugging Faceで研究評価のために利用可能で、商業オプションについては今後発表される予定です。
現時点で、数秒間のシングルオブジェクトビデオをプレーンな背景で処理でき、将来的にはより長いビデオや複雑なシーンへの対応も計画されています。
参考記事：Stability AI
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、朝の通勤時間に読めるメルマガを配信しています。
最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
