【CoDeF】革命的な動画生成AI！AIが動画編集をする時代の到来
画像生成AIはすごいけど、動画生成はまだまだだなぁって思いませんか？
AIによって作られた動画は多くありますが、動画が動く度に画面全体がカクカクしたり、色がチラチラ変わったりする印象があります。
「その理由はなんだろう」、「動画処理を効率的にする技術はないんだろうか」と思い調べてみると、CoDeFという動画処理の技術があることを知りました。
今回は、CoDeFの解説や実際に使ってみた感想を書いていきます。
ぜひ最後までご覧ください！
CoDeFの概要
CoDeF（Content Deformation Field） は、新しい動画の表現手法の一つです。
動画処理アルゴリズム（生成AIを含む）に活用するため考えられました。
現状、画像生成を始めとする画像処理はかなり進歩していますが、動画処理はまだまだです。
例えば、Stable Diffusionで作った画像はめちゃくちゃクオリティが高いですよね。
もはや現実の人の写真とAIが生成した人の画像は、区別がつかないレベルまで進歩しています。
でも、AIが生成した動画はそうではありません。
以下のようなダンス動画がいい例です。
フレームが代わるたびに、髪の毛の色が変わったり、オッドアイになったりしています。
なぜか。
多くの画像処理アルゴリズムは、1フレームごとに処理しているため、次のフレームとの関係（時間的な一貫性）が失われてしまうからです。
時間的な一貫性とは、例えば「水が高い位置から低い位置へ移動する」時の連続した動きなどです。
そこで、CoDeFという手法が考えられました。
これは、動画を静的な要素と、動的な要素に分けようという方法です。
静的な要素というのは、背景などの常に静止しているもののこと。
動的な要素というのは、ゆらゆら揺れる炎や水面など動きのあるものを指します。
もう少し専門的で具体的なことを書くと、CoDeFはビデオを次のように分解します。
「コンテンツ正規化フィールド（Content Canonical Field）」と「時間変形フィールド（Temporal Deformation Field）」です。
コンテンツ正規化フィールドは、「何が」表示されるかを定義します。動画の一瞬を切り取ったときに表示されるものを決めるイメージです。
時間変形フィールドは「どのように」それが変化するかを定義します。時間の流れとともに、火や水がどのように揺らぐかなどを決めるイメージです。
このように、分割表現をすることで、時間の扱い方（時間的な一貫性の保持）がしやすくなり、フレーム間での不整合などが減少。動画処理アルゴリズムの精度の向上したとのことです。
実際にCoDeFを使い、動画処理したものが以下です。
左が入力で、右が処理後の出力です。
先程のダンス動画とは違い、犬の動きは滑らかなまま、毛の色を変える処理がされています。
なお、3D動画生成AIなどなど他のAIツールについて知りたい方はこちらをご覧ください。
→【3Dモデル生成AIまとめ】1つの画像から3Dモデルを一瞬で生成できる最強AI10選
CoDeFの導入方法（後日公開）
CoDeFのためのプログラムがGitHubで公開されていました！
Google Colabで試せるみたいだったのでやってみましたが、プログラムが壊れているかもしれません、
ちょっと時間をかけて動くかどうか確認し、後日更新します。
気になる方はぜひデバッグしながらトライしてみてください！
もう少々お待ちくださいませ！
CoDeFを実際に使ってみた（後日公開）
先述のとおりに、公開されているプログラムが壊れているため試せておりません。
ちなみに、READMEなどを見た限り、プログラムを実行すると以下のようなことができるみたいです。
まず以下のような女性の動画を入力します。（元動画が見つからずキャプチャですが……）
すると、このように、動画からまた別の動画が出力されます！
もともとの女性の動きなどは維持したまま、自然に動画処理がされておりますね！
さらに、入力動画と出力した動画を一緒に合わせたものを作れるみたいです。
繰り返しにはなりますが、プログラムが動かせたら、実際にやってみた感想などもお伝えします。
更新をお待ち下さい。
なお、最新鋭の動画生成AIについて知りたい方はこちらをご覧ください。
→【Pika 1.0】頭の中のアイデアを動画にできる動画生成AI！使い方や料金、商用利用について解説
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
