【Animate Anyone】アニメキャラを自由に動かせるアリババAIの使い方や導入方法を解説
メディア事業部AIライターの中井です。
皆さんは、2023年11月に発表された「Animate Anyone」を知っていますか？
Animate Anyoneは、キャラクターの静止画像からアニメーション動画を生成できる新しい方法です。
この技術は、まるで映画『マトリックス』のAIが生み出した世界観を作る技術のような感じなのです。
映画「マトリックス」の仮想世界では、現実と同じように動くキャラクターやオブジェクトがあり、これは静止画像から動くアニメーションを作る技術と似ています。
この記事では、Animate Anyoneの概要や仕組み、特徴について紹介します。
最後まで読んでいただくことで、Animate Anyoneの概要や仕組み、そして技術の特徴を理解できアニメーション動画を効率よく生成できるようになるでしょう。
ぜひ最後までお読みいただき、参考にしてください！
Animate Anyoneとは
Animate Anyoneとは、静止画像からキャラクターアニメーションビデオを作成する新しい方法です。
この方法では、写真のキャラクターがどんな風に見えるかをしっかりと覚えて、それを動画にします。キャラクターがどう動くかを決める「ポーズガイダー」という機能があります。その機能によって、キャラクターが自然に動くように見えるのです。さらに、「テンポラルレイヤー」という機能が動きをスムーズにつなげてくれます。
この方法は、いろいろなキャラクターに使えて、作った動画は写真と同じように見えるし動きもちゃんとコントロールできます。そのため、Animate Anyoneはこれからのアニメ作りにとって、とても役立つものになると期待されています。
参考記事：Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
なお、同じ画像を動かせるMagicAnimateについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【MagicAnimate】AnimateAnyoneよりこっちを使え！画像を踊らせる神AIを使ってみた
Animate Anyoneの仕組み
Animate Anyoneは、画像のような仕組みになっています。
Animate Anyoneに導入されている4つの機能が組み合わさることで、静止画像から高品質な動画が生成できるのです。
どのような機能が導入されているのか、参考にしてください。
拡散モデルの使用
Animate Anyoneでは、キャラクターアニメーションの生成に「Stable Diffusion」という拡散モデルが利用されています。
この拡散モデルは、ビジュアルコンテンツの生成において非常に効果的です。これらのモデルは、画像やビデオの詳細を高い精度で再現する能力を持ち、特に複雑な画像の合成や変換において優れた結果を示します。
具体的には、拡散モデルは与えられた静止画像からキャラクターの動きや表情をリアルに再現するビデオを作成できます。そのため、アニメーション制作において、よりリアルで自然なキャラクターの動きを実現できるのです。
拡散モデルは、キャラクターアニメーションの生成において、拡散モデルの利用が重要な役割を果たしています。
ReferenceNet
Animate Anyoneでは、キャラクターアニメーションのための新しいフレームワークとして「ReferenceNet」が導入されています。
ReferenceNetの主な役割は、アニメーション化されるキャラクターの外観特徴を、元の参照画像に忠実に保持することです。キャラクターアニメーションでは、元の画像の詳細な特徴を正確に再現することが重要ですが、これは技術的に難しい問題です。
しかし、ReferenceNetはこの問題に対処するために設計されており、空間的注意を用いて参照画像からの詳細な特徴を統合しアニメーションビデオ全体で一貫性を保つことができます。
例えば、あるキャラクター画像が特定の服装や表情の特徴を持っている場合、ReferenceNetはこれらの特徴を捉えアニメーション化されたビデオの各フレームにわたって特徴を維持します。ReferenceNetにより、ビデオ内のキャラクターは、元の画像と同じ外見を保ちながら動くことが可能です。
ReferenceNetは、キャラクターアニメーションにおいて、元の画像の詳細な特徴を忠実に保持する上で役立ちます。
ポーズガイダー
Animate Anyoneでは、キャラクターアニメーションのビデオ生成において「ポーズガイダー」という機能が導入されています。
ポーズガイダーの役割は、キャラクターの動きを正確に制御し、自然なアニメーションを作成することです。キャラクターの動きは、ビデオ内での表現が重要であり、ポーズガイダーはこれを実現するために必要な信号をおくります。
例えば、キャラクターが走っているシーンを生成する場合、ポーズガイダーは走る動作に必要なポーズのシーケンスをエンコードし、それに基づいてビデオ内でのキャラクターが自然に動くようにします。そのため、キャラクターの動きがリアルで滑らかになり、視覚的な一貫性が保たれるのです。
したがって、ポーズガイダーはキャラクターアニメーションのビデオ生成において、キャラクターの動きを制御しリアルで自然なアニメーションを作成するための重要な役割を果たしています。
テンポラルレイヤー
Animate Anyoneは、「テンポラルレイヤー」を使用して、ビデオフレーム間の滑らかな遷移を保証しています。
テンポラルレイーの役割は、ビデオ内の連続するフレーム間での動きの自然さと一貫性を確保します。アニメーションでは、キャラクターの動きが不自然だと視聴者の没入感が損なわれるため、この一貫性は非常に重要です。
キャラクターが歩いているシーンを考えてみましょう。
各フレームでキャラクターのポーズが急激に変わると、動きが不自然に見えてしまいます。しかし、テンポラルレイヤーを使用することで、一つのフレームから次のフレームへの遷移が滑らかになりキャラクターの動きがリアルで自然に見えるようになります。
総じて、テンポラルレイヤーは、ビデオ内でキャラクターの動きを自然で一貫したものにするための重要な要素です。
Animate Anyoneの特徴
Animate Anyoneの特徴を4つ紹介します。
Animate Anyoneは、さまざまなキャラクターに適用でき、高品質なビデオを生成できます。また、ベンチマークにて高い評価を得ています。
ぜひ、以下を参考にしてください！
高品質なビデオ生成
Animate Anyoneは、一貫性と制御可能な動きを持つ高品質なビデオを生成可能です。
この方法は、拡散モデルと特別に設計されたReferenceNetやポーズガイダー、テンポラルレイヤーを組み合わせることで、キャラクターの細部まで忠実に再現し自然な動きを実現します。
具体的には、あるキャラクターの画像を取り込んだ場合、このシステムはキャラクターを動かすためのビデオを生成します。このビデオでは、キャラクターの表情や衣服の細かい詳細が保持され動きも自然でリアルタイムに制御可能です。
Animate Anyoneは、一貫性と制御可能な動きを持つ高品質なキャラクターアニメーションビデオを生成する有効な手段です。
多様なキャラクターへの適用性
Animate Anyoneは、さまざまな種類のキャラクターに適用可能です。
この技術は、特定のキャラクタータイプやスタイルに限定されず、幅広いキャラクターイメージに対応する柔軟性を持っています。これは、参照画像からの詳細な特徴を捉え、それをビデオ生成プロセスに統合する能力によるものです。
例えば、人間のキャラクターやアニメキャラクター、さらにはファンタジーの生物など異なる外見の特徴を持つキャラクターにこの技術を適用できます。
したがって、Animate Anyoneは多様なキャラクターに対応し、幅広いアニメーションニーズに応えられるため非常に汎用性が高いと言えます。
・人間
・アニメ・漫画
・ヒューマノイド
トレーニングプロセス
Animate Anyoneは、5,000のキャラクタービデオクリップを含むデータセットでトレーニングされています。
このトレーニングは、モデルがさまざまなキャラクターの動きやポーズを正確に学習し、それをビデオに効果的に合成する能力を開発するために不可欠です。
Animate Anyoneはトレーニングにより、さまざまなキャラクターの動きやポーズを学習し、ビデオに合成する能力を向上させました。
このトレーニングプロセスを通じて、研究者はAnimate Anyoneが実際にどのように機能するか、またどのような状況で最も効果的であるかを理解することができています。
ベンチマークでの評価
Animate Anyoneは、ファッションビデオと人間のダンスを合成するという二つの異なるタイプのキャラクターアニメーションに特化したベンチマークで評価されました。
・ファッション動画
・ダンス動画
ベンチマークとは、新しい技術や手法の性能を客観的に評価するための基準やデータセットです。ベンチマークにより、研究者はその手法がどれだけ効果的か客観的に判断できます。
このテストでは、Animate Anyoneが二つの異なるシナリオでどのように機能するかを評価しました。その結果、このプログラムはビデオの品質と制御の面で既存の方法よりも優れていることが証明されています。
これは、Animate Anyoneが高品質で制御しやすいキャラクタービデオを生成できることを意味しています。
なお、騙し絵を作る画像生成AIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【visual anagrams】上から見ても下から見ても絵になる！騙し絵を作る画像生成AIを使ってみた
まとめ
Animate Anyoneは、静止画像から動画を生成する新しい技術です。
この技術は、「Stable Diffusion」「ReferenceNet」「ポーズガイダー」「テンポラルレイヤー」が組み合わせて機能します。
Animate Anyoneは、5,000のキャラクタービデオクリップを含むデータセットでトレーニングされており、さまざまなキャラクターの動きやポーズを学習してビデオに合成可能です。
さらに、Animate Anyoneはファッションビデオと人間のダンスを合成するためのベンチマークで評価されています。この評価は、高品質で制御しやすいキャラクタービデオを生成できることを示しており、最先端の結果を達成しています。
AIの進化により、マトリックスのような世界が実現するのも近いのかもしれません。
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
