【LiveSketch】AIの力で絵に命が宿る！AIでハリーポッターの世界が実現される
メディア事業部AIライターの中井です。
「LiveSketch」というツールを知っていますか？
LiveSketchとは、スケッチにテキストプロンプトを使用することで動きを与えることができる技術です。
このような技術は、まるで映画『ハリーポッター』の動く絵本のような感じなのです。
ハリーポッターの世界では動く絵本や動く肖像画が登場します。テキストプロンプトから動的なスケッチを生成するAIは、このような動く絵本を作り出す技術に似ています。
この記事では、LiveSketchの概要や導入方法、実際に使ってみた感想を紹介します。
最後まで読んでいただくことで、LiveSketchの使い方がわかり、スケッチに動きを加えられるようになりアニメーション制作が簡単にできるようになるでしょう。
ぜひ最後までお読みいただき、参考にしてください！
LiveSketchの概要
「LiveSketch」は、テルアビブ大学とNVIDIA、ライヒマン大学の研究チームが開発した技術です。
「Breathing Life Into Sketches Using Text-to-Video Priors」という論文で発表されました。
LiveSketchは、単一被写体のスケッチに、テキストプロンプトを使用して動きを自動的に加えるものです。この技術は、テキストプロンプトを使用して希望する動きを示すことで、スケッチに「命を吹き込む」ことを可能にします。出力は簡単に編集可能なベクター形式の短いアニメーションです。
例えば、スケッチに「犬が走る」というテキストを与えると、そのスケッチに犬が走る動きを与えられます。この手法は、スケッチの外観を保持しながら、よりリアルな動きを与えることが可能です。
また、ユーザーは動きの強さと見た目を自由に調整できます。そのため、アニメーションをより柔軟に制作できます。
例えば、動きを大きくしたり、スケッチの細部を変えたりすることで、自分のイメージに合ったアニメーションを簡単に制作できるのです。
参考記事：Breathing Life Into Sketches Using Text-to-Video Priors
なお、動画生成AIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【Pika 1.0のおすすめ活用事例】一瞬で高クオリティの動画を作れる動画生成AIの使い方10選
LiveSketchの特徴
「Breathing Life Into Sketches Using Text-to-Video Priors」に書いてあったLiveSketchの特徴を5つ紹介します。
LiveSketchは、アニメーションとデザインの分野において、創造性を促進し新しい表現方法を提供するツールです。
以下のLiveSketchの特徴を理解し、このツールを使用してみてください。
テキストプロンプトによる動きの追加
LiveSketchは、ユーザーが提供するテキストプロンプトを使用して、スケッチに動きを追加できます。
この機能により、静的なスケッチが動的なアニメーションに変換されます。テキストプロンプトを使用することで、ユーザーは具体的な動きやアクションを指定でき、それに基づいてスケッチに動きを加えられるのです。
例えば、ユーザーが「走る猫」というテキストプロンプトを入力した場合、LiveSketchはそのプロンプトに基づいて、猫のスケッチに走る動きを加えます。このプロセスは、スケッチを短いアニメーションシーケンスに変換し、ベクター形式で出力するため、後から編集や調整が簡単です。
LiveSketchは、ユーザーが簡単に動的なビジュアルコンテンツを作成できるようにするための強力なツールなのです。
スケッチの表現と変形
LiveSketchでは、スケッチは白い背景上に配置されたストロークの集合体として表現します。
この表現方法を採用することで、各ストロークを個別に操作しやすくなります。これは、スケッチに動きを加える際に重要な要素です。
各ストロークは四つの制御点を持つ二次元ベジェ曲線で構成されています。LiveSketchはこれらの制御点の位置を変更することで、スケッチに動きを加えます。具体的には、あるストロークの制御点を時間経過とともに変化させることで、そのストロークが動いているように見せられるのです。
この方法により、LiveSketchはスケッチに自然で流動的な動きを加えることができ、アニメーションのような効果を生み出します。
ニューラルネットワークとトレーニング
LiveSketchでは、「ニューラル変位場」と呼ばれる小さなMLP（多層パーセプトロン）を使用して、スケッチの各フレームでのストロークの位置変化（オフセット）を予測します。
この方法は、スケッチに自然な動きを付加するために必要な精度と柔軟性をもたらします。ニューラルネットワークは、スケッチの各ストロークが時間とともにどのように変化するかを学習し、それに基づいて動きを生成しているのです。
このネットワークには二つの主要な経路があります。
一つは「ローカルパス」です。これはスケッチの小さな部分や細かい動きに焦点を当てています。
もう一つは「グローバルパス」と呼び、スケッチ全体の大きな動きや同期効果を制御します。
したがって、LiveSketchのニューラルネットワークとトレーニングの方法は、スケッチにリアルで動的な動きを加えるための重要な要素です。
動きのモデリング
LiveSketchは、スケッチに自然で滑らかな動きを与えるために、二つの異なるコンポーネントを使用して動きをモデル化します。
この方法により、スケッチの各部分が適切に動くようになるのです。局所的な変形を管理するコンポーネントはスケッチの細部の動きを担当し、グローバルなアフィン変換を制御するコンポーネントはスケッチ全体の大きな動きを調整します。
鳥のスケッチで考えてみましょう。
局所的な変形コンポーネントは、羽ばたく翼や動く足などの細かい動きを制御します。グローバルなアフィン変換コンポーネントは、鳥が空を飛ぶ全体的な動きを調整します。
この調整により、鳥のスケッチは、実際に飛んでいるかのような自然な動きを見せるのです。
制約と限界
LiveSketchは、単一の被写体を描いたスケッチに最適化されています。
この技術は、一つのオブジェクトに焦点を当てた動きの追加に特化しているため、複数のオブジェクトや複雑なシーンが含まれるスケッチに適用すると、動きの追加が不自然になる可能性が高いです。
例えば、人物と動物が一緒に描かれたスケッチに適用すると、人物と動物の動きが一致しないか不自然に見えることがあります。また、スケッチの元の特徴や個性を保ちながら動きを加えることは、技術的に難しいです。
そのため、LiveSketchは、単一の被写体に焦点を当てたスケッチに最も適しており、複数のオブジェクトや複雑なシーンを含むスケッチには制限があります。
LiveSketchの使い方
ハンズオン部分はコードが公開されたら更新します！
LiveSketchを実際に使ってみた
ハンズオン部分はコードが公開されたら更新します！
LiveSketchの推しポイントである〇〇は本当なのか？
ハンズオン部分はコードが公開されたら更新します！
まとめ
LiveSketchは、スケッチに動きを加える革新的な方法です。
この方法は、テキストプロンプトを使用して単一のスケッチに動きを自動的に追加できます。出力は、簡単に編集可能なベクター形式の短いアニメーションです。
LiveSketchは、スケッチの外観を保持しながらリアルな動きを与えることができるため、デザインやアニメーション制作において有用です。また、ユーザーは動きの強さと見た目を自由に調整できます。そのため、アニメーションをより柔軟に制作できます。
AIの進化により、映画「ハリーポッター」のような世界観が近づいているのかもしれません。
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
