【LucidDreamer】2Dの画像から簡単に3D画像を作れる画像生成AIを使ってみた

その他画像生成最強のオープンソースAI 生成AIずかん

2023-12-14

WEELメディア事業部テックリサーチャーの藤崎です。

2023年12月8日に、テキストや画像から3Dシーンを作成できるLucidDreamerのデモが公開されました！

LucidDreamerを使えば誰でも簡単に平面の画像から3Dシーンを作ることができるようになります。

この記事ではLucidDreamerの概要から使い方、そして実際に画像から3Dシーンを作ってみました。
画像を手軽に3D化したいと考えている方、必見です！

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

LucidDreamerの概要

LucidDreamerは、テキストや画像からドメインフリーの3Dシーンを作ることができる生成AIです。

近年、VRデバイスやコンテンツの普及に伴い3Dシーン生成技術の需要が高まっていますよね。
ただし既存の3Dシーン生成モデルは、主に現実世界からかけ離れた3Dのデータセットを使用してトレーニングされているため、生成されるターゲットシーンが特定のものに制限されてしまっているとのこと。

このような制限に対処するためにLucidDreamerは開発されました。

LucidDreamerは2つのステップで3Dシーンを生成します。

まず最初に入力された情報から一貫性のある画像を生成するために、点群を幾何学的ガイドラインとして設定したあと、その一部を目的のターゲットに投影し、生成モデルを用いた塗りつぶしにガイダンスとして提供します。

次に、新しい点を3Dシーンに集約するために、生成された3Dシーンの部分を調和し統合する位置合わせのアルゴリズムを提案します。
そして最終的に生成された3Dシーンは、ガウシアンスプラッティングの最適化の初期ポイントとして機能することで、従来の3Dシーン生成手法に比べて詳細度の高いガウシアンスプラッティングを生成することが可能となっているのです。

しかも、生成された3Dシーンはドメインフリーなので非常に使い勝手がいいですよね！

また、LucidDreamerはより精度の高い3Dシーンを生成するために、テキストプロンプトを入力することができるため細かいコントロールが可能です。

上記は同じ3枚の猫の画像ですが、入力されたテキストプロンプトの違いで生成される結果が違うことを示しています。

LucidDreamerは画像1枚だけでもそれなりに3Dシーンを生成してくれるのですが、やはりテキストプロンプトで細かく指示を入力したほうが精度の高いものができあがっていますね。

なお、LoRA不要で高品質な画像を生成できるAIについて知りたい方はこちらの記事をご覧ください。
→【PhotoMaker】LoRA不要、わずか数秒、顔を保持したまま画像を自由に着せ替えできるAIを使ってみた

LucidDreamerの料金体系

LucidDreamerはオープンソースで、生成された3Dシーンもドメインフリーですので無料で利用することができます。

ただし、ライセンスのページには「CC BY-NC-SA 4.0 DEED」と記載があるため商用利用は不可となりますのでご注意ください。

LucidDreamerの使い方

LucidDreamerはUbuntuやWindowsなど様々な環境で動作することができるようですが、今回はGoogleColabで試してみました。

LucidDreamerを動かすのに必要なスペック

■使用したGPU
・T4
■Pythonのバージョン
・Python 3.9以上
■必要なパッケージ/ライブラリ
・CUDA 11.8以上

実は、スペックだけを見ると無料のGoogleColabでも動作するため試してみましたが生成速度が遅く、タイムアウトする事もあったためおすすめしません。

ある程度快適にLucidDreamerを使うには、GoogleColabPro以上のプランを契約しGPU V100のハイメモリなどで動かすことをおすすめします。

LucidDreamerの導入方法

公式に掲載されていたColabの下記コードを実行することで必要なパッケージから起動まで行うことが可能です。

%cd /content
!git clone --recursive -b dev https://github.com/camenduru/LucidDreamer-Gaussian

!pip install -q torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2+cu118 torchtext==0.15.2 torchdata==0.6.1 --extra-index-url https://download.pytorch.org/whl/cu118 -U
!pip install -q diffusers accelerate gradio open3d plyfile timm==0.6.11 xformers==0.0.20

!apt install libglm-dev
!pip install /content/LucidDreamer-Gaussian/submodules/depth-diff-gaussian-rasterization-min
!pip install /content/LucidDreamer-Gaussian/submodules/simple-knn

!apt -y install -qq aria2
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/camenduru/ZoeDepth/resolve/main/ZoeD_M12_N.pt -d /root/.cache/torch/hub/checkpoints -o ZoeD_M12_N.pt

%cd /content/LucidDreamer-Gaussian
!python app.py

正常に起動したあと、いくつかURLが表示されますが「Running on public URL」の次に表示されているURLをクリックすると
LucidDreamerを動かすことができる画面に移動することができます。

URLをクリックして下記のような画面が表示されていれば準備完了です！

使い方はとても簡単で、Image promptに画像をアップ、右のtext promptにテキストプロンプトを入力し、オレンジの「Run!」のボタンで3Dシーンを合成することができます！

画像やプロンプトによって完了する時間は異なりますが、生成が終われば動画の再生やPLYファイルのダウンロードなどが可能になります。

なお、高画質な画像生成AIについて知りたい方はこちらの記事をご覧ください。
→【Fooocus】人気1位の最強画像生成AIツール！使い方・インストール方法～実践まで

LucidDreamerを実際に使ってみた

では、実際にLucidDreamerを使ってみましょう！
まずはサンプルを試してみます。

少し下にスクロールすると、サンプルを選択することができるので任意のものをクリックしましょう。
すると、画像とプロンプトが入力されるので、そのまま「Run」のボタンを押します。

少し、時間がかかりますが生成後は下記のように、動画や3Dビュー、PLYファイルのダウンロードができるようになっているはずです。

生成された3Dビューはこんな感じでした。

確かに、奥行きがあるように見えますね。
すごく立体的！というよりは3Dメガネで見たような感じかなぁという印象です。

ただ、2,3分ほどでこの表現ができるのはすごいですね！

LucidDreamerの推しポイントである簡単に3Dシーンの生成ができるというのは本当なのか？

先ほどはサンプルだったので、どんな画像でも3Dシーンを生成することができるのか試してみましょう！

今回使うのはStable Diffusionで作成した画像です。

まずはテキストプロンプトにgirlとだけ入力して3Dシーンを生成してみます。

う〜ん。。。3Dというかとりあえず奥行きを出しました、という感じですね。
なんだか金太郎飴みたいだなぁ・・・。

では、次に少しプロンプトを「A fairy girl standing in a forest, best quality」と詳しく入力してみました。

3Dシーンは先程と変わらずただ人物の奥行きが出ただけの形になりましたね。
しかし、森というキーワードをプロンプトに入力したからなのか、草木の部分に関しては3Dっぽい演出が追加された感じですね。

さらに、カスタムビューの動画を見てびっくりしました。

なんか増えた！？

「A fairy girl」というワードをプロンプトに入力した影響なのか、妖精が増えましたね・・・。

LucidDreamerは確かにワンクリックで3Dシーンを生成することができますが、アップする画像やプロンプトによって結果がかなり変わってくるため、より精度の高い結果を得ようと思うとそれなりに練習や運が必要になってくるというのが印象でした。

まとめ

LucidDreamerはテキストや画像から3Dシーンを作成できる生成AIです。
うまく使えば、急速に普及し始めているVRデバイスやコンテンツへの対応が簡単にできる可能性を秘めているツールです。

Stable Diffusionと組み合わせて使うのもアリですね！

とはいえ、画像やプロンプトによって精度にバラつきがあるので、使いこなすにはある程度勉強も必要になってきます。

映画「ブレードランナー 2049」ほど簡単に3Dを生成できるというわけではありませんが、LucidDreamerを使えば近未来の技術に近づいていると感じてもらえるはずです！

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ