【DreamGaussian】必要なのは1枚の画像、1分で3D画像を作る画像生成AIの使い方やインストール方法
皆さんは、DreamGaussianという3D画像生成ツールを知っていますか？
このツールは、１枚の画像から超高速で3Dコンテンツに変換できるもので、その速度は既存の手法よりなんと約10倍も速いんです！
たった１枚の画像から10倍も速く3D化できるなんてすごいですよね！
今回は、DreamGaussianの概要や仕組み、実際に使ってみた感想をお伝えします。
是非最後までご覧ください！
DreamGaussianの概要
DreamGaussianは、１枚の画像から超高速で高画質の3Dコンテンツを生成できる、3D画像生成AIツールです。従来の手法とは一線を画す手法で最適化とテクスチャの精緻化を行い、結果としてたった１枚の画像から、高品質の3Dコンテンツを超高速で生成できます。
そんなDreamGaussianの特徴は以下の4つです。
高効率：従来の手法に比べ、格段に効率が向上しており、3Dコンテンツの生成開始から完了までわずか2分で行うことができます。
3Dガウススプラッティング：効率を向上させるための主な技術として、3Dガウススプラッティングモデルを使用しています。これにより、3D生成タスクのための高速な収束が可能となっています。
UV空間でのメッシュ抽出：このプロセスを踏むことで、テクスチャが正確にモデル表面に適用され、歪みや伸びが最小限に抑えられるため、リアルな3Dモデルの生成が可能になります。
テクスチャの精緻化：このプロセスでUVマッピングで3Dモデルに適用されるテクスチャの解像度をあげたり、詳細を調整することで、モデルの品質を向上させることができます。
image to 3Dとtext to 3D：画像から3Dコンテンツを生成できることに加え、テキストからも3Dコンテンツを生成することができます。
従来とは違う新しい手法を用いることで、10倍も速度が速くなっただけでなく、より高精細にかつテキストからも3Dコンテンツを生成できるようになったということですね！
ここからは、公開されている情報をもとに、DreamGaussianの性能紹介をした後に、実際に使ってみてどのようなものが生成されるか見ていこうと思います。
性能
こちらの公式ページを参考にして性能紹介をしていきます。
DreamGaussian
まずは以下の動画をご覧ください。
これは、従来の手法であるNeRFとDreamGaussianの3Dへの変換時間を示したもので、DreamGaussianは2分以内で完了しているのに対し、NeRFは同等の品質のものを生成するのに15分ほどかかっており、DreamGaussianの性能の高さが伺えます。
次は、DreamGaussianを使用して、画像から3Dに変換されたものを見ていきましょう。
こちらは上の画像から3D化したものを下に表示したもので、高品質な3Dモデルが生成できている事が分かります。
次に、テキストから3Dに変換されたものです。
画像が絵のようになっているのが特徴的ですが、テキストを正確に捉えたものになっていると思います。
また、テキストから3Dにする過程で生成した画像も出力できるようです。
これを見ると、テキストから高精細な画像も生成することができているので、画像生成フレームワークとしても使えそうです。
画像生成までできるとなると、画像生成AIの代わりとして使い、さらにはその画像を3D化できるので、本当に革新的なツールだと思います。
最後に、この革新的な機能を可能にしている技術である、3Dガウススプラッティングとメッシュテクスチャの精緻化の流れの動画をご覧ください。
3Dガウススプラッティング
メッシュテクスチャの精緻化
それでは実際にDreamGaussianを使用して、生成時間やどのようなものが生成されるか見ていきましょう！
なお、高速で画像生成できるAIツールについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【InstaFlow】Stable Diffusionの40倍の速さで画像生成できるAI
DreamGaussianのライセンス
DreamGaussianは「MIT License」でライセンスされています。MIT Licenseもとで公開されたソフトウェアは、商用・非商用を問わず、無料で利用、コピー、変更、組み合わせ、再配布することができます。
該当のライセンスについて詳しくは公式ページをご確認ください。MIT License → https://opensource.org/license/mit
| 利用用途 | 可否 |
|---|---|
| 商用利用 | ⭕ |
| 改変 | ⭕ |
| 配布 | ⭕ |
| 私的利用 | ⭕ |
＼画像生成AIを商用利用する際はライセンスを確認しましょう／
DreamGaussianの使い方
DreamGaussianを動かすのに必要なPCのスペック
今回、DreamGaussianはGoogleColabで動かしました。
必要なスペックやパッケージは下記のとおりです。
■GoogleColab Pro
・GPU：V100
・ハイメモリ
必要なパッケージ
・torch 2.1
・CUDA12.1DreamGaussianのインストール方法
公式Githubページで「image to 3D」と「text to 3D」の２つのGoogle Colabノートブックが公開されており、入力を任意のものに変更するだけで実行できます。
dreamgaussian/dreamgaussian
image to 3Dのノートブックを開くと、すでにコードは書かれているため、以下の画像のimage uploadのところだけ変更すれば、あとは上から実行していくだけです。
変更といっても、特にコードを変える必要はなく、実行すると出てくるファイル選択をクリックして、任意の画像ファイルを選択するという流れです。
text to 3Dに関しては、以下の画像のPromptの部分だけ任意のものに書き換えればあとは実行するだけです。
DreamGaussianを実際に使ってみた
DreamGaussianを実際に使ってみます。
まずはimage to 3Dを使っていきます。
以下の画像を3D変換させてみました！
すると、、、
約3分ほどで3D化が完了し、このように動画で出力されました。
この動画をGPT-4でgifにしてもらったものがこちらです。
少しいびつで、荒い部分もありますが、たった一枚の画像から数分で生成されたものと考えれば十分だと思います。
無事に動作する事が確認できたので、この後はもっと複雑な画像を入力して、生成結果や時間がどのように変化するか見ていきます。
DreamGaussianの推しポイントである高速生成は本当なのか？
まずはシンプルに動物の画像から。
生成時間：2分30秒
生成3D
なんか気持ち悪いですね笑
生成時間は2分半と、速いですが体の後ろ部分がうまく生成出来ていないようです。
もしかしたら、体の一部がポートレートでボケてしまっているのが原因かもしれません。
次にこちらの画像を変換します。
平面的なイラストで、なかなかこれを3Dにするのは難しいと思いますが、結果はどうでしょうか。
生成時間：1分30秒
生成3D
やはり裏の部分は生成できないようで、半分に切られたようになっています。
ですが、立体感は出ているので、もう少し情報があれば完璧な変換が出来そうです。
最後にこちらの画像の変換です。
複雑な模様で、これを3D化するのはかなり難易度が高く時間がかりそうな予想です。
生成時間：1分20秒
生成3D
こちらも少し荒い気はしますが、一枚の画像から変換されたものと考えれば上出来です。
また、予想に反してこれまでで一番速い生成時間でした。
これらの結果から、どのような画像でも基本的に生成時間はあまり変わらず、わずか数分で3Dに変換してくれる事が分かりました。
なお、日本人が開発した超高速画像生成AIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【StreamDiffusion】世界最速！？のスピードで画像を出力する超高速画像生成AIの使い方から実践まで
DreamGaussianで3D変換を効率化しよう！
DreamGaussianは、従来の手法とは一線を画す、3DガウススプラッティングやUV空間でのメッシュ抽出手法を用いて、最適化とテクスチャの精緻化を行い、たった1枚の画像から、高品質の3Dコンテンツを超高速で生成できます。
従来手法よりも10倍程度速い2分ほどで3D変換が行えると謳っているDreamGaussianですが、実際はどうなのか検証したところ、どのような画像でも1〜3分ほどで変換出来ました。
また、画像からの変換だけでなく、テキストから高品質の画像を生成して、3D変換してくれる機能もあり、画像生成AIの代わりとしても使用できるなど、活用の幅がとても広いです。
もし本記事を読んでDreamGaussianが気になった方は、是非試してみてください！
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
