【Meta 3D Gen】テキストから1分以内でリアル3Dを高速生成！
WEELメディア事業部LLMライターのゆうやです。
Meta 3D Genは、米Meta社が2024年7月2日に論文を公開した最新のText-to-3Dモデルです。
Meta 3D Genの最大の特徴は、高速な生成速度で、わずか1分未満でテキストプロンプトに忠実に従った高品質な3Dアセットを生成できます。
これは、従来のモデルの約3～60倍ほど高速だそうです。特に、複雑なプロンプトを画像にする際は、既存モデルよりはるかに早く生成できます。
また、速度だけでなくプロンプトの再現度や品質の面においても既存のモデルと比較して優れており、まさに次世代の3Dモデル生成AIです。
今回は、Meta 3D Genの概要について詳しく解説していきます。
是非最後までご覧ください！
Meta 3D Genの概要
Meta 3DGenは、超高速でテキストから3Dアセットを生成する最新の3Dアセット生成AIです。
このモデルは、1分以内にテキストプロンプトから3Dアセットを生成することができ、従来のモデルより約3～10倍ほど高速です。
また、テキストプロンプトに対する忠実度が高く、こちらも従来のモデルより正確に3Dアセットを生成することが可能です。
そんなMeta 3DGenは以下の特徴を持っています。
- 高速生成：Meta 3DGenは、2段階に分けて3Dアセットを生成します。第一段階は3Dメッシュとテクスチャを約30秒で生成し、第二段階で追加のテクスチャ改良を20秒で行います。
- 高い忠実度：テキストプロンプトに対する忠実度が高く、ユーザーが入力したテキストに基づいて正確な3Dアセットを生成します。
- 高品質なテクスチャ：Meta 3DGenは高解像度のテクスチャを生成することができ、詳細でリアルな外観を提供します。
- 物理ベースのレンダリング（PBR）：Meta 3DGenは、ゲームや映画などで使われるPBRをサポートしており、非常に高い品質とリアリティを持った3Dアセットを生成します。
- 再テクスチャリング：Meta 3DGenには、既存の3Dメッシュに対して新しいテキストプロンプトを使用してテクスチャを再生成する機能があります。
Meta 3DGenは、「Meta 3D AssetGen」と「Meta 3D TextureGen」という2つのコンポーネントを統合しており、これらを使用して2段階に分けて3Dアセットの生成を行います。
詳細は後ほど解説しますが、まずMeta 3D AssetGenでテキストから初期の3Dメッシュとテクスチャを生成し、そのあとMeta 3D TextureGenで初期に生成されたテクスチャの改良を行います。
この工程を1分未満で行い、高速生成と高品質を両立しています。
実際にMeta 3DGenで生成された3Dアセットがこちらです。
このようにテキストプロンプトで指定されたテクスチャを忠実に再現しながら、高品質な3Dモデルを生成することを可能にしています。
再テクスチャリングもMeta 3D TextureGenが行います。
また、こちらも後述しますが、物理ベースのレンダリング（PBR）というゲームや映画、アニメ等で使用されているレンダリング手法をサポートしています。
PBRをサポートすることで、非常に高品質かつリアルな3Dアセットを生成できるだけでなく、実際の3Dアプリケーションに適用することができるようになります。
ここからは、Meta 3D Genの2つにコンポーネントについて詳しく紹介します。
なお、画像から超高速で3Dモデルを生成するTripoSRについて知りたい方はこちらの記事をご覧ください。
コンポーネント
Meta 3DGenの技術的なコンポーネントは、主に以下の2つの主要部分に分かれています。
- Meta 3D AssetGen（テキストから3Dメッシュとテクスチャ）
- Meta 3D TextureGen（テキストからテクスチャの生成および改良）
これらのコンポーネントを使用して、以下の画像のように2段階に分けて3Dアセットを生成します。
それぞれのコンポーネントについて詳しく紹介します。
Meta 3D AssetGen
Meta 3D AssetGenは、ユーザーが提供するテキストプロンプトに基づいて3Dメッシュと初期のテクスチャを生成するコンポーネントです。
このコンポーネントは、以下のような流れで3Dメッシュと初期テクスチャを生成します。
- テキストプロンプト処理：ユーザーが入力したテキストプロンプトを解析し、3Dオブジェクト生成のための基礎情報を取得します。
- ビュー生成：テキストプロンプトに基づいて複数の視点からの画像（ビュー）を生成します。これには、MetaのText-to-Imageモデル（Emuファミリー）が使用されます。
- 3Dメッシュ生成：生成されたビューをもとに、3Dメッシュを構築します。これは、符号付き距離場（Signed Distance Fields, SDF）やメッシュ再構築アルゴリズムを使用して行われます。
- 初期テクスチャ生成：生成された3Dメッシュに対して、初期のテクスチャを適用します。
ビューから3Dメッシュを構築する際に使用するSDFは、3D空間内の任意の点から最も近い表面までの距離を示すフィールドで、これをもとに3Dメッシュの形状を定義します。
また、初期テクスチャを生成する際に、PBR（物理ベースのレンダリング）マップを生成し、3Dメッシュに適用します。
具体的には、環境光をキャプチャして物体に適用したり、ライティング条件に応じてオブジェクトのシャドウやハイライトをシミュレートします。
これにより、よりリアルな3Dアセットになります。
Meta 3D TextureGen
Meta 3D TextureGenは、Meta 3D AssetGenで生成された3Dメッシュのテクスチャを改良し、最終的な高品質テクスチャを生成するコンポーネントです。
また、既存の3Dメッシュに対して新しいテキストプロンプトを使用して再テクスチャリングを行うこともできます。
このコンポーネントは、以下のような流れでテクスチャの改良を行います。
- テキストプロンプト処理：ユーザーが入力したテキストプロンプトを解析し、テクスチャ生成のための基礎情報を取得します。
- ビュー生成：Meta 3D AssetGenが生成した3Dメッシュと初期テクスチャをもとに、複数の視点からの新しいビューを生成します。こちらもMetaのText-to-Imageモデルを使用します。
- テクスチャ再構築：新しいビューを使用して、3Dメッシュのテクスチャを再構築します。これには、ビュー空間とUV空間での生成を組み合わせることによって、テクスチャの解像度と品質を向上させるアルゴリズムが使用されます。
- 最終テクスチャ生成：再構築されたテクスチャをもとに、最終的な高品質テクスチャを生成します。
最終的なテクスチャの生成の際、テクスチャの統合とエンハンスメントが行われます。
さらに、ここでもPBRマップの生成を行い、エンハンスメントされたテクスチャとPBRマップを3Dメッシュに適用することで、超リアルで高品質な3Dアセットを生成します。
これらがMeta 3D Genの3Dアセット生成の流れであり、これらの画期的なコンポーネントの採用の結果、生成速度が従来のモデルの約3～60倍ほど高速化し、品質も向上しています。
評価と比較
ここからはMeta 3DGenに対するユーザからの評価と、生成結果の比較を紹介します。
評価
Meta 3DGenは論文の中で、様々なユーザースタディを通じて評価されています。これには、一般ユーザーとプロの3Dアーティストの両方が参加しています。
以下の表は、テキストプロンプトの忠実度に関するユーザースタディの結果です。
これを見ると、Meta 3D Genは他の既存の3Dアセット生成モデルと比較して、よりプロンプトに忠実な3Dアセットを生成できることが分かります。
また、以下の表はMeta 3DGenと既存モデルが生成した3Dアセットを、それぞれ「忠実度」「品質」「テクスチャ」「ジオメトリ」の4つの項目でユーザに比較してもらった結果を示しています。
評価は、すべてのユーザと3Dに精通したプロによる評価結果の2つに分けられており、わずかに結果が違っています。
全体的にみると、Meta 3DGenはほとんどの指標において既存モデルよりも優れたパフォーマンスを発揮しており、処理速度も大幅に高速です。
3Dの経験が浅いユーザは、より鮮明で生き生きとしたリアルな質感を持つアセットを好む傾向があり、多少テクスチャやジオメトリが正確性に欠けていても気にしないようです。
そのため、Meta 3D Genの勝率が若干ですが低くなっています。
ただ、3Dのプロ達はすべての評価基準においてMeta 3D Genをより強く好む傾向があります。
これは、プロ達はジオメトリとテクスチャの正確性に重点を置いているため、その点が優れているMeta 3DGenが好まれるんだそうです。
将来的にゲームや映画などの現実世界での応用が期待されるMeta 3D Genにおいては、期待通りの評価がされているようですね！
比較
最後に、論文に掲載されていたMeta 3D Genと既存モデルの生成した3Dアセットの比較を画像を交えて紹介します。
こちらは、難易度の高いテキストプロンプトによって生成された3Dアセットの生成時間とプロンプトに対する忠実度を比較した画像です。
これを見ると、プロンプトの指示に最も忠実に従っているのは間違いなくMeta 3DGenで、生成時間についても1分と、他のモデルと比較してかなり速いことが分かります。
次に、以下の画像はMeta 3D Genと同じくPBRを使用してテクスチャを生成する既存モデルとの比較です。
こちらも、Meta 3D Genが最も速く、より正確なテクスチャを生成できているようです。
最後に、Meta 3D Genと既存モデルの典型的な失敗例をまとめた画像です。
これまで、既存モデルを大幅に上回る正確性とテキストプロンプトに対する忠実度を持つと紹介してきたMeta 3D Genですが、当然失敗することもあります。
この画像を見ると、Meta 3D Genはシンプルなテキストプロンプトで失敗している場合が多く、他のモデルではより複雑なプロンプトの際に失敗していることが多いようです。
なお、最新の3Dモデル生成AIまとめについて知りたい方はこちらの記事をご覧ください。
Meta 3D Genで手軽にリアルな3Dアセットの作成可能に！
Meta 3DGenは、超高速でテキストから高品質な3Dアセットを生成する最新の3Dアセット生成AIです。
約1分ほどで3Dメッシュとテクスチャを生成し、物理ベースのレンダリング（PBR）をサポートすることで、よりリアルなテクスチャを生成できます。
また、再テクスチャリング機能も備え、既存の3Dメッシュに全く別の新たなテクスチャを適用することも可能です。
生成速度は他のモデルより約3～60倍速く、一般のユーザや3Dのプロによる評価では、既存モデルと比較してプロンプトの忠実度や視覚品質など、すべての比較項目でより高く評価されています。
Meta 3DGenは、その生成速度とクオリティから、ゲームや映画などにおける3Dコンテンツ制作の効率を大幅に向上させる可能性を秘めた革新的なツールです。
まだ論文しか公開されていませんが、実際にモデルが公開されたらぜひ触ってみたいですね！
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
