【TripoSR】Stability AI×Tripo AI｜1秒で画像を高品質な3Dモデルに変換できるAIを使ってみた
WEELメディア事業部LLMライターのゆうやです。
TripoSRは、Stability AIがTripo AIと提携して開発した、1秒以内に単一の画像から高品質な3Dモデルを生成するモデルです。
このモデルは、2023年11月に公開された「LRM: Large Reconstruction Model for Single Image to 3D」という論文にインスパイアされて構築されました。
TripoSRはMITライセンスの下で提供され、誰でも使用できることに加え、低い推論バジェット（GPUなし）でも動作するため他のモデルと比較してより幅広いユーザーが使用できます。
今回は、TripoSRの概要や使ってみた感想をお伝えします。
なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。
目次
TripoSRの概要
2024年3月5日、Stability AIから公開されたTripoSRは、3Dモデル生成AIを開発するTripoとの提携によって開発され、1秒以内に単一の画像から高品質な3Dモデルを生成するモデルです。
以下の動画のように、たった1枚の画像から非常に高品質な3Dモデルを超高速で生成できます。
このモデルは、「LRM: Large Reconstruction Model for Single Image to 3D」という論文にインスパイアされて構築された高速3Dオブジェクト再構築モデルです。
そんなTripoSRの特徴は以下の5点です。
- 高速フィードフォワード3D生成: TripoSRは、単一の画像から直接、迅速に3Dモデルを生成できます。これにより、複雑な処理や長時間の待機なしに3Dコンテンツを作成できます。
- 先進的なモデル設計: このモデルは、LRMネットワークアーキテクチャに基づいており、データキュレーション、モデル、トレーニングの改善を含む技術的進歩を取り入れています。
- 大規模なトレーニング: TripoSRは、22のGPUノードで構成される、各ノードに8つのA100 40GB GPUを搭載した強力なハードウェア上で5日間トレーニングされています。
- 実世界に近いトレーニングデータ: トレーニングにはObjaverseデータセットの一部が使用され、実世界の画像の分布をより密接に模倣するために強化されたレンダリング方法が採用されています。これにより、生成された3Dモデルのリアリズムと一般化能力が向上しています。
- オープンソース: TripoSRは、MITライセンスで提供されるオープンソースモデルであり、誰でもアクセスして使用できます。
- 必要要件：TripoSRは、GPUなしでも動作するほど軽量で、デフォルト設定でも6GBのVRAMがあれば動作します。
TripoSRは、LRM（大規模再構築モデル）の原理を取り入れることで、従来の3Dモデル生成AIと比較して高い品質と高速な生成を同時に可能にしました。
ここからは、TripoSRの性能について見ていきます。
TripoSRの性能
TripoSRの売りは、生成速度と品質です。
TripoSRは、当たり前ですが高性能なGPUを使用するほど高速な生成が可能で、NVIDIA A100GPUを使用するとなんと0.5秒未満で高品質の3Dモデルを生成できます。
とんでもなく高速ですよね！
また、TripoSR は定性的評価と定量的評価の両方で優れたパフォーマンスを示しています。
以下の画像と表は、TripoSRと他の主要な3Dモデル生成AIの出力と、モデルが生成した3Dモデルの品質（Fスコア）と推論時間を表しています。
この結果を見ると、他のモデルが3D化できないような画像も正確に3Dモデルを生成できています。
また、生成時間に関しては、TGSよりわずかに遅く、OpenLRMと同等であるものの、3Dモデルの品質評価では最も高いスコアを獲得しており、スピード、質ともに他のモデルを凌駕する性能を有しています。
最後に、TripoSRで実際に生成できる3Dモデルの例を紹介します。
ここからは、TripoSRの使い方を解説し、実際に使ってみようと思います。
なお、その他の3Dモデル生成AIについて知りたい方はこちらの記事をご覧ください。
→【3Dモデル生成AIまとめ】1つの画像から3Dモデルを一瞬で生成できる最強AI10選
TripoSRのライセンス
DreamGaussianは「MIT License」のもとで提供されています。そのため、商用・非商用を問わず、無料で利用、コピー、変更、組み合わせ、再配布することができます。
該当のライセンスについて詳しくは公式ページをご確認ください。
MIT License → https://opensource.org/license/mit
| 利用用途 | 可否 |
|---|---|
| 商用利用 | ⭕ |
| 改変 | ⭕ |
| 配布 | ⭕ |
| 私的利用 | ⭕ |
TripoSRの使い方
TripoSRは、オンラインデモを使用する方法とローカルに実装する方法の2種類あります。
オンラインデモは、以下のリンクにアクセスするだけで使用できます。
次に、ローカルで実装する方法を解説します。
実装を始める前に、以下がインストールされていることを確認してください。
- Python >= 3.8
- CUDA
- PyTorch
まずはTripoSRのGitHubリポジトリをクローンします。
git clone https://github.com/VAST-AI-Research/TripoSR.gitTripoSRのディレクトリに移動します。
cd TripoSRsetuptoolsを更新してください.
pip install --upgrade setuptools次に、依存関係をインストールします。
pip install -r requirements.txtこれでインストールは完了です。
TripoSRを実行する方法は、コマンドラインから手動で実行する方法と、Gradioアプリで実行する方法の2種類あります。
手動で実行する方法は、以下のコマンドを実行します。
python run.py examples/chair.png --output-dir output/これを実行して生成された3Dモデルは、output/に保存されます。
Gradioアプリで実行する場合は、まずGradioをインストールします。
pip install gradio次に、以下のコマンドを実行してGradioアプリを起動します。
python gradio_app.pyGradioで実行する場合と、オンラインデモを使用する場合は以下のような画面になります。
Gradioを使用する方が、手動実行するより遥かに分かりやすいですね。
実装は完了したので、実際に実行してみようと思います。
TripoSRを実際に使ってみた
今回は、より高速な推論が行えるように、Google ColabでV100GPUを使用しました。
以下の画像を入力します。
結果はこのようになりました。
正直あまりよい結果とは言えませんね。
前側が平面になっており、3Dモデルとしての品質は低いです。
入力する画像によっては、このように3D化に失敗してしまうのかもしれません。
ここからは、TripoSRの実用性を測るため、想定される様々なシチュエーションで精度の高い3Dモデルが生成できるか、他の3Dモデル生成AIとの比較も行いながら検証します。
TripoSRの推しポイントである高速かつ高品質な3Dモデル生成は本当なのか検証してみた
ここからは、TripoSRの実用性を検証するため、活用が想定される様々な分野のシチュエーションで精度の高い3Dモデルが生成できるか検証します。
またTripoSRと同じ3Dモデル生成AIであるOne-2-3-45とOpenLRMとの比較も同時に行います。
果たしてTripoSRは、実際の業務でも活用できるほどの性能を有しているのでしょうか？
なお、今回の比較検証では、TripoSRはV100 GPUで、One-2-3-45とOpenLRMはデモを使用するためA10Gで実行します。
早速検証していきましょう！
製品設計
TripoSRのような3Dモデル生成AIは、製造業の製品設計のような業務に活用可能です。
1枚の画像から精度の高い3Dモデルを生成できれば、3Dモデリングの作業が大幅に効率化されます。
そこで、以下のボルトの画像を入力して3Dモデルを生成してもらいます。
結果はこのようになりました。
TripoSR
8秒ほどでこの3Dモデルを生成してくれました。
一枚の画像からと考えればなかなかの精度だと思いますが、実用的なレベルではないと感じます。
OpenLRM
こちらはA10Gで、約20秒ほどで生成してくれました。
品質はTripoSRとほぼ同等ですが、生成時間はTripoSRの方が遥かに速いです。
One-2-3-45
One-2-3-45は、この中で最も低い品質の3Dモデルを生成しました。
テクスチャも反映されておらず、こちらも実用的なレベルではないようです。
ちなみに生成時間は20秒ほどでした。
ゲームキャラクター
続いて、ゲームのキャラクターの画像を入力して3Dモデルを生成させます。
ゲーム開発においても、キャラクターや環境、アイテムなどの3Dモデルを作成してゲーム内で使用するため、TripoSRのような3Dモデル生成AIによって開発作業が大幅に効率化されるでしょう。
以下の画像を入力します。
この手のモデルは立体感のない画像は苦手そうですが、結果はどうなるでしょうか。
見ていきましょう！
TripoSR
今度は6秒ほどでこの3Dモデルを生成してくれました。
かなり高速ですが、やはり二次元の画像はは平面なので立体化しにくいのか、かなりバランスの悪い3Dモデルになってしまっています。
OpenLRM
OpenLRMは、約20秒ほどでこの3Dモデルを生成してくれました。
こちらは全体的に薄っぺらいですが、TripoSRのようないびつさはなく、バランスはとれています。
しかし、まだまだ実用的なレベルには至っていないです。
One-2-3-45
こちらはテクスチャが反映されておらず、分かりにくいですが、3Dモデルの品質は悪いです。
また、One-2-3-45はこの3Dモデルを生成するのに1分以上かかっており、その性能は他の2つと比較して低いと言わざるを得ません。
美術品
TripoSRは、美術館に展示されているような美術品の画像から3Dモデルを生成し、デジタルアーカイブとして保存したり、バーチャル美術館としてそのモデルをオンライン上で公開するといったことにも活用可能です。
この検証では、以下の彫刻の画像を入力し、高い精度で3D化できるか検証します。
髭や髪の毛など、凹凸がかなりありますが、どこまで再現してくれるのでしょうか。
見ていきましょう！
TripoSR
今回はなんと4秒ほどで3Dモデルを生成してくれました。
ですが、肝心の3Dモデルの品質はというと、画像に写っている部分は非常によくできているのですが、写っていない背面は全くダメで、かなりバランスの悪いモデルになってしまっています。
OpenLRM
こちらは、先ほどと同様に約20秒ほどでこのモデルを生成してくれました。
TripoSRと違い、背面もかなり頑張って生成してくれていますが、やはり画像に写っていない部分の品質はかなり悪いです。
One-2-3-45
One-2-3-45が生成した3Dモデルは、またテクスチャが反映されていないので分かりにくいですが、いびつな形をしており、こちらも品質は良くないです。
今回の検証では、TripoSRの実用性を検証するため、活用が想定される様々な分野のシチュエーションで精度の高い3Dモデルが生成できるか検証しました。
結果は、TripoSR含め、今回検証したすべての3Dモデル生成AIは実用的なレベルには至っておらず、まだまだ進化の余地があると感じました。
また、公式発表ではTripoSRはOpenLRMより大幅に高い品質の3Dモデルを生成できるとされていましたが、実際はそこまで差があるようには感じませんでした。
ただ、生成速度に関してはGPUの差を考慮してもTripoSRが圧倒的速かったので、総合的な性能はTripoSRが最も高いと言えそうです。
このように、まだ実用的なレベルには至っていないものの、今後のアップデート次第では実用的なレベルに達して、3Dモデリングを必要とする多くの業務を効率化させる革命的なツールになるポテンシャルを秘めていると思います。
TripoSRは、オープンソースで誰でも使用可能なので、気になった方は是非試してみてください！
なお、同じく一枚の画像から3Dモデルを生成可能なDreamGaussianについて知りたい方はこちらの記事をご覧ください。
→【DreamGaussian】必要なのは1枚の画像、1分で3D画像を作る画像生成AIの使い方やインストール方法
TripoSRは高速と高品質を兼ね備えた最高クラスの3Dモデル生成AI
TripoSRは、Stability AIがTripo AIと提携し、共同開発した最新の3Dモデル生成AIです。
このモデルは、高性能GPUで動作させれば、1秒以内に単一の画像から高品質な3Dモデルを生成でき、NVIDIA A100GPUを使用すると、なんと0.5秒未満で3Dモデルを生成できます。
また、生成速度だけではなく、品質も従来のものと比較して向上しており、これは「LRM: Large Reconstruction Model for Single Image to 3D」という論文にインスパイアされ、モデルやトレーニング等の改善を行った結果です。
実際に使用した結果、他のモデルと比較して、生成速度が非常に速く、それなりの品質の3Dモデルを生成してくれますが、まだ実際の業務で使用できるレベルには達していないと感じました。
また、他のモデルとの比較でも、発表されているほどの性能差があるようには感じられませんでした。
TripoSRは、オンラインデモも公開されており、GPUのない環境でも実行できるため、気軽に使用できます。もしこの記事を読んで気になった方は、是非試してみてください！
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
生成AIを社内で活用していきたい方へ
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
