【Genie2】テキストや画像から3D仮想世界を生成！仕組みと生成された世界を徹底解説

皆様は「Genie 2」をご存じでしょうか。これはGoogle DeepMindが発表したテキストや画像から3D仮想世界を生成する基盤世界モデルです。

今回はそんな「Genie 2」の特徴や生成例をご紹介します。こんなことがAIで生成できるんだ、と思いながら、ぜひ最後まで楽しんで読んでください。

Genie 2とは

アメリカGoogleの傘下であるGoogle DeepMindは現地時間12月4日に「Genie 2」を発表。「Genie 2」はテキストや画像から3D仮想世界を生成する基盤世界モデルです。Genie 2で生成した仮想世界を、キーボードとマウスの操作で移動できます。

Google DeepMindは以前、前モデルの「Genie」を発表しました。Genieは2D環境の生成に特化していたのに対し、Genie 2ではリアルな3D空間を作成可能となり、AIや人間の行動をより直感的に模擬できるよう進化しています。

Google DeepMindは「ゲーム」を設立当初からとても重要なテーマとしており、ゲーム開発者と協力して、ジェネラルエージェント（さまざまな状況に対応できるAI）の研究に取り組んできました。その中で、具現化エージェント（具体的に行動するAI）を作ることが困難だったと述べています。※1

Genie 2 を使うと、仮想空間でボタンを押すとキャラクターが動くといった動作が可能。これにより、研究者は新しい環境で簡単に実験を行い、AIをトレーニングしたりテストしたりするのが楽になります。

なお、Genieについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

あわせて読みたい

【Genie】Googleが公開した仮想世界を作り出す「世界創造モデル」の仕組みを徹底解剖 WEELメディア事業部LLMリサーチャーの中田です。 2024年2月23日、GoogleのDeepMindから「Genie」というゲーム生成AIモデルが公開されました！ このモデルによって、1つ…

Genie 2の特徴

Genie 2はAIやロボットが周囲の世界の仕組みやルールを理解し、予測するために作る内部モデル（ワールドモデル）です。これにより、さまざまなアクションを仮想世界でシミュレートできます。具体的な特徴を見ていきましょう。

①3Dの仮想世界を生成可能

Genie 2ではGoogle DeepMindの最先端画像生成モデルの「Imagen3」で生成した1つの画像が表示されます。

 Imagen3は非常に高い自然言語理解力を持っており、詳細なテキストの指示で画像の生成が可能です。さらにImagen3で生成された画像は指示に対して非常に正確な画像を作り出すだけでなく、驚くほどリアルで細部までこだわった画像を生成します。

そんなImagen3で生成された画像をもとに3D環境を生成し仮想世界ができるため、リアルで高解像度の空間の生成が可能です。

②仮想世界を探索することもできる

人やAI（エージェント）がキーボードやマウスを使って操作すると、その結果をシミュレーションして画面に反映します。たとえば、矢印キーを押すと、木や雲ではなくロボットを動かすべきだ、ということを理解して正しく動くことが可能です。

さらに、同じ場面からさまざまな動き方を試すことができるので、AIを効率的にトレーニングできます。同じスタート画面からでも、人が押すキーや選ぶ行動が違えば、結果も変わります。これにより、AIは「もし別の選択をしていたらどうなるか」を学ぶことができ、より柔軟な対応が可能です。

③さまざまな視点を作成可能

ゲームのキャラクターを動かす、と聞いたときどのようなキャラクターの姿が思い浮かぶでしょうか。キャラクターの後ろ姿、キャラクターの手だけ見えている姿などが思い浮かぶと思います。ゲームによってどのような視点でキャラクターを見るか変わりますが、その視点の違いに対応可能です。

また、キャラクターの目線に合わせて景色を変えることができます。例えば、最初は正面から見た景色が広がっていますが、目線を下にすると、上から見たアングルの景色が見えますが、この視線の変更に対応可能です。元の正面の視線に戻したときに同じ世界が生成される点も特徴と言えます。

④生成できるのは約1分程度

生成された仮想世界の中で行動ができるのは1分程度です。歩くだけで景色は変わりますので、常に空間が生成されているといえます。そのため、生成し続けられる時間の限界が1分程度なのです。

ただし、逆を言えば生成可能な1分間の間は仮想世界を維持できます。また、Genie 2ではドアを開けるという動作も可能です。現実世界でも基本的に景色が変わるように、仮想世界でもドアを開けたら最初に生成された景色とは違う景色になります。そんな景色の違いにも、世界観を維持しながら対応可能です。

Genie 2で生成された仮想世界

Genie 2の特徴をご紹介しましたが、この章では具体的に生成された仮想世界を紹介していきます。

①森の中を歩く人型ロボット

まず、森の中を歩く人型ロボットの例を見ていきましょう。

この状態からキーボードやマウスの操作をすると、人型ロボットが動きます。人型ロボットが動くことは我々からしたら当たり前のことだと思うかもしれません。

しかし、人型ロボット以外にも木や植物がある3D画像の中から、人型ロボットが動くように指示をしなくても人型ロボットが動く、というのは進化を感じずにはいられません。

②古代エジプトを歩く人型ロボット。

次は、古代エジプトを歩く人型ロボットの例です。

Genie 2 は、視界に入らなくなった世界の部分を記憶し、再び視界に入ったときに同じ景色が広がるように画像の生成をします。

ロボットを上から見るような視点にした後、元の後ろから見る視点に戻したとき、1枚目の画像で見える景色と同じ景色が見えました。

③紫色の惑星上を冒険するロボット

こちらは紫色の惑星上を冒険するロボットの例ですが、2つポイントがあります。

一つ目のポイントは、これまでの例と視点が変わっている点です。例の①②ではキャラクターを後ろから見た視点でしたが、今回はキャラクターの目線から世界を見ているような視点になっています。

二つ目のポイントは、実在しない世界観の生成が可能な点です。皆様は実際に「紫色の惑星」を見たことはあるでしょうか。おそらく「ない」という答えが多いと思いますが、この例では紫色の惑星が生成されています。このようにGenie 2では実世界の写真やコンセプトアートから、存在しない環境を生成することも可能です。

「こんな世界観を作りたい」という思いやアイデアを文章にして指示をするだけで、その世界が作られるというのは、ゲームの作成時間の短縮につながるでしょう。

④大都市のロフトアパートにいるロボット

こちらは大都市のロフトアパートにいるロボットの例です。

文章の指示だけでその世界を作ることができる例の一つです。自分はロボットキャラクターで、大都市のロフトアパートの中にいる、という状況はゲームでありそうな場面ですよね。このような世界観を生成AIで簡単に作ることができるのは魅力的です。

⑤水上を走る乗り物

次は水上を走る乗り物の例です。Genie 2 は水の効果をモデル化できます。車を動かすことで水面がどのように変化するのかを学習しており、車が動いた方向に合わせて水に動きを出すことが可能です。

⑥荒野を走る人

荒野を走る人の様子を1分間見た例です。Genie 2では最大1分間一貫した世界を維持します。この例では荒野を1分間さまざまな動作で移動しながら、同じ世界観で場所を移動している様子が見られます。

⑦煙が出ている火山

今度は煙が出ている火山の例です。少し戻りますが、⑤で水に動きを出せることを例にあげました。今回は煙です。煙の形が一定ではなく、実際の煙のようにもくもくと動いている様子が分かります。

⑧空を飛んでいるドラゴン

最後に空を飛んでいるドラゴンです。Genie 2では飛ぶキャラクターがどのように動くかもシミュレートできます。飛ぶものはドラゴン以外にも紙飛行機、タカ、パラシュートなどさまざまなキャラクターが可能です。

さらに、飛ぶキャラクターの特徴に合わせてどう飛ぶかをモデル化し、それぞれのキャラクターが動く様子をどれだけスムーズに動かせるかを確認できます。

Genie 2で変わる3D世界

今回はGoogle DeepMindが発表したGenie 2を紹介しました。

Genie 2はImagen3で高度な画像を生成し、それを3Dモデルにして仮想空間の生成が可能です。さらに生成された仮想空間でさまざまな行動をシミュレートできます。これはゲームの作成に大いに貢献するでしょう。

Genie 2の研究はまだ始まったばかりです。研究チームは、これからも仮想世界を作る能力をもっと幅広く、一貫性のあるものにするために努力を続けると話しています。

この記事を読んでGenie 2に興味を持った方は、ぜひ今後の進展に注目してください！

最後に

いかがだったでしょうか？

3D仮想世界の生成を活用することで、製品デザインのシミュレーションや製品の使用状況をリアルに再現することが可能です。デザインの迅速な改良や使用感の検証が容易になり、コスト削減や製品価値の向上に繋がります。この機会に、新たな可能性を模索してみませんか？

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、通勤時間に読めるメルマガを配信しています。

最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

メルマガに登録する

資料をダウンロードする