マルチモーダルAIとは？特徴やできること、代表例を解説
近年、AIモデルのなかでも、特に高い注目を浴びているマルチモーダルAIのことはご存知でしょうか。
マルチモーダルAIは、画像とテキストの組み合わせをはじめとした複数情報の入力に対応しており、それぞれの関係性を理解してより高精度な情報を出力できます。
音声データと動画データから新しい動画を生成するといったことも可能になるので、今までのように複数のAIモデルを併用したり、複数のプラグインを導入する必要はもうありません！
この記事では、マルチモーダルAIの概要やできること、代表モデルをご紹介します。
最後まで読めば、マルチモーダルAIの特徴を理解できるので、マルチモーダルAIを活用したサービスの導入をいち早く検討できるようになるでしょう。ぜひ最後までご覧ください。
なお弊社では、マルチモーダルAIの導入について1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる
マルチモーダルAIとは
マルチモーダルAIとは、テキスト・画像・音声・映像など、異なる種類の情報を複数同時に処理できるAIのことです。単一の情報だけを処理するシングルモーダルAIよりも、より複雑な情報を理解できるほか、異なる情報同士の関係を把握することもできます。
なお、「モーダル」とは入力情報という意味を示しており、2種類以上の情報を入力できるAIを「マルチモーダルAI」と呼んでいます。
なお、生成AIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
マルチモーダルAIとシングルモーダルAIの違い
| AIの種類 | マルチモーダルAI | シングルモーダルAI |
|---|---|---|
| データの種類 | 複数のモードを組み合わせて処理できる（テキスト、画像、音声など） | 単一のモードのみを処理できる（テキストまたは画像など） |
| 処理能力 | 異なるモード間の関係を理解できる | 各モードを個別に処理する |
| 実用例 | 画像とテキストの関連性分析、動画解析など | テキスト分析、画像認識など |
マルチモーダルAIは複数の情報（モード）を組み合わせ、それらの関連性を把握できるので、より高精度な情報を出力して複雑な問題に向き合うことが可能です。人間に例えるとわかりやすいのですが、マルチモーダルAIは、人間が視覚と聴覚を使って情報を得ている状態に該当します。
一方、シングルモーダルAIは、入力情報が1種類に制限されているので、テキスト分析や画像認識などを個別に処理することしかできません。人間でいうと、視覚情報のみで状況を分析しようとしているのと同じですね。
よって、比較的単純な業務にはシングルモーダルAI、高度で複雑な業務にはマルチモーダルAIの導入が向いています。
マルチモーダルAIにできること
マルチモーダルAIは、テキスト・画像・音声・動画といった、異なる種類の情報を組み合わせることで、さまざまな業務を可能します。
情報の組み合わせごとにできることを紹介するので、ぜひ参考にしてみてください。
テキスト・画像間の入出力
テキストと画像間の入出力に対応しているマルチモーダルAIでは、入力したテキスト情報をもとに画像を出力することが可能です。逆に、画像情報を入力して、分析結果をテキスト情報で出力することもできます。
また、テキストと画像の情報を同時に入力して、画像情報に対する分析をテキストのプロンプトで指示することも可能とのこと。マルチモーダルAIの代表格ともいえる「GPT-4」は、すでに問題文と図を参照する物理の問題を解けるという情報まで出ています。
参考記事：GPT-4で「マルチモーダル」の威力痛感、アプリの世代交代に技術者は生き残れるか
テキスト・音声間の入出力
テキスト・音声間の入出力に対応したマルチモーダルAIでは、テキスト情報を音声に変換したり、音声をテキスト情報に変換したりできます。主に翻訳を自然に行える点が注目されており、日本語の音声を英語のテキストに翻訳したり、日本語のテキストを中国語の音声に翻訳できるのが特徴です。
一方、通常の翻訳ツールでは、日本語テキストを入力したら英語のテキストを返すことしかできません。テキスト・音声間のマルチモーダルAIが普及すれば、異なる言語を扱う人同士のコミュニケーションがより円滑に図れるようになるでしょう。
また、会議中の音声データをテキストデータとして文字起こしして、議事録作成の手間を軽減することも可能です。
テキスト・動画間の入出力
テキスト・動画間の入出力に対応したマルチモーダルAIは、入力したテキスト情報をもとに動画を作成できます。逆に、動画情報を入力すれば、解析結果をテキストで説明することも可能です。
また、テキストと動画の両方を入力情報としてAIに提供すれば、より高度な分析や予測ができるようになります。防犯対策や危険の察知に役立ちそうですね！
画像・音声間の入出力
画像・音声間の入出力に対応したマルチモーダルAIは、画像と音声情報を入力することで、2つの情報を合成して出力することが可能です。すでに「ChatGPT」の新機能として実装されており、テキストと数秒間のサンプル音声を入力するだけで、あたかもその人がしゃべっているかのようにテキストを読み上げられるとのこと。
ただし、有名人になりすまして悪用される危険性もあるため、プロの声優の協力を得て作成した5つのボイスから好みの音声を選ぶ仕組みを採用しています。この技術を活用すれば、コンテンツ作成の完成度や作成効率を高められそうですね！
参考記事：「ChatGPT」が見て、聞いて、話せるように ～音声・画像対応のマルチモーダルAI
画像・動画間の入出力
画像・動画間の入出力に対応したマルチモーダルAIを利用すれば、1枚の静止画から短時間の動画を生成できます。外観の一貫性を保ちながら、滑らかな動きを表現できるようになるので、今後は広告やLPなどで活用されていくでしょう。
また、被写体を変えて新たな動画を作成することもできるので、さまざまな使い道がありそうです。
参考記事：1枚の静止画から動画作成する「AnimateDiff」、Googleの画像学習改良版「HyperDreamBooth」など5本の重要論文を解説（生成AIウィークリー）
音声・動画間の入出力
音声・動画間の入出力に対応したマルチモーダルAIは、主に行動認識で役立てることができます。たとえば、監視カメラにマルチモーダルAIを搭載することで、音声と動画の両方の情報を読み取れるようになるというわけです。
従来の動画情報のみを読み取れるカメラでは、複数人が建物内でたむろしていても特に問題は検出されません。しかし、動画と音声情報を認識できるマルチモーダルAIなら、音声から「大声で会話している」という状況を認識して、トラブルの防止策を実行できるようになります。
1つのプロンプトで動画や音声を1発で生成できる「CoDi」が気になる方は、以下の記事を合わせてご確認ください。
代表的なマルチモーダルAI
世の中には、すでにマルチモーダルAIを活用したサービスが多数登場しています。
ここでは、代表的なマルチモーダルAIをご紹介するので、導入を検討してみてください。
GPT-4
GPT-4とは、OpenAI社が公開している自然言語処理AIのことです。主に、「ChatGPT」を中心に言語モデルに取り入れられており、GPT-3やGPT-3.5の上位モデルに該当します。
GPT-4では、テキストと画像の入出力に対応した「GPT-4V」や「DALL-E 3」を利用することで、マルチモーダルAIとしての機能を存分に発揮できますよ。
まず、「GPT-4V」は、画像とテキストの2種類のデータを同時に入力することで、画像に対する説明文を出力できる機能です。画像に対して「これはどのような用途で使われるものなのか？」といった疑問が浮かんだ際に利用してみましょう。
一方、「DALL-E 3」の機能を使うと、ChatGPTにテキスト形式でプロンプトを入力しただけで、対応した画像を出力できます。手軽にイラストを生成したい場合に利用してみてください。
なお、「GPT-4V」について詳しく知りたい方は、下記の記事を合わせてご確認ください。
「DALL-E 3」については、以下の記事で解説しています。
Bard
BardはGoogleが提供している対話型AIサービスです。ChatGPTと同様に、テキストで質問を投げかけると対応した答えを返してくれます。
なお、BardはマルチモーダルAIとして、画像とテキストを複合処理することが可能です。この機能を使えば、画像の分析をテキストで指示できるので、状況を分析する際に活用できるでしょう。
Bardについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
SeamlessM4t
SeamlessM4Tは、Facebook Researchによって開発されたAIモデルです。マルチモーダルAIとして、音声とテキストデータの入出力に対応しており、主に翻訳を得意としています。
SeamlessM4Tを使えば、音声から音声への翻訳はのもちろん、音声からテキスト、テキストから音声への翻訳も可能に。言語が異なる人同士でコミュニケーションを円滑に図れるようになるので、さまざまなサービスに普及されていくことを願いたいですね。
なお、SeamlessM4Tについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
NExT-GPT
NExT-GPTは、テキスト・画像・動画・音声など、さまざまなモダリティの入力に対応しているマルチモーダルAIです。入力した複数の情報を組み合わせ、新しいコンテンツを作成することができます。
たとえば、テキストや画像入力から動画作成、音声や動画入力からテキスト作成といった業務が可能に。まだまだ精度が低いものの、今後は文字起こしや簡単な動画製作など、ほとんどの単純作業を幅広く効率化してくれることでしょう。
なお、NExT-GPTについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
ImageBind
ImageBindは、Metaがオープンソースとして公開しているマルチモーダルAIです。画像・ビデオ・音声・テキスト・深度（3D）・熱（赤外線）・慣性測定単位といった7種類のモダリティを学習でき、モダリティ間の関係性を理解できます。
将来的には、写真のなかの物体が「熱いのか、冷たいのか」「どのような音を発するのか」という情報を一度に取得する機械を開発できる可能性があるとのこと。さまざまな現場で危険予測などに役立てられそうですね。
参考記事：Meta、6種類のデータを処理できるマルチモーダルAI「ImageBind」をオープンソースで公開
Gen-2 by Runway
Gen-2 by Runwayは、テキスト・画像・動画などのデータから新しい動画を生成できるマルチモーダルAIです。入力情報としてテキストや画像を入力するだけで、簡単操作で動画を生成できます。
また、Gen-2 by Runwayは、ブラウザ上で動画を生成できるのも嬉しいポイント。専用ツールやソースコードなどをPCにインストールしなくてよいので、ハイスペックなPCを用意する必要がありません。無料かつ、手軽に動画生成を楽しみたい方におすすめです。
MM-Diffusion
MM-Diffusionは、音声と映像をセットで生成できるマルチモーダルAIです。このモデルには、結合された2つのノイズ除去オートエンコーダを搭載しているので、高品質なコンテンツを生成できます。
実際にMM-Diffusionを活用しているサービスはあまり確認されていませんが、動画コンテンツの作成を効率化するためにも、サービスの普及を期待したいですね！
参考記事：MM-Diffusion: オーディオとビデオの共同生成のためのマルチモーダル拡散モデルの学習
【無料】2023年11月版｜生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIの業務活用コンサルティング
・システム間API連携
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
マルチモーダルAIの将来性
マルチモーダルAIは高い注目を浴びており、現在ではさまざまな企業が開発を行っています。日々精度が向上しているので、今後は幅広い分野で導入が進むでしょう。
具体的には、医療分野における診察精度の向上や病気の早期発見、製造分野における異常検知などが挙げられます。私たち人間が安心して快適に暮らしていくための基盤になり得るので、今後の展望に期待しましょう！
なお、ChatGPTの最新活用事例が気になる方は、以下の記事を合わせてご確認ください。
マルチモーダルAIの可能性について
マルチモーダルAIは、テキスト・画像・音声・動画など、異なる情報を同時に処理したり、出力したりするAI技術のことです。複雑なタスクの解決や自然な相互作用を可能にするので、AIがより人間に近い感覚でタスクをこなせるようになるでしょう。
なお、マルチモーダルAIの対義語としてシングルモーダルAIがありますが、両者の違いは以下の通りです。
| AIの種類 | マルチモーダルAI | シングルモーダルAI |
|---|---|---|
| データの種類 | 複数のモードを組み合わせて処理できる（テキスト、画像、音声など） | 単一のモードのみを処理できる（テキストまたは画像など） |
| 処理能力 | 異なるモード間の関係を理解できる | 各モードを個別に処理する |
| 実用例 | 画像とテキストの関連性分析、動画解析など | テキスト分析、画像認識など |
両者の大きな違いは、単一の情報を処理するか、複数の情報を処理するかの違いです。マルチモーダルAIは、異なるモード間の関係を理解できるので、より高精度で複雑な情報を出力できます。
また、マルチモーダルAIでできることを以下にまとめました。
- テキスト・画像間の入出力
- テキスト・音声間の入出力
- テキスト・動画間の入出力
- 画像・音声間の入出力
- 画像・動画間の入出力
- 音声・動画間の入出力
上記の入出力は、以下の代表的なマルチモーダルAIを利用することでこなせるようになります。
- GPT-4
- Bard
- SeamlessM4t
- NExT-GPT
- ImageBind
- Gen-2 by Runway
- MM-Diffusion
上記以外にも、マルチモーダルAIは多数登場しており、今後も増え続けることが予想されます。精度が向上し、より利便性が増していくことでしょう。
今後もマルチモーダルAIに着目し、自身の業務に取り入れられるモデルを見つけた際は積極的に導入を検討してみてください！
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「1時間の無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
