【Google Magenta realtime】演奏と生成が融合！Google発リアルタイム音楽AIを徹底解説
- 演奏と同時に音楽を生成できるGoogle発の生成AIで、ライブ演奏など即興性が求められる場面に最適
- 約19万時間の楽曲データをもとに高音質なステレオ音声をリアルタイム出力できる
- Apache 2.0／CC BY 4.0で商用利用が可能だが、Colabでの動作は安定しておらず今後の改善に期待
2025年6月20日、Googleから新たなAIモデルがリリースされました！
今回発表されたのは「Magenta realtime」。
Google DeepMindによって開発されたリアルタイム音楽生成のためのオープンウェイトモデルです。このモデルは従来の音楽生成モデルと異なり、「演奏しながら生成する」という特徴があります。
本記事では、Magenta realtimeの概要から特徴、使い方について解説をします。ぜひ最後までお読みください！
Magenta realtimeの概要
Google DeepMindによって開発されたリアルタイム音楽生成のためのオープンウェイトモデル。従来の音楽生成モデルと異なり、「演奏しながら生成する」という特徴を持ち、ライブパフォーマンスに適した設計になっています。
技術的な詳細はまだPaperが公開されていません。(※2025年6月24日時点)
現時点で公開されている技術の概要として、モデルは約8億のパラメータを持つオートレグレッシブTransformerベースで、連続生成のために、10秒間の過去の音声トークン（context）とスタイル埋め込みを使って、2秒間の新しい音声を逐次生成します。
さらに、チャンク間のつなぎ目はクロスフェード処理を用いて自然になるように作られています。
Colabの無料版TPU(v2-8 TPU)では、この2秒間のオーディオは1.25秒で生成され、リアルタイム係数は1.6になります。
Magenta realtimeで生成される音
Magenta realtimeで生成される音はステレオ48kHzのHi-Fi音質であり、モデルはpectroStreamコーデックを通じて、48kHz・ステレオの音声をトークン化・復元する設計になっています。これはSoundStreamの後継であり、従来よりも格段に自然な音質が得られる構造です。
また、訓練データは約19万時間の主にインストゥルメンタル音楽(非ボーカル)で構成されており、多様なジャンルの実際の演奏音が含まれており、その結果ピアノやギター、ドラム、ベース、シンセサイザーなどの多楽器アンサンブルを模した出力が可能。
音楽のジャンルはトレーニングデータの関係上、西洋的ポピュラー音楽(ロック、ポップ、ジャズ、クラシックなど)に強く、民族音楽やボーカル中心ジャンルは不得意。
また、モデルが記憶できるのは10秒間のみであり、2秒単位の音を生成します。そのため、短いリフやループ、フレーズ単位の音楽には強い一方で、Aメロ→Bメロ→サビのような長時間の楽曲生成には不向き。
さらに、歌詞付きの歌声は非対応であり、非言語的なハミングやスキャットとして生成されますが、意味を持った言葉は生成されません。
Magenta realtimeのライセンス
Magenta realtimeのライセンスはApacheライセンス2.0です。そのため、商用利用は可能、再配布や改変なども可能ですが、著作権表示とライセンス表記の保持義務はあります。
| 利用用途 | 可否 |
|---|---|
| 商用利用 | ⭕️ |
| 改変 | ⭕️ |
| 配布 | ⭕️ |
| 特許使用 | ⭕️ |
| 私的使用 | ⭕️ |
また、Google Cloud StorageやHugging Faceで提供されているモデルの重みファイルについては、CC BY 4.0のため、出典の表示が必須であるのと、改変して利用する場合には明記が必要です。
さらに、Googleは上記ライセンスの他に下記の使用上の注意と制限を明示しています。
【許可事項】
- 人間との共創支援（human-AI interaction）
- 音楽教育、即興演奏、ライブ創作
- ゲームやアートインスタレーション
【禁止事項】
- 著作権侵害にあたる出力の生成
- 文化的に不適切な内容（暴力、差別など）の生成
- アウトプットの責任逃れ：「出力物の使用における責任はユーザーにある」と明示。
ここまでのMagenta realtimeライセンスについてまとめると以下のようになります。
| 項目 | ライセンス | 商用利用 | 改変・再配布 | クレジット表示 | 注意事項 |
|---|---|---|---|---|---|
| ソースコード | Apache 2.0 | 可 | 可 | 必須 | 特許使用許諾含む |
| モデル重み | CC BY 4.0 | 可 | 可 | 必須 | 出力物の責任はユーザーに帰属 |
| 使用条件 | Google独自の追加規定 | 条件付き | 条件付き | 利用目的に準拠 | 著作権侵害や不適切出力は禁止 |
なお、Google発の高速・低コスト・高精度なマルチモーダル対応の軽量LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
Magenta realtimeの使い方
では実際にMagenta realtimeをGoogle Colaboratoryで使っていきましょう。
Google Colaboratoryのコード自体は用意されているので、こちらを使っていきます。また、GitHubにも上がっています。
使ってみたところ、エラーが出てしまったので、別のNotebookでコーディングしたりVast.aiでGPUを借りて1からコーディングしてみましたが、やはり実装は不可能でした。
GitHubのIssueにもGoogle Colaboratoryのファイルが壊れているという内容が上がっていましたが、バージョンを合わせて実行してもやはりダメでした。
まとめ
本記事ではMagenta realtimeの概要や使い方について解説しました。公式でGoogle Colaboratoryのデモが用意されていましたが、GitHubのIssueが立っているように、Google Colaboratoryでは実行することができませんでした。
私は数時間格闘しましたが、やはり実行することはできず、今後のアップデートを待つことになりそうです。
また、今後は以下のようなアプリケーションがデバイス上で動作するように開発を行う、技術レポートの公開、微調整のためのColab、リアルタイムオーディオ入力の調整のためのColabといった点を公開していくようです。
まだまだMagenta realtimeから目は離せなさそうですね！
最後に
いかがだったでしょうか？
演奏と生成がシームレスにつながる新体験。即興性と表現力を兼ね備えた音楽AIで、創作現場を革新しませんか。
株式会社WEELは、自社・業務特化の効果が出るAIプロダクト開発が強みです！
開発実績として、
・新規事業室での「リサーチ」「分析」「事業計画検討」を70％自動化するAIエージェント
・社内お問い合わせの1次回答を自動化するRAG型のチャットボット
・過去事例や最新情報を加味して、10秒で記事のたたき台を作成できるAIプロダクト
・お客様からのメール対応の工数を80％削減したAIメール
・サーバーやAI PCを活用したオンプレでの生成AI活用
・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタント
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
