【Stable Diffusion 3】ついに公式APIが公開！使い方と料金を徹底解説！
WEELメディア事業部LLMライターのゆうやです。
2024年2月23日、Stability AIから最新の画像生成AIである「Stable Diffusion 3」が公開されました！
2022年のStable Diffusion 1.4のリリース以来、Stability AIはStable Diffusion1.5、2.0 、2.1、XL、XL Turboと次々にバージョンアップモデルをリリースし、今回のStable Diffusion 3を発表しました。
その進化は目覚ましく、Stable Diffusion 3は前バージョンと比較して、複数の主題のプロンプトへの対応力、画像品質、テキスト生成の品質が大幅に向上しています。
以下が、Stable Diffusion 3で生成された画像とそのプロンプトです。
Prompt
Resting on the kitchen table is an embroidered cloth with the text 'good night' and an embroidered baby tiger. Next to the cloth there is a lit candle. The lighting is dim and dramatic.キッチンテーブルの上に置かれているのは、「おやすみなさい」と書かれた刺繍入りの布と、虎の赤ちゃんの刺繍。布の横には火のついたろうそく。照明は薄暗く、ドラマチックだ。
Stable Diffusion 3は、まだ一般公開されておらず、現在は一般公開前の先行プレビューのウェイティングリスト登録が始まっている段階です。
※2024年4月17日に、APIでの利用が可能になりました
そのため、まだ実際に使用することはできませんが、今回は公開されている情報からその概要を紹介します。
是非最後までご覧ください！
なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。
目次
Stable Diffusion 3の概要
Stable Diffusion 3は、2024年2月23日にStability AIが公開した最新の画像生成AIです。
このモデルは、これまでのStable Diffusionシリーズと比較して、複数主題のプロンプト、画質、スペリング能力が大幅に向上しており、現在最も高性能な画像生成AIのうちの一つです。
特に注目すべき点は、従来の画像生成AIでは難しかった画像内での文字の表示も可能になっています。（アルファベット限定）
以下の画像は、Stable Diffusion 3で生成された画像です。
Prompt
Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy色とりどりのエネルギーでできた「Stable Diffusion 3」と書かれた宇宙の呪文を暗い空に唱える、夜の山の上の魔法使いの壮大なアニメ作品。
非常に高品質であることに加え、しっかりと指定した文字が画像内に表記されていますね！
試しに、これと全く同じプロンプトでStable Diffusion 2.1に出力させてみましょう。
結果はこのようになりました。
画像内に文字を表記することはできず、画像の品質もStable Diffusion 3より劣っていることが分かります。
これまでできなかったことができるようになったStable Diffusion 3ですが、更なる性能の向上と安全性評価のため、まだ一般公開はされていません。
現在、先行プレビューのウェイティングリストの登録が始まっており、先行プレビューでのユーザーのフィードバックをもとに更なる性能と安全性の向上が図られます。
ウェイティングリストへの登録は、以下のリンク先から行えるので、気になる方は登録してみてください。
そんなStable Diffusion 3は、800Mから8Bのパラメータを持つモデルが提供され、ユーザーのニーズに最適な形で応えるため、拡張性と品質に関するさまざまなオプションを用意するようです。
具体的な内容は公開されていませんが、おそらく小さいモデルから大きなモデルまで用意することで、様々なプラットフォームから使用できるようにするといった内容でしょう。
ここからは、Stable Diffusion 3で使用されている技術についてやStable Diffusion 3で生成された画像について、DALL-E 3と比較しながら紹介します。
Stable Diffusionをローカル環境で構築する方法について知りたい方は、こちらの記事をご覧ください。
WEEL
Stable Diffusionをローカル環境で構築する方法！メリット・デメリットも徹底解説 | WEEL
Stable Diffusionを使えば、写真のようにリアルな画像を生成したり、高画質なアニメ画像を誰でも短時間で作成できるAIサービスですが、構築する環境によって使い勝手が違う…
Stable Diffusion 3で使用されている技術
ここからは、Stable Diffusion 3で使用されている技術について紹介します。
なお、詳細な技術レポートはまだ公開されていませんので、ここでは軽い概要の紹介のみとなりますが、技術レポートが公開され次第判明した内容を追記します。
拡散トランスフォーマー・アーキテクチャ
Stable Diffusion 3は、拡散トランスフォーマー・アーキテクチャという方法を後述するフローマッチングという技術と組み合わせて使用し、画像を生成しています。
これは、先日公開されて大きな反響を呼んでいるOpen AIのSoraと同様の手法です。
拡散トランスフォーマー（Diffusion Transformer）は、従来の拡散モデルの主要コンポーネントであるU-Net畳み込みニューラルネットワーク（CNN）をトランスフォーマーに置き換えたものです。
これにより、画像からノイズを除去していく学習プロセスを改善しており、主に画像の潜在表現（より単純な形式）にノイズを加え、それを徐々に取り除くことで新しい画像を生成します。
このアプローチにより、効率的にスケールアップするだけでなく、より高品質の画像を生成できます。
以下の画像は、拡散トランスフォーマーのスケールアップによる効果を可視化したものです。
さらに、Stability AIのCEO、Emad Mostaque氏は、以下のポストの中で、「さらに拡張できるだけでなく、マルチモーダル入力にも対応できる」と述べています。
これは技術レポートの公開や、モデルの一般公開が楽しみですね！
なお、拡散トランスフォーマー・アーキテクチャの詳細については、以下の論文をお読みください。
Scalable Diffusion Models with Transformers
フロー・マッチング
Stable Diffusion 3では、ランダムなノイズから構造化された画像にスムーズに移行する方法を学習して画像を生成できるAIモデルを作成する技術である「フロー・マッチング」も利用しています。
フロー・マッチングは、連続正規化フロー（Continuous Normalizing Flows、CNF）を効率的に訓練するためのシミュレーションフリーなアプローチを提供し、生成したいデータの種類に応じて、より正確かつ高品質な結果を得ることが可能になります。
フロー・マッチングについて、より詳しく知りたい方は、以下の論文を参照してください。
Flow Matching for Generative Modeling
このように、Stable Diffusion 3は、新しい手法や技術を組み合わせることで、かつてない程高品質な画像生成および拡張性を獲得しました。
さらに、CEOのEmad Mostaque氏は、ユーザーの「Stability AIがより多くの GPU を獲得した場合、SD3とStablevideoをトレーニングしてSoraレベルのモデルを構築できる可能性がある」というポストに対して、以下のように返答しています。
本当に。SD3アーチはビデオや画像以上のものを受け入れることができる。
我々は、この分野で他社の100分の1以下のリソースしか持っていない。
リソースさえあればSoraレベルのモデルを開発できますが、リソースが圧倒的に足りないと言っています。
何とかリソースの問題を解決して、OpenAIに並ぶような企業になってほしいですね！
ここからは、Stable Diffusion 3で実際に生成された画像を紹介していきます。
Stable Diffusion 3で生成された画像をDALL-E 3で生成した画像と比較してみた！
ここからは、Stable Diffusion 3で実際に生成された画像を、同じプロンプトでDALL-E 3で生成した画像と比較しながら紹介します。
早速見ていきましょう！
まずは以下の画像です。
Prompt
cinematic photo of a red apple on a table in a classroom, on the blackboard are the words "go big or go home" written in chalk教室のテーブルの上に置かれた赤いリンゴの映画のような写真、黒板にはチョークで「go big or go home」と書かれている
Stable Diffusion 3
プロンプトが忠実に再現され、指定した文字もしっかり表示されていますね！
以下が同じのプロンプトでDALL-E 3で生成した画像です。
DALL-E 3
さすがDALL-E 3ですね、プロンプトを忠実に再現した高品質な画像を生成してくれました。
クオリティも再現度もほぼ同等であり、Stable Diffusion 3はあのDALL-E 3に迫る性能を有していることが分かります。
もう一枚見てみましょう。
Prompt
Three transparent glass bottles on a wooden table. The one on the left has red liquid and the number 1. The one in the middle has blue liquid and the number 2. The one on the right has green liquid and the number 3. 木のテーブルの上に置かれた3つの透明なガラス瓶。左側には赤い液体と数字の1。真ん中のものには青い液体が入っており、数字は2。右側には緑色の液体と数字の3。
Stable Diffusion 3
こちらもプロンプトを忠実に再現した高品質な画像を生成できていますね。
そしてこちらがDALL-E 3で生成した画像です。
DALL-E 3
こちらもStable Diffusion 3と同様に、プロンプト通りの高品質な画像を生成しました。
今回の比較から、Stable Diffusion 3はDALL-E 3とほぼ同等の性能を有しているといえます。
また、Stable Diffusion 3がDALL-E 3より優れている点として、オープンソースモデルであることが挙げられます。
オープンソースモデルであるため、一般公開後はモデルをローカルにダウンロードして実行することも可能で、さらに出力を変更するための微調整も行うことができます。
Stable Diffusion 3が公開されれば、DALL-E 3レベルの画像生成AIがローカルで実行、チューニングができるようになるかもしれませんね！
なお、今回比較対象にしたDALL・E3について詳しく知りたい方は、下記の記事を合わせてご確認ください。
WEEL
【DALL-E 3】ChatGPTで画像生成する方法！使い方や料金、プロンプトのコツを解説 | WEEL
DALL-E 3の概要や使い方、他の画像生成AIとの比較をご紹介します。DALL-E 3は、OpenAI社が開発した最新の画像生成AIで、2023年10月からChatGPTで使えるようになります。最…
Stable Diffusion 3は、DALL-E 3レベルの超高性能画像生成AI！
Stable Diffusion 3は、2024年2月23日にStability AIが公開した最新の画像生成AIです。
話題沸騰中のOpenAI Soraにも使われている、「拡散トランスフォーマー・アーキテクチャ」という手法を、「フロー・マッチング」という技術と組み合わせることで、これまでにない高品質な画像生成を可能にしています。
具体的には、画像品質の向上やプロンプトの再現度向上はもちろん、これまで難しいといわれていた画像内での文字の表記を実現しています。
Stable Diffusion 3は、更なる安全性や性能の向上のため、先行プレビューのウェイティングリスト登録を行っており、まだ一般公開はされていないため、実際に使用することはできません。
しかし、いくつかStable Diffusion 3で生成された画像が公開されており、それらをDALL-E 3で全く同じプロンプトで生成した画像と比較したところ、ほぼ同等の品質とプロンプト再現度を有していました。
さらに、Stable Diffusion 3はオープンソースモデルであるため、ローカルにダウンロードして実行やチューニングを行って、自分好みにカスタマイズすることも可能であり、その点はユーザー目線で言えばDALL-E 3より優れているといえます。
しかし、今回公開されているStable Diffusion 3で生成された画像は、うまくいったもののみ抽出して公開している可能性があり、実際の性能はまだ分かりません。
さらに、DALL-E 3と同等の性能を有するのはおそらく最大サイズの8Bモデルになると思いますが、それを動かすには、かなり高性能なGPUが必要になるので、その点も課題と言えます。
実際の性能や必要要件などは、一般公開された後に改めてまとめて紹介します。
公開される日が待ちきれませんね！
Stable Diffusion 3 APIの公開
2024年4月17日、Stable Diffusion 3およびStable Diffusion 3 TurboがStability AI Developer Platform APIで利用可能になりました！
Stability AIはこれらのモデルを提供するにあたり、市場で最も高速かつ信頼性の高いAPIプラットフォームであるFireworks AIと提携しています。
現時点でモデルは利用可能ですが、Stability AIは近い将来、Stability AIメンバーシップでモデルのウエイトを利用できるようにすることを目指しています。
また、Stable Diffusion 3を搭載したチャットボットである「Stable Assistant Beta」の早期リリースに参加するユーザーを限定数募集しています。
こちらは、より気軽にStable Diffusion 3を利用して画像を生成できるので、期待大です！
ここからは、Stable Diffusion 3 APIの利用方法を解説し、実際に使ってみたいと思います。
Stable Diffusion 3 APIの使い方
Stable Diffusion 3 APIの利用方法は、以下のサイトに詳しく書かれています。
まずは、Stability AIのアカウントにサインイン（登録していない場合はサインアップ）します。
サインインしたら、画像のようにAPIキーを取得してください。
なお、アカウントを新規作成した場合は25クレジットが無料付与されます。
クレジット残数の確認や、課金などはBillingページから行えます。
これでAPIを利用するための事前準備は完了です。
ここからは実際にPythonを使って、Stable Diffusion 3 APIを利用してみます。
とはいってもその利用方法はそれほど難しくなく、以下のコードを実行するだけです。
import requests
response = requests.post(
f"https://api.stability.ai/v2beta/stable-image/generate/sd3",
headers={
"authorization": f"Bearer Bearer sk-MYAPIKEY",
"accept": "image/*"
},
files={"none": ''},
data={
"prompt": "dog wearing black glasses",
"output_format": "jpeg",
},
)
if response.status_code == 200:
with open("./dog-wearing-glasses.jpeg", 'wb') as file:
file.write(response.content)
else:
raise Exception(str(response.json()))“authorization”の部分には自分のAPIキーを入力し、”prompt”や”output_format”なども必要に応じて変更してください。
また、このコードで指定しているもの以外にも、modeリクエストを追加して、image-to-imageに変更したり、ネガティブプロンプトや出力画像のアスペクト比を設定できます。
なお、SD3 Turboを使用する場合はこのようになります。
import requests
response = requests.post(
f"https://api.stability.ai/v2beta/stable-image/generate/sd3",
headers={
"authorization": f"Bearer Bearer sk-MYAPIKEY",
"accept": "image/*"
},
files={"none": ''},
data={
"model": "sd3-turbo",
"prompt": "dog wearing black glasses",
"output_format": "jpeg",
},
)
if response.status_code == 200:
with open("./dog-wearing-glasses.jpeg", 'wb') as file:
file.write(response.content)
else:
raise Exception(str(response.json()))では、試しにこちらのコードでSD3およびSD3 Turboで同じプロンプトを使用して画像を生成させてみましょう！
SD3
SD3 Turbo
このように、公開前に生成例として公開されていた画像たちと同等の非常に高クオリティな画像を生成してくれました。
ちなみに、SD3は文字を含んだ画像も生成できるので、その機能も試してみましょう。
以下のプロンプトを入力します。
Dog with a collar marked Pochi.ポチと書かれた首輪をつけた犬
結果はこうなりました。
SD3
SD3 Turbo
SD3-Turboのものは、”Pohi”になってしまっていますが、SD3はしっかり指示通りの文字を含んだ画像を生成してくれました。
ここからは、Stable Diffusion 3 APIの料金体系を紹介します。
Stable Diffusion 3 APIの料金体系
Stable Diffusion 3 APIの料金は以下のようになっています。
SD 3は1回の画像生成ごとに6.5クレジット、SD 3 Turboは1回の画像生成ごとに4クレジットかかります。（失敗した場合は料金は発生しません）
これは従来のSDXL 1.0の0.2～0.6クレジットと比較して、かなり高額な料金体系になっています。
なお、$10で1000クレジットを取得できるので、SD 3は1枚あたり$0.065、SD 3 Turboは1枚あたり$0.04です。
参考までにDALL-E3の料金との比較表です。
| モデル | 画質 | 料金 |
|---|---|---|
| SD 3 | – | 0.065ドル/枚 |
| SD 3 Turbo | – | 0.04ドル/枚 |
| DALL-E 3 | Standard | 0.04ドル/枚 |
| DALL-E 3 | Standard | 0.08ドル/枚 |
| DALL-E 3 | HD | 0.08ドル/枚 |
| DALL-E 3 | HD | 0.12ドル/枚 |
DALL-E3と比較すると、決して高いわけではなく、DALL-E3のHD画質のものより安い料金になっています。
Stable Diffusion 3 APIで自分好みの高品質な画像を生成しよう！
Stable Diffusion 3 APIの公開によって、ついにStable Diffusion 3が利用できるようになりました！
使用できるモデルは、Stable Diffusion 3およびStable Diffusion 3 Turboの2種類であり、それぞれの料金はこちらです。
| モデル | 料金 |
|---|---|
| SD 3 | 0.065ドル/枚 |
| SD 3 Turbo | 0.04ドル/枚 |
Stability AIはこれらのモデルを提供するにあたり、市場で最も高速かつ信頼性の高いAPIプラットフォームであるFireworks AIと提携しています。
今回は、PythonでAPIからStable Diffusion 3を使用する方法を紹介しましたが、Hugging Face SpaceやComfyUIで直感的に利用できる方法も続々と公開されています。
リンクを載せておきますので、気になった方はこちらも併せてご確認ください。
皆さんもStable Diffusion 3で自分好みの画像を生成しましょう！
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
生成AIを社内で活用していきたい方へ
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
