【Latent Consistency Model（LCM）】最新画像生成AIを使って、高品質の変顔画像を作ってみた

2023-11-222023-12-02

メディア事業部AIライターの中井とLLMリサーチャーの中田です。この記事は専門的な内容を含むため、AIスペシャリストとの共同執筆となっています。

皆さんは、2023年10月に論文発表されたLatente Consistency Modelを知っていますか？

Latente Consistency Modelは、Latent Diffusion Modelsの効率を向上させるために開発された新世代の生成モデルです。

Latente Consistency Modelの最大の特徴は、高速に高品質な画像を生成できることです！特に、768×768ピクセルの画像を生成する際、Latente Consistency Modelは2〜4ステップで完了します。そのために必要なトレーニング時間は、約32A100GPU時間と非常に短いです。

そのため、Latente Consistency Modelを使用することで、Latent Diffusion Modelsの生成の速度と効率を改善できるのです。

この記事では、Latente Consistency Modelの概要や導入方法、実際に使ってみた感想を紹介します。

最後まで読んでいただくことで、Latente Consistency Modelの使い方がわかり、高解像度の画像をより速く効率的に生成できるようになるでしょう。

ぜひ最後までお読みいただき、参考にしてください！

なお弊社では、生成AIの開発についての1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

Latent Consistency Modelの概要

Latente Consistency Modelは、画像生成の効率を大幅に向上させた新しい技術です。このモデルは、画像潜在空間で一貫性モデルを採用し、トレーニング済みの潜在拡散モデルに対して、高速で高品質なサンプリングを可能にします。

従来のLatent Diffusion Modelsよりも高速で反復的なプロセスを減らすことで、高品質な画像を迅速に生成します。

Latente Consistency Modelは、768×768の高解像度画像を、わずか2〜4ステップで生成可能です。Latente Consistency Modelは、約32A100GPU時間でトレーニングされ、Stable Diffusionモデルからの情報を蒸留して使用します。

さらに、Latent Consistency Fine-tuningという技術を使用することで、あらかじめトレーニングされたモデルをカスタマイズ可能です。

具体的には、カスタマイズされた画像データセットに対して、あらかじめトレーニングされたモデルを微調整することで、高品質な画像を生成できます。

要するに、Latente Consistency Modelは高速で高品質な画像生成を実現するための画期的な方法であると言えます。

なお、ファインチューニングについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【やってみた】GPT3.5 Turboのファインチューニングで岸田総理ボット開発するまで

Latent Consistency Modelの料金体系

Latent Consistency ModelsはOSSであるため無料で使用できます。

Latent Consistency Modelの使い方

今回はGoogle Colabでの使い方を、ご紹介します。ちなみに、T4 GPUでも難なく動かせました。まずは、以下のコードを実行して、必要なライブラリをインストールしましょう。

!pip install --upgrade diffusers  # make sure to use at least diffusers >= 0.22
!pip install transformers accelerate

次に、モデルのロードを行いましょう。

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")

# To save GPU memory, torch.float16 can be used, but it may compromise image quality.
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

最後に、プロンプトを入力して、テキストから画像を生成します。ここでは、リポジトリの例にもある「Self-portrait oil painting, a beautiful cyborg with golden hair, 8k（自画像油絵、金色の髪の美しいサイボーグ、8K）」を入力してみます。

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

これで画像が生成されたので、その画像を以下のコードを実行して、ダウンロードしましょう。

images[0].save("output.png")

LCMによって生成されたoutput.pngは、以下の通りです。

精度は普通に高いですね！

これを従来の拡散モデルに比べて、高速にやってのけるのだから、大したものですね。

なお、自社データを学習させて自社独自のAIを作る方法について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→ChatGPTに自社データを学習させる方法、情シスに多い悩み別に紹介

Latent Consistency Modelを実際に使ってみた

ここでは、「Elon 〇〇 making a funny face.（変顔をするイーロン・〇〇）」というプロンプトを入力してみます。結果は以下の通りです。

似ていなくはないですね。ただこれは変顔なのか？

ただ、生成速度は驚異の7秒でした。精度も申し分ないので、素晴らしいと思います！ただ、まだ少しAIっぽさがある点が気になります。

次のセクションでは、この結果を用いて、従来のStable DiffusionとLCMを比較します。

なお、自社でAIを開発する方法について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→AIチャットボットの作り方は？自社開発とツール活用の場合に分けて徹底解説！

Latent Consistency Modelの推しポイントである高速な画像生成は本当なのか？

ここでは、従来のStable DiffusionとLCMを比較するために、以下の2つのポイントに着目して、検証したいと思います。

画像の品質
生成スピード

ここで、プロンプトは同じ文を入力します。Stable Diffusionによって生成された結果は、以下の通りです。

こちらの方が、イーロン・〇〇に似ていますね。

生成速度は13秒でした。こちらもかなり早い！これらを踏まえて、LCMとStable Diffusionの比較を、以下の表にまとめます。ここで、画像の品質については、私の主観で判断しました。

モデル	画像の品質	生成スピード
LCM	イーロン・〇〇に似ているが、変顔ではなかった。少しAIっぽかった	7秒
Stable Diffusion	LCMよりも、イーロン・〇〇に似せることができ、変顔っぽくできた	13秒

個人的には、10秒前後で高品質な画像生成ができるため、どちらも素晴らしいと思いました。ただ、今回のLCMは、生成スピードがさらに強化され、Stable Diffusionに迫る精度を誇るという点では、強力なツールだと言えるでしょう。

まとめ

Latente Consistency Modelは、高品質な画像を高速に生成するツールです。

従来のLatent Diffusion Modelsとは違い、768×768の高解像度画像を、わずか2〜4ステップで生成可能です。また、トレーニング時間も32A100GPU時間で完了するため、短時間で済みます。

また、Latent Consistency Fine-tuningという技術を使用することでトレーニングされたモデルをカスタマイズし、より高品質な画像を生成することも可能です。

Latente Consistency Modelを利用することで、画像生成において作業効率がよくなるでしょう。

ぜひ、活用してみてください！

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「1時間の無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ