【LoRA】画像生成がさらに進化！Stable Diffusionへの導入方法や活用事例、注意点を解説
WEELメディア事業部リサーチャーのいつきです。
突然ですが、みなさんは「LoRA」というAIの学習モデルをご存知でしょうか？
「LoRA」を導入すれば、より自分好みのイラスト生成ができるようになるので、画像生成のクオリティが向上すること間違いありません。
今回の記事では、LoRAを導入するメリットや導入事例を詳しく解説します。
最後まで目を通していただくと、LoRAを用いたハイクオリティの画像生成ができるようになるので、自社サービスにおけるイラストや写真表現の可能性が広がることでしょう。
ぜひ最後までご覧ください。
LoRAとは
LoRAとは「Low-Rank Adaptation」の略で、画像生成AIや大規模言語モデルを効率的に調整できる学習モデルのことを指しています。特定のタスクやジャンルに寄せた出力ができるようにする「ファインチューニング」の際に用いられるのが一般的です。
通常、生成AIの追加学習には多くの計算量が必要ですが、LoRAを導入すればその必要がありません。少ない計算量で追加学習を行えるので、コストや時間的リソースを削減できるのがメリットです。
とくに、リアルな日本人女性やアニメキャラの雰囲気に寄せられるLoRAは高い人気があり、多くのユーザーが活用しています。
なお、ファインチューニングについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
LoRAを導入するメリット
LoRAを導入するメリットは、以下の4つです。
- 少ない計算量で追加学習可能
- クオリティの向上
- 好みの画風に設定可能
- 同一人物の画像生成が可能
とくに、少ない計算量でハイクオリティの画像を生成できるようになる点が魅力です。
以下で、それぞれのメリットを詳しく紹介していくので、ぜひ参考にしてみてください。
少ない計算量で追加学習可能
LoRAは、AIに対して少ない計算量で効率よく追加学習できます。元のモデルのパラメータを直接変更するのではなく、低ランクの行列を導入してパラメータを変更できるためです。
例えば、LoRAの論文のなかでは、GPT-3 175Bモデルにおいて訓練可能なパラメータを10,000倍減らしたと記載されていました。GPUメモリ要件を3倍削減したとも書かれているので、かなり少ない計算量に抑えられていることがわかりますね。
中小企業にとって、高性能なAIの導入はこれまで高いハードルでしたが、LoRAならその壁を乗り越えられそうです。仮にリソースが限られた中小企業でも、自社の顧客データを活用して商品PRの効果を高めることに成功できそうです。予算や人員が限られている中でも、手の届く範囲でAIの恩恵を受けられるのは心強いですね。※1
クオリティの向上
LoRAを導入すると、より詳細なプロンプトが生成画像に反映されるようになるため、生成画像のクオリティが向上します。写真風の画像であれば、よりリアルな人物画像に近づけるのがメリットです。
特にファッションブランドのような業界にとって、魅力的な商品写真は命ですよね。LoRAを取り入れれば、夏の新作水着なら、まるで本物のビーチで撮影したかのような自然な雰囲気の画像が作れます。陽の光を浴びながらポーズを決めるモデルの表情まで、細部にこだわった映えるビジュアルに。ECサイトやインスタグラムに投稿すれば、思わず「欲しい！」と思わせる商品展開が可能になります。
好みの画風に設定可能
LoRAを使用すれば、アニメ風・3D風・映画風など、好みの画風に設定できます。自社サービスを訴求するのに最適なスタイルに設定できるのがメリットです。
ゲーム開発会社がLoRAを活用すれば、新作タイトルのキャラクターデザインをアニメ調にアレンジすることも可能です。若い世代の心をつかむには、やはりアニメテイストは外せないポイントですよね。キャラクターの衣装やポーズも細かく調整できるので、新作の主人公が伝説の剣を構えているようなシーンも思いのままに。プロモーション素材として使えば、ゲームの魅力を存分に引き出せるはずです。
同一人物の画像生成が可能
LoRAを使用すれば、同一人物の画像を続けて生成することもできます。従来の画像生成AIでは、毎回別の人物が生成されてしまっていたので、これは大きなメリットといえますね！
企業が自社のイメージキャラクターをLoRAで生成する場合、例えば「自社のマスコットキャラクターが異なる季節の服装を着ているシーン」を生成できます。春なら満開の桜に映える和装、真夏の海辺でかわいい水着姿、秋の紅葉デートにぴったりなカジュアルコーデ、そして冬には雪景色に映えるあったかコートスタイル。
こうした季節感あふれる装いで、SNSやプロモーション素材に遊び心を取り入れられます。キャラクターの表情や仕草まで一貫して表現できるので、ファンの心をグッとつかむブランディングが実現できるんです。
LoRAとファインチューニングの違い
画像生成AIの世界では、学習方法によって必要な環境が全然違ってきます。LoRAなら、手持ちのモデルはそのままで、ちょっとした調整で済むのです。けれども従来のファインチューニングだと、モデルを根本から作り直すような感じです。実務で使うなら、この違いは結構重要かもしれません。
| LoRA | ファインチューニング | |
|---|---|---|
| パラメータ更新 | 0.1～1%のみ | 全パラメータ |
| 計算時間 | 1-2時間 | 数時間～数日 |
| メモリ使用量 | 1-5GB | 50-350GB |
実際の開発現場では、この違いが開発スピードを大きく左右します。LoRAなら数時間で済む学習が、従来のファインチューニングだと数日かかることも。開発効率を考えると、この時間の差は見逃せないポイントですね。
LoRAとCheckpointとの違い
画像生成AIの保存方法って、実は大きく違うんです。Checkpointは写真を全部保存するような感じで、容量もかなり大きくなります。一方、LoRAは写真の修正履歴だけを残すようなイメージ。だから、すごくコンパクトなんです。
| LoRA | Checkpoint | |
|---|---|---|
| 役割 | 元のモデルに対する差分学習 | モデル全体の学習状態を保存 |
| ファイルサイズ | 数MB程度 | 数GB程度 |
| 用途 | 特定の特徴やスタイルの微調整 | 画像生成の基本的な特徴を決定 |
| 柔軟性 | 複数のLoRAを組み合わせ可能 | 単体で使用 |
| メモリ要件 | 少ない（2-3GB程度） | 大きい（8GB以上推奨） |
面白いのは、この2つを組み合わせて使えることなんです。Checkpointで基本的な画風を決めて、そこにLoRAで細かい調整を加える…といった具合に。パーツごとの微調整が得意なLoRAと、全体的な画風を決めるCheckpointを組み合わせることで、より自由度の高い画像生成が可能になります
LoRAを入手する方法
LoRAモデルを手に入れるなら、知っておきたい2つの場所があります。どっちも特徴が違うので、目的に合わせて使い分けると便利ですよ。
Hugging Face
機械学習界隈では有名なプラットフォームです。技術者向けの資料も山ほどあって、本格的な開発には欠かせない存在。開発者同士のコミュニケーションも活発で、モデルの改良提案やバグ報告など、オープンな開発環境が整っているのも特徴です。無料で利用できる基本プランに加え、より高度な機能を利用できるProプラン（月額9ドル）も用意されています。※2
Civitai
画像生成に特化したプラットフォームで、2022年11月のローンチ以来、急速に成長。実際の生成例がたくさん載っているので、欲しい画風がすぐ見つかります。モデルやLoRA、VAEなど、多様なクリエイティブリソースを世界中のクリエイターが共有できる場として機能しており、ユーザー同士の活発な意見交換も行われています。
画像生成で遊びたい人には、まずここから始めるのがおすすめです。全ての機能が無料で利用可能なのも魅力的ですね。※3
Stable DiffusionへのLoRA導入方法
ここでは、Stable DiffusionへのLoRA導入方法を解説します。
具体的な導入手順は、以下2ステップです。
- CivitAIでLoRAモデルをダウンロードする
- Google ColabでLoRAモデルのコードを追加する
以下でそれぞれの手順を詳しくみていきましょう。
CivitAIでLoRAモデルをダウンロードする
まずは、CivitAIにアクセスし、使用するLoRAモデルをダウンロードしましょう。
Hugging FaceでもLoRAモデルをダウンロードできますが、今回はCivitAIで配布されている「A-Mecha Musume A素体机娘」を例にご紹介します。
ページにアクセスした後は、画像の矢印で示しているダウンロードボタンにカーソルを当て、ファイル名が表示された右クリックを押して「リンクのアドレスをコピー」を選択してください。
コピーしたリンクはあとで使用するので、一旦メモしておきます。
Google ColabでLoRAモデルのコードを追加する
LoRAモデルをダウンロードしたあとは、Stable Diffusionで画像生成ができるGoogle Colabにアクセスします。
Stable Diffusionを使用できる環境はほかにもありますが、今回はブラウザ上で手軽に画像生成できるGoogle Colabを使用する方法を選びました。
Google Colab上でLoRAを動かすためにも、まずは「/Lora」のディレクトリを作成してくれる以下のコードをコピペして追加してください。
%mkdir -p /content/stable-diffusion-webui/models/Lora/次に、前の手順でメモしておいた「A-Mecha Musume A素体机娘」のダウンロードURLを以下コードの「ここにペースト」にコピペします。
!wget 「ここにペースト」 -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensorsGoogle Colabで実際に入力するのが、以下のコードです。
!wget https://civitai.com/api/download/models/97207?type=Model&format=SafeTensor -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensorsここまでで、Google ColabにLoRAを導入できました。
あとは、以下のコードを入力し、Stable Diffusion WebUIを起動することで、LoRAを使用できるようになります。
!pip install -q torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 torchtext==0.15.1 torchdata==0.6.0 --extra-index-url https://download.pytorch.org/whl/cu118 -U
!pip install -q xformers==0.0.19 triton==2.0.0 -U
#automatic1111 stable diffusion web uiのダウンロード
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
#Civitaiからany loraのモデルをダウンロード
!wget https://civitai.com/api/download/models/95489 -O /content/stable-diffusion-webui/models/Stable-diffusion/anylora.safetensors
#Loraモデルを入れるためのディレクトリの作成
%mkdir -p /content/stable-diffusion-webui/models/Lora/
#CivitaiからA-Mecha Musume A素体机娘のモデルをダウンロード
!wget https://civitai.com/api/download/models/97207 -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors
#stable diffusion web uiの起動
!python launch.py --share --xformers --enable-insecure-extension-accessなお、Stable Diffusionについて詳しく知りたい方は、下記の記事をご覧ください。
LoRAの活用事例
すでにLoRAを活用している個人や企業が多く存在します。
当サイトでLoRAの活用事例を調査したところ、以下4つの事例がヒットしました。
- 人物モデルの設定
- 服装の指定
- 背景作成
- ポーズの指定
- 表情の指定
以下で、それぞれの事例を詳しく解説していきます。
事例①人物モデルの設定
LaRAのなかには、実写風のイラスト生成を得意としているモデルが存在します。
こちらの投稿者は、「japaneseDollLikeness_v10」というモデルを使用して、日本人女性のイラストを生成したようです。
投稿画像を見ればわかるとおり、LoRAで生成した画像のクオリティはかなり高く、女性の人物画像であればかなり美人にできます。
商用利用の可否は不明とのことですが、もし可能ならさまざまな使い道がありそうです。
LoRAで生成した実写風のモデルが広告起用される未来も近いかもしれませんね！
事例②服装の指定
LoRAを使用すれば、指定した画像に写るモデルの服装をカスタマイズできます。こちらの投稿者は、事務服を着せて楽しんでいるようです。
制服のクオリティが高いので、本当に事務服を着たOLを撮影しているようにしか見えませんよね…
画像に写っているモデルの体型やポーズはほとんど変わらず、服装のみが若干変わっています。
この技術を活用すれば、アパレルブランドの服を着せ替えして商品ページが作れるほか、商品開発の企画段階でも活かせそうです。
事例③背景作成
LoRAは対象のモデルだけでなく、背景画像の生成もできます。こちらの投稿者は、メインとなる女性の背景として、薄暗いバーをイメージした画像を生成していました。
ギリギリAIが生成した画像だとわかりますが、それでもかなりクオリティは上がっています。この技術を活用すれば、漫画家などが背景作成で時間をかける必要がなくなるでしょう。
近い将来、生成AIだけを使用した漫画家が週刊誌で連載するかもしれませんね！
事例④ポーズの指定
LoRAを使用すれば、モデルのポーズも細かく指定できます。こちらの投稿者は、指に焦点を当てて「finger frame」というモデルでキャラクターのポーズを可愛らしく表現していました。
LoRAでモデルの見た目を好きなようにカスタマイズできるので、広告などで商品の訴求に活かせそうです。打率は低いとのことなので、何度も画像生成を繰り返す必要はありますが、ポーズを全く指定できない従来のモデルよりはかなり優秀ですね！
AIが生成したキャラクターをイメージモデルに起用しているのであれば、LoRAの導入は必須といえるでしょう。
事例⑤表情の指定
表情を作るのは、AIにとって難しい課題の1つでした。しかし、表情系LoRAの登場で、より自然な表情の生成が可能になってきています。「hosomeLoRA」では繊細な瞳の質感表現が特徴で、「surprisedLoRA」は驚きの表情だけでなく、顔の形状まで自然に調整できます。
「sensualfaceLoRA」は、タレ目や切れ長など、多様な目の形状に対応しており、Stable Diffusion XLとの組み合わせで、手描きに近い自然な表情表現を実現します。こうした表情系LoRAの進化により、キャラクターデザインの可能性が大きく広がっています。
LoRAで画像生成する際の注意点
LoRAで画像生成する際は、以下の2点に注意が必要です。
- 著作権への配慮は必要
- 商用利用に関して
とくに、LoRAで生成した画像は、他人の著作権を侵害する恐れがあるので十分な配慮が必要です。何も考えずに商用利用すると、あとで訴訟される事態にもなりかねません。
以下で、注意点について詳しく解説するので、ぜひ参考にしてみてください。
著作権への配慮は必要
LoRAを使用する際は、生成画像に対して著作権の配慮が必要です。とくに、LoRAでは有名人やキャラクターを学習したモデルが多いので、知らず知らずうちに著作権を侵害してしまう恐れがあります。
なお、著作権で保護されたキャラクターなどを無許可で学習したLoRAを使用するのは危険です。生成された画像も著作権を侵害したと判断される可能性があるので注意してください。
LoRAにおける著作権の取り扱いはまだガイドラインが策定されておらず、明確なルールは存在しません。LoRAを使用する際に著作権の問題が気になった際は、AIの専門企業にアドバイスをもらうことをおすすめします。
商用利用に関して
LoRAは、使用するモデルによって商用利用OKのものと、NGのものがあります。LoRAモデルをCivitaiなどのサイトでダウンロードする際に、ライセンス内容を確認すれば商用利用に関する記載があるので、必ず事前に確認しておきましょう。
なお、商用利用がOKだったとしても無条件に使えるわけではありません。利用目的がライセンス違反に該当したり、そもそも違法なことを目的に利用したりすると法律で罰せられます。
前述したように、LoRAは有名人やキャラクターを学習したモデルも多数存在するので、著作権問題についても十分考慮しましょう。
なお、生成AIを企業が利用・開発するリスクについて詳しく知りたい方は、下記の記事を参考にしてください。
LoRAを導入して高品質な画像を作ろう！
普段から画像生成AIを自社業務に活用しているのであれば、LoRAを導入するのがおすすめです。少ない計算量で効率よくAIの追加学習ができるので、時間やコストを抑えながら高精度な画像生成AIを利用できます。
ほかにも、以下のようなメリットがあります。
- 少ない計算量で追加学習可能
- クオリティの向上
- 好みの画風に設定可能
- 同一人物の画像生成が可能
一見、LoRAの導入は難しそうに思えますが、そんなことはありません。
以下のたった2ステップでStable DiffusionへLoRAを導入できます。
- CivitAIでLoRAモデルをダウンロードする
- Google ColabでLoRAモデルのコードを追加する
なお、LoRAはすでに多くのユーザーが利用していますが、当サイトでは以下4つの興味深い活用事例を見つけました。
- 人物モデルの設定
- 服装の指定
- 背景作成
- ポーズの指定
服装やポーズまで細かく指定できるので、これまで以上に自分の思い通りの画像を生成できるようになるでしょう。
ただし、LoRAはキャラクターや有名人を学習したモデルも多いため、利用する際は著作権や商用利用の可否を事前にチェックしておく必要があります。
正しく使えば、画像生成がこれまで以上に捗ること間違いないので、ぜひ一度利用してみてください！
最後に
いかがだったでしょうか？
「LoRA」の導入で、効率的に高品質な画像生成が可能に。低コストでプロジェクトの魅力を最大化し、サービス価値を一段と引き上げてみてください。
株式会社WEELは、自社・業務特化の効果が出るAIプロダクト開発が強みです！
開発実績として、
・新規事業室での「リサーチ」「分析」「事業計画検討」を70％自動化するAIエージェント
・社内お問い合わせの1次回答を自動化するRAG型のチャットボット
・過去事例や最新情報を加味して、10秒で記事のたたき台を作成できるAIプロダクト
・お客様からのメール対応の工数を80％削減したAIメール
・サーバーやAI PCを活用したオンプレでの生成AI活用
・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタント
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、通勤時間に読めるメルマガを配信しています。
最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
