【LoRA】画像生成がさらに進化！イラストや写真表現の可能性を広げるAI学習モデルを徹底解説

AIツール

2024-03-202024-04-03

WEELメディア事業部リサーチャーのいつきです。

突然ですが、みなさんは「LoRA」というAIの学習モデルをご存知でしょうか？

「LoRA」を導入すれば、より自分好みのイラスト生成ができるようになるので、画像生成のクオリティが向上すること間違いありません。

今回の記事では、LoRAを導入するメリットや導入事例を詳しく解説します。

最後まで目を通していただくと、LoRAを用いたハイクオリティの画像生成ができるようになるので、自社サービスにおけるイラストや写真表現の可能性が広がることでしょう。

ぜひ最後までご覧ください。

LoRAとは

LoRAとは「Low-Rank Adaptation」の略で、画像生成AIや大規模言語モデルを効率的に調整できる学習モデルのことを指しています。特定のタスクやジャンルに寄せた出力ができるようにする「ファインチューニング」の際に用いられるのが一般的です。

通常、生成AIの追加学習には多くの計算量が必要ですが、LoRAを導入すればその必要がありません。少ない計算量で追加学習を行えるので、コストや時間的リソースを削減できるのがメリットです。

とくに、リアルな日本人女性やアニメキャラの雰囲気に寄せられるLoRAは高い人気があり、多くのユーザーが活用しています。

なお、ファインチューニングについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→ファインチューニングとは？ChatGPTに必須の技術を院生が徹底解説

LoRAを導入するメリット

LoRAを導入するメリットは、以下の4つです。

少ない計算量で追加学習可能
クオリティの向上
好みの画風に設定可能
同一人物の画像生成が可能

とくに、少ない計算量でハイクオリティの画像を生成できるようになる点が魅力です。

以下で、それぞれのメリットを詳しく紹介していくので、ぜひ参考にしてみてください。

少ない計算量で追加学習可能

LoRAは、AIに対して少ない計算量で効率よく追加学習できます。元のモデルのパラメータを直接変更するのではなく、低ランクの行列を導入してパラメータを変更できるためです。

例えば、LoRAの論文のなかでは、GPT-3 175Bモデルにおいて訓練可能なパラメータを10,000倍減らしたと記載されていました。GPUメモリ要件を3倍削減したとも書かれているので、かなり少ない計算量に抑えられていることがわかりますね。

計算量が少ないということは、従来よりも低スペックのPCで追加学習ができるということなので、追加学習のハードルを下げられるのが1番のメリットです。

参考記事：LoRA: Low-Rank Adaptation of Large Language Models

クオリティの向上

LoRAを導入すると、より詳細なプロンプトが生成画像に反映されるようになるため、生成画像のクオリティが向上します。写真風の画像であれば、よりリアルな人物画像に近づけるのがメリットです。

自社サービスに組み込めば、ターゲットとなる顧客に強い印象を与えられるので、販促用の企画に活かすのもよいかもしれません。

好みの画風に設定可能

LoRAを使用すれば、アニメ風・3D風・映画風など、好みの画風に設定できます。自社サービスを訴求するのに最適なスタイルに設定できるのがメリットです。

また、LoRAを使用することで服装やポーズを細かく指定することもできます。自社商品を認知させるための広告などで活用できそうですね！

使用するLoRAによって設定できる画風も異なるので、色々試してみてください。

同一人物の画像生成が可能

LoRAを使用すれば、同一人物の画像を続けて生成することもできます。従来の画像生成AIでは、毎回別の人物が生成されてしまっていたので、これは大きなメリットといえますね！

この特性を活かせば、自社のイメージキャラクターやマスコットを複数の生成画像に組み込めます。キャラクターの一貫性を保てるので、企業のブランディングやマーケティングで役立つこと間違いありません。

Stable DiffusionへのLoRA導入方法

ここでは、Stable DiffusionへのLoRA導入方法を解説します。

具体的な導入手順は、以下2ステップです。

CivitAIでLoRAモデルをダウンロードする
Google ColabでLoRAモデルのコードを追加する

以下でそれぞれの手順を詳しくみていきましょう。

CivitAIでLoRAモデルをダウンロードする

参考：https://civitai.com/models/15464/a-mecha-musume-a

まずは、CivitAIにアクセスし、使用するLoRAモデルをダウンロードしましょう。

Hugging FaceでもLoRAモデルをダウンロードできますが、今回はCivitAIで配布されている「A-Mecha Musume A素体机娘」を例にご紹介します。

ページにアクセスした後は、画像の矢印で示しているダウンロードボタンにカーソルを当て、ファイル名が表示された右クリックを押して「リンクのアドレスをコピー」を選択してください。

コピーしたリンクはあとで使用するので、一旦メモしておきます。

Google ColabでLoRAモデルのコードを追加する

参考：https://colab.research.google.com/drive/1oht3Pq3gzVte9ae9ru_fLu5haseN-Pdd?hl=ja#scrollTo=r9fnaa_LhQiS

LoRAモデルをダウンロードしたあとは、Stable Diffusionで画像生成ができるGoogle Colabにアクセスします。

Stable Diffusionを使用できる環境はほかにもありますが、今回はブラウザ上で手軽に画像生成できるGoogle Colabを使用する方法を選びました。

Google Colab上でLoRAを動かすためにも、まずは「/Lora」のディレクトリを作成してくれる以下のコードをコピペして追加してください。

%mkdir -p /content/stable-diffusion-webui/models/Lora/

次に、前の手順でメモしておいた「A-Mecha Musume A素体机娘」のダウンロードURLを以下コードの「ここにペースト」にコピペします。

!wget 「ここにペースト」 -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors

Google Colabで実際に入力するのが、以下のコードです。

!wget https://civitai.com/api/download/models/97207?type=Model&format=SafeTensor -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors

ここまでで、Google ColabにLoRAを導入できました。

あとは、以下のコードを入力し、Stable Diffusion WebUIを起動することで、LoRAを使用できるようになります。

!pip install -q torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 torchtext==0.15.1 torchdata==0.6.0 --extra-index-url https://download.pytorch.org/whl/cu118 -U

!pip install -q xformers==0.0.19 triton==2.0.0 -U

#automatic1111 stable diffusion web uiのダウンロード
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

#Civitaiからany loraのモデルをダウンロード
!wget https://civitai.com/api/download/models/95489 -O /content/stable-diffusion-webui/models/Stable-diffusion/anylora.safetensors

#Loraモデルを入れるためのディレクトリの作成
%mkdir -p /content/stable-diffusion-webui/models/Lora/

#CivitaiからA-Mecha Musume A素体机娘のモデルをダウンロード
!wget https://civitai.com/api/download/models/97207 -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors

#stable diffusion web uiの起動
!python launch.py --share --xformers --enable-insecure-extension-access

なお、Stable Diffusionについて詳しく知りたい方は、下記の記事をご覧ください。
→Stable Diffusionとは？ローカル・ブラウザでの使い方やモデルのインストール方法を解説

LoRAの活用事例

すでにLoRAを活用している個人や企業が多く存在します。

当サイトでLoRAの活用事例を調査したところ、以下4つの事例がヒットしました。

人物モデルの設定
服装の指定
背景作成
ポーズの指定

以下で、それぞれの事例を詳しく解説していきます。

今回解説する事例において、弊社がX（旧Twitter）で発見した参考となるツイートを紹介させていただいております。取り下げなどのご連絡は、弊社公式X（旧Twitter）からご連絡ください。

事例①人物モデルの設定

LaRAのなかには、実写風のイラスト生成を得意としているモデルが存在します。

こちらの投稿者は、「japaneseDollLikeness_v10」というモデルを使用して、日本人女性のイラストを生成したようです。

【商用利用可おすすめLoRAモデル15】
Japanese Doll Likeness

日本人女性の実写風なイラストを生成するのを得意とするLoRAです。
⁰商用利用は不明
↓モデルダウンロード⁰https://t.co/RTnws5Jp8t
⁰#AIイラスト #AIart #AIイラスト好きさんと繋がりたい pic.twitter.com/oEmGtHX3nr
— 【Ai建築デザイナー】YUiCHI (@YUiCHI_Bi) April 16, 2023

投稿画像を見ればわかるとおり、LoRAで生成した画像のクオリティはかなり高く、女性の人物画像であればかなり美人にできます。

商用利用の可否は不明とのことですが、もし可能ならさまざまな使い道がありそうです。

LoRAで生成した実写風のモデルが広告起用される未来も近いかもしれませんね！

事例②服装の指定

LoRAを使用すれば、指定した画像に写るモデルの服装をカスタマイズできます。こちらの投稿者は、事務服を着せて楽しんでいるようです。

事務服LoRA完成！服装がランダムで楽しい。
需要あるかな・・・。いいね100でcivitai公開とかどうでしょう。#LoRA #事務服 pic.twitter.com/cew5eFg3nQ
— ㈱OfficeLove (@AIArt_OL) March 28, 2023

制服のクオリティが高いので、本当に事務服を着たOLを撮影しているようにしか見えませんよね…

画像に写っているモデルの体型やポーズはほとんど変わらず、服装のみが若干変わっています。

この技術を活用すれば、アパレルブランドの服を着せ替えして商品ページが作れるほか、商品開発の企画段階でも活かせそうです。

事例③背景作成

LoRAは対象のモデルだけでなく、背景画像の生成もできます。こちらの投稿者は、メインとなる女性の背景として、薄暗いバーをイメージした画像を生成していました。

1枚目の画像がモザイクものでしたので再掲載いたします😅

背景Loraを作ってみました！

1/3 pic.twitter.com/UqQrqX3KsG
— 🧙YU★I_AI（ゆい） (@yui_ai202304) August 23, 2023

ギリギリAIが生成した画像だとわかりますが、それでもかなりクオリティは上がっています。この技術を活用すれば、漫画家などが背景作成で時間をかける必要がなくなるでしょう。

近い将来、生成AIだけを使用した漫画家が週刊誌で連載するかもしれませんね！

事例④ポーズの指定

LoRAを使用すれば、モデルのポーズも細かく指定できます。こちらの投稿者は、指に焦点を当てて「finger frame」というモデルでキャラクターのポーズを可愛らしく表現していました。

最近私が使っている指フレーム(finger frame)のLoRAをFANBOX(全体公開)で配布してます！
打率は割と低いです🫠(画像は無修正)

個人的に好きなポーズなので使っていただけると喜びます🥰https://t.co/ZJWgj7p4sz pic.twitter.com/Axfo4t6wTR
— えきどな(ECHIDNA) (@echidna_ai) April 22, 2023

LoRAでモデルの見た目を好きなようにカスタマイズできるので、広告などで商品の訴求に活かせそうです。打率は低いとのことなので、何度も画像生成を繰り返す必要はありますが、ポーズを全く指定できない従来のモデルよりはかなり優秀ですね！

AIが生成したキャラクターをイメージモデルに起用しているのであれば、LoRAの導入は必須といえるでしょう。