【LoRA】画像生成がさらに進化!イラストや写真表現の可能性を広げるAI学習モデルを徹底解説

LoRA 画像生成 イラスト 写真表現 可能性 AI学習 モデル 徹底解説

WEELメディア事業部リサーチャーのいつきです。

突然ですが、みなさんは「LoRA」というAIの学習モデルをご存知でしょうか?

「LoRA」を導入すれば、より自分好みのイラスト生成ができるようになるので、画像生成のクオリティが向上すること間違いありません。

今回の記事では、LoRAを導入するメリットや導入事例を詳しく解説します。

最後まで目を通していただくと、LoRAを用いたハイクオリティの画像生成ができるようになるので、自社サービスにおけるイラストや写真表現の可能性が広がることでしょう。

ぜひ最後までご覧ください。

目次

LoRAとは

LoRAとは「Low-Rank Adaptation」の略で、画像生成AIや大規模言語モデルを効率的に調整できる学習モデルのことを指しています。特定のタスクやジャンルに寄せた出力ができるようにする「ファインチューニング」の際に用いられるのが一般的です。

通常、生成AIの追加学習には多くの計算量が必要ですが、LoRAを導入すればその必要がありません。少ない計算量で追加学習を行えるので、コストや時間的リソースを削減できるのがメリットです。

とくに、リアルな日本人女性やアニメキャラの雰囲気に寄せられるLoRAは高い人気があり、多くのユーザーが活用しています。

なお、ファインチューニングについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
ファインチューニングとは?ChatGPTに必須の技術を院生が徹底解説

LoRAを導入するメリット

LoRAを導入するメリットは、以下の4つです。

  • 少ない計算量で追加学習可能
  • クオリティの向上
  • 好みの画風に設定可能
  • 同一人物の画像生成が可能

とくに、少ない計算量でハイクオリティの画像を生成できるようになる点が魅力です。

以下で、それぞれのメリットを詳しく紹介していくので、ぜひ参考にしてみてください。

少ない計算量で追加学習可能

LoRAは、AIに対して少ない計算量で効率よく追加学習できます。元のモデルのパラメータを直接変更するのではなく、低ランクの行列を導入してパラメータを変更できるためです。

例えば、LoRAの論文のなかでは、GPT-3 175Bモデルにおいて訓練可能なパラメータを10,000倍減らしたと記載されていました。GPUメモリ要件を3倍削減したとも書かれているので、かなり少ない計算量に抑えられていることがわかりますね。

計算量が少ないということは、従来よりも低スペックのPCで追加学習ができるということなので、追加学習のハードルを下げられるのが1番のメリットです。

参考記事:LoRA: Low-Rank Adaptation of Large Language Models

クオリティの向上

LoRAを導入すると、より詳細なプロンプトが生成画像に反映されるようになるため、生成画像のクオリティが向上します。写真風の画像であれば、よりリアルな人物画像に近づけるのがメリットです。

自社サービスに組み込めば、ターゲットとなる顧客に強い印象を与えられるので、販促用の企画に活かすのもよいかもしれません。

好みの画風に設定可能

LoRAを使用すれば、アニメ風・3D風・映画風など、好みの画風に設定できます。自社サービスを訴求するのに最適なスタイルに設定できるのがメリットです。

また、LoRAを使用することで服装やポーズを細かく指定することもできます。自社商品を認知させるための広告などで活用できそうですね!

使用するLoRAによって設定できる画風も異なるので、色々試してみてください。

同一人物の画像生成が可能

LoRAを使用すれば、同一人物の画像を続けて生成することもできます。従来の画像生成AIでは、毎回別の人物が生成されてしまっていたので、これは大きなメリットといえますね!

この特性を活かせば、自社のイメージキャラクターやマスコットを複数の生成画像に組み込めますキャラクターの一貫性を保てるので、企業のブランディングやマーケティングで役立つこと間違いありません。

Stable DiffusionへのLoRA導入方法

ここでは、Stable DiffusionへのLoRA導入方法を解説します。

具体的な導入手順は、以下2ステップです。

  1. CivitAIでLoRAモデルをダウンロードする
  2. Google ColabでLoRAモデルのコードを追加する

以下でそれぞれの手順を詳しくみていきましょう。

CivitAIでLoRAモデルをダウンロードする

参考:https://civitai.com/models/15464/a-mecha-musume-a

まずは、CivitAIにアクセスし、使用するLoRAモデルをダウンロードしましょう。

Hugging FaceでもLoRAモデルをダウンロードできますが、今回はCivitAIで配布されている「A-Mecha Musume A素体机娘」を例にご紹介します。

ページにアクセスした後は、画像の矢印で示しているダウンロードボタンにカーソルを当て、ファイル名が表示された右クリックを押して「リンクのアドレスをコピー」を選択してください。

コピーしたリンクはあとで使用するので、一旦メモしておきます。

Google ColabでLoRAモデルのコードを追加する

参考:https://colab.research.google.com/drive/1oht3Pq3gzVte9ae9ru_fLu5haseN-Pdd?hl=ja#scrollTo=r9fnaa_LhQiS

LoRAモデルをダウンロードしたあとは、Stable Diffusionで画像生成ができるGoogle Colabにアクセスします。

Stable Diffusionを使用できる環境はほかにもありますが、今回はブラウザ上で手軽に画像生成できるGoogle Colabを使用する方法を選びました。

Google Colab上でLoRAを動かすためにも、まずは「/Lora」のディレクトリを作成してくれる以下のコードをコピペして追加してください。

%mkdir -p /content/stable-diffusion-webui/models/Lora/

次に、前の手順でメモしておいた「A-Mecha Musume A素体机娘」のダウンロードURLを以下コードの「ここにペースト」にコピペします。

!wget 「ここにペースト」 -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors

Google Colabで実際に入力するのが、以下のコードです。

!wget https://civitai.com/api/download/models/97207?type=Model&format=SafeTensor -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors

ここまでで、Google ColabにLoRAを導入できました。

参考:https://colab.research.google.com/drive/1oht3Pq3gzVte9ae9ru_fLu5haseN-Pdd?hl=ja#scrollTo=r9fnaa_LhQiS

あとは、以下のコードを入力し、Stable Diffusion WebUIを起動することで、LoRAを使用できるようになります。

!pip install -q torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 torchtext==0.15.1 torchdata==0.6.0 --extra-index-url https://download.pytorch.org/whl/cu118 -U

!pip install -q xformers==0.0.19 triton==2.0.0 -U

#automatic1111 stable diffusion web uiのダウンロード
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

#Civitaiからany loraのモデルをダウンロード
!wget https://civitai.com/api/download/models/95489 -O /content/stable-diffusion-webui/models/Stable-diffusion/anylora.safetensors

#Loraモデルを入れるためのディレクトリの作成
%mkdir -p /content/stable-diffusion-webui/models/Lora/

#CivitaiからA-Mecha Musume A素体机娘のモデルをダウンロード
!wget https://civitai.com/api/download/models/97207 -O /content/stable-diffusion-webui/models/Lora/mecha_musume.safetensors

#stable diffusion web uiの起動
!python launch.py --share --xformers --enable-insecure-extension-access

なお、Stable Diffusionについて詳しく知りたい方は、下記の記事をご覧ください。
Stable Diffusionとは?ローカル・ブラウザでの使い方やモデルのインストール方法を解説

LoRAの活用事例

すでにLoRAを活用している個人や企業が多く存在します。

当サイトでLoRAの活用事例を調査したところ、以下4つの事例がヒットしました。

  1. 人物モデルの設定
  2. 服装の指定
  3. 背景作成
  4. ポーズの指定

以下で、それぞれの事例を詳しく解説していきます。

今回解説する事例において、弊社がX(旧Twitter)で発見した参考となるツイートを紹介させていただいております。取り下げなどのご連絡は、弊社公式X(旧Twitter)からご連絡ください。

事例①人物モデルの設定

LaRAのなかには、実写風のイラスト生成を得意としているモデルが存在します。

こちらの投稿者は、「japaneseDollLikeness_v10」というモデルを使用して、日本人女性のイラストを生成したようです。

投稿画像を見ればわかるとおり、LoRAで生成した画像のクオリティはかなり高く、女性の人物画像であればかなり美人にできます。

商用利用の可否は不明とのことですが、もし可能ならさまざまな使い道がありそうです。

LoRAで生成した実写風のモデルが広告起用される未来も近いかもしれませんね!

事例②服装の指定

LoRAを使用すれば、指定した画像に写るモデルの服装をカスタマイズできます。こちらの投稿者は、事務服を着せて楽しんでいるようです。

制服のクオリティが高いので、本当に事務服を着たOLを撮影しているようにしか見えませんよね…

画像に写っているモデルの体型やポーズはほとんど変わらず、服装のみが若干変わっています

この技術を活用すれば、アパレルブランドの服を着せ替えして商品ページが作れるほか、商品開発の企画段階でも活かせそうです。

事例③背景作成

LoRAは対象のモデルだけでなく、背景画像の生成もできます。こちらの投稿者は、メインとなる女性の背景として、薄暗いバーをイメージした画像を生成していました。

ギリギリAIが生成した画像だとわかりますが、それでもかなりクオリティは上がっています。この技術を活用すれば、漫画家などが背景作成で時間をかける必要がなくなるでしょう

近い将来、生成AIだけを使用した漫画家が週刊誌で連載するかもしれませんね!

事例④ポーズの指定

LoRAを使用すれば、モデルのポーズも細かく指定できます。こちらの投稿者は、指に焦点を当てて「finger frame」というモデルでキャラクターのポーズを可愛らしく表現していました。

LoRAでモデルの見た目を好きなようにカスタマイズできるので、広告などで商品の訴求に活かせそうです。打率は低いとのことなので、何度も画像生成を繰り返す必要はありますが、ポーズを全く指定できない従来のモデルよりはかなり優秀ですね!

AIが生成したキャラクターをイメージモデルに起用しているのであれば、LoRAの導入は必須といえるでしょう。

LoRAで画像生成する際の注意点

LoRAで画像生成する際は、以下の2点に注意が必要です。

  • 著作権への配慮は必要
  • 商用利用に関して

とくに、LoRAで生成した画像は、他人の著作権を侵害する恐れがあるので十分な配慮が必要です。何も考えずに商用利用すると、あとで訴訟される事態にもなりかねません

以下で、注意点について詳しく解説するので、ぜひ参考にしてみてください。

著作権への配慮は必要

LoRAを使用する際は、生成画像に対して著作権の配慮が必要です。とくに、LoRAでは有名人やキャラクターを学習したモデルが多いので、知らず知らずうちに著作権を侵害してしまう恐れがあります。

なお、著作権で保護されたキャラクターなどを無許可で学習したLoRAを使用するのは危険です。生成された画像も著作権を侵害したと判断される可能性があるので注意してください。

LoRAにおける著作権の取り扱いはまだガイドラインが策定されておらず、明確なルールは存在しません。LoRAを使用する際に著作権の問題が気になった際は、AIの専門企業にアドバイスをもらうことをおすすめします。

商用利用に関して

LoRAは、使用するモデルによって商用利用OKのものと、NGのものがあります。LoRAモデルをCivitaiなどのサイトでダウンロードする際に、ライセンス内容を確認すれば商用利用に関する記載があるので、必ず事前に確認しておきましょう。

なお、商用利用がOKだったとしても無条件に使えるわけではありません。利用目的がライセンス違反に該当したり、そもそも違法なことを目的に利用したりすると法律で罰せられます。

前述したように、LoRAは有名人やキャラクターを学習したモデルも多数存在するので、著作権問題についても十分考慮しましょう。

なお、生成AIを企業が利用・開発するリスクについて詳しく知りたい方は、下記の記事を参考にしてください。
生成AIの企業利用・開発のリスクとその対策を解説!開発失敗事例も紹介

LoRAを導入して高品質な画像を作ろう!

普段から画像生成AIを自社業務に活用しているのであれば、LoRAを導入するのがおすすめです。少ない計算量で効率よくAIの追加学習ができるので、時間やコストを抑えながら高精度な画像生成AIを利用できます。

ほかにも、以下のようなメリットがあります。

  • 少ない計算量で追加学習可能
  • クオリティの向上
  • 好みの画風に設定可能
  • 同一人物の画像生成が可能

一見、LoRAの導入は難しそうに思えますが、そんなことはありません。

以下のたった2ステップでStable DiffusionへLoRAを導入できます。

  1. CivitAIでLoRAモデルをダウンロードする
  2. Google ColabでLoRAモデルのコードを追加する

なお、LoRAはすでに多くのユーザーが利用していますが、当サイトでは以下4つの興味深い活用事例を見つけました。

  1. 人物モデルの設定
  2. 服装の指定
  3. 背景作成
  4. ポーズの指定

服装やポーズまで細かく指定できるので、これまで以上に自分の思い通りの画像を生成できるようになるでしょう。

ただし、LoRAはキャラクターや有名人を学習したモデルも多いため、利用する際は著作権や商用利用の可否を事前にチェックしておく必要があります。

正しく使えば、画像生成がこれまで以上に捗ること間違いないので、ぜひ一度利用してみてください!

サービス紹介資料

生成系AIの業務活用なら!

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

WEELの生成AIへのスタンス

ChatGPTやStable Diffusionなど使い勝手の良いAIサービスは沢山あります。そういったもの1度使ってみて、もっとこうしたい、こう言った使い方をしたいと言った方に向けてカスタマイズを勧めております。

もし、自社で生成AIを活用したいという場合は
1. 汎用的な生成AIツールを導入し、定着させる
2. 業務を生成AIに解けるタスクまで分解し、自動化する
のどちらかが良いと思います。

弊社では
1の場合、生成AIセミナーの実施や生成AIコンサルティングなどで、AI専門家による生成AI活用指導
2の場合、PoC開発やソリューション開発などで、LLMエンジニアやAIコンサルタントが御社にあったAIツールの開発を行います。

無料相談にてご相談を承っておりますので、興味がある方は以下からご連絡ください。
無料相談で話してみる

生成AIを社内で活用していきたい方へ
メルマガ登録

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、通勤時間に読めるメルマガを配信しています。

最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

投稿者

  • いつき

    高卒6年目にして独立開業した、フリーランスのWebライター。 ChatGPTをはじめ、多くのAIツールを使いこなした経験を基に、AIメディアの記事を執筆中。 複数のWebメディアに在籍し、ライター・ディレクター業務をマルチにこなす。

  • URLをコピーしました!
  • URLをコピーしました!
目次