今回はStable Diffusionで使用できるLoRAの入手方法について解説します。
追加学習LoRAを使用することで、特定のキャラクターや服装を固定して画像を生成することができ、学習済みのLoRAファイルがStable Diffusionのデータ共有サイトで多数公開されています。
LoRAを使用することで、キャラクターや服装を固定して画像生成が可能。
お気に入りのキャラクタを様々なシチュエーションで撮影したような画像を生成することができますので、ぜひ活用してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
Stable DiffusionのWeb UI AUTOMATIC1111
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。
AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
Web UI AUTOMATIC1111のインストール方法
Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。
以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。
LoRAとは
LoRA（Low-Rank Adaptation）は、Stable Diffusionでイラストを生成する際に、特定の画像を追加学習させることで生成される画像をコントロールする仕組みです。
通常、モデルの学習には膨大なデータセットとコンピューティングリソースを必要としますが、LoRAでは、数十枚程度の画像を追加学習させ、局所的にチューニングをおこなうことで特定のキャラクターやタッチを再現できるモデルを作成することができます。
LoRAのメリット
LoRAを使うと以下のようなメリットがあります。
- 特定のキャラクターや人物を固定して生成できる
- 特定の画風を学習させることで再現できる
- ディティールを追加することができる
- 既に学習済みのLoRAを入手することで、自分で学習を行わずにその特性を利用できる
LoRAで追加学習を行うためのハードウェア
LoRAでの追加学習にはグラフィックボードの選定が重要で、12GB以上のVRAMを搭載したものが推奨されています。
おすすめのグラフィックボードを以下の記事で解説しています。
LoRAの入手サイト
LoRAファイル入手するのにおすすめのサイトはCivitaiです。
Stable Diffusionで使用できるモデルやLoRAが多数公開されており、各ページでユーザーが生成したプロンプト付きの画像ファイルも公開されているため、生成後のイメージを確認しながら選ぶことができます。
Civitaiのサイトは以下となります。
ポチップ
LoRAファイルの入手方法
LoRA入手先のサイト
LoRAの配布サイトには主に以下の2つがあります。
CivitaiはStable Diffusionで使用できるモデルなどが共有されているサイトですが、LoRAファイルでフィルタをかけて検索できるため、LoRAファイルが探しやすいのが特徴です。
今回はCivitaiを例に解説します。
入手方法
まずはCivitaiのサイトにアクセスします。
以下のようなトップページが表示されたら、右上の赤枠のフィルタアイコンをクリックします。
フィルタリングするカテゴリの一覧が表示されますので、「LoRA」を選択します。
フィルタが有効になると、以下のようにLoRAファイルのみが表示されます。
下方向にスクロールし、好みのモデルを探してください。
今回は例としてアジア人女性が描画できる「Cute Asian Face」を選択します。
「Cute Asian Face」のページに入ったら、右上の「Download」をクリックしてLoRAファイルをダウンロードします。
Cute Asian Faceの入手先
以下が「Cute Asian Face」のダウンロードページです。
LoRAファイルの使い方
LoRAファイルの入手したら以下の手順でLoRAを使用します。
- LoRAファイルをWebUIの指定ディレクトリに配置する
- WebUIで使用するLoRAファイルを使用する
- 画像生成を実行する
これらの具体的な方法を以下の記事で解説していますので、こちらの記事に従って、LoRAファイルの配置と設定を済ませておいてください。
ポチップ
実行結果
先ほど入手した「Cute Asian Face」を使って実際に画像を生成した結果は以下の通りです。
使用したプロンプト
今回は以下のプロンプトを使用しました。
プロンプト
((masterpiece:1.4, best quality)), ((masterpiece, best quality)), (photo realistic:1.4) ((1girl)), (ultra highres:1.2), Japanese idle (Japanese actress) ,beautiful girl with beautiful details, very cute, beautiful girl with beautiful details, professional photography lighting, extremely detailed eyes and face, eyes with beautiful details, girl standing in town, casual clothes, <lora:Cute Asian Face:1>ネガティブプロンプト
Easy Negative (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,open chest,thick eyebrows, huge breasts, open chest使用したモデル
今回使用したモデルはChilloutMixです。
入手先は以下のページで紹介しています。
生成された画像
先ほどのプロンプトを元に生成された画像です。
配布ページのサンプル画像のように日本人風の女性の画像が生成できました。
LoRAのプロンプトサンプル
LoRAを使って画像を生成する際、具体的にどのようなプロンプトを使ったらよいかわからない場合には、CivitaiのLoRAの配布ページにプロンプトのサンプルが掲載されています。
使用したいLoRAのダウンロードページを下方向にスクロールすると、以下のようにユーザーがそのLoRAを使用して生成した画像が掲載されています。
サンプルの中から、生成したい絵に近い画像をクリックします。
すると以下のように、画面右側に具体的にどのようなプロンプトとパラメータを使用して生成されたかが記載されています。
LoRAの使い方がわからない場合は、まずサンプルのプロンプトを使用して生成してみることをお勧めします。
LoRAファイルを自作する方法
今回はすでに作成、公開されているLoRAファイルを入手する方法を紹介しましたが、sd-scriptsというツールを使用して、自分で用意した画像を学習させ、LoRAファイルを自作することも可能です。
具体的な手順は以下の記事で解説しています。
Stable Diffusionのテクニックを効率よく学ぶには？
カピパラのエンジニアStable Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない…
猫のエンジニアそんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ！
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はStable Diffusionで使用できるLoRAの入手方法について解説しました。
学習済みのLoRAファイルを使用することで、自分で学習することなく手軽に利用することができますので、お気に入りのLoRAを見つけてみてください。
LoRAの使い方に関する情報を、以下のページでまとめていますので、こちらもあわせてご覧ください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
コメント