今回は、画像生成AIであるStable Diffusionで使用できるLoRA（Low-Rank Adaptation）を紹介します。
Stable Diffusionのモデルを自ら作成するのには膨大な計算資源とデータセット、時間が必要です。しかし、既存のモデルを元にLoRAという仕組みを利用して局所的にチューニングを行うことで、人物や服装、絵のタッチ、などを固定したモデルを作成できます。
今回は既にほかのユーザーによって追加学習、公開されているLoRAを紹介します。これらのLoRAを利用することによって、LoRAの学習に関する知識がなくてもファイルをダウンロード、配置するだけで利用することが可能です。
ぜひStable Diffusionの画像生成に取り入れてみてください。
- Stable Diffusionで人気のLoRA
- 各LoRAで生成できる画像のサンプル
- 各LoRAの入手先
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
ポチップ
LoRA（Low-Rank Adaptation）とは
LoRA（Low-Rank Adaptation）は、既存のStable Diffusionモデルを20枚程度の画像を用いて追加学習させることにより微調整することができる仕組みです。LoRAを用いることにより、キャラクターや服装などの特徴を固定して画像生成することが可能になります。
LoRAの詳細については以下の記事で解説していますので、あわせてご覧ください。
ポチップ
LoRA（Low-Rank Adaptation）の使い方
Stable DiffusionでLoRAを使って画像を生成する方法について、以下の記事で解説しています。
本記事のリンク先からLoRAファイルをダウンロードしたら、こちらの記事で解説している手順に沿って画像を生成してください。
おすすめのLoRA紹介
ここからは、実際におすすめのLoRAを紹介していきます。
JapaneseDollLikeness (v1.5)
AIコスプレイヤーブームでおそらく最も多く使われたLoRA一つである、Kbrloras氏によって製作されたJapaneseDollLikenessの2023年9月現在、最新のバージョン1.5です。
日本人風の美少女を生成することができ、クオリティもトップレベルです。
入手先
Cute Asian Face
先ほど紹介したJapaneseDollLikeness製作者、Kbrloras氏のkoreanDollLikeness_v10をベースにトレーニングされたLoRAで、ChilloutMixで使用することができます。
このLoRAもアジア系の人物を生成でき、クオリティはトップレベルです。
入手先
ポチップ
Mecha Armor LoRa
衣装LoRAです。ロボットのようなメカニカルなスーツをキャラクターに着せることができます。
ReV AnimatedによってトレーニングされたLoRAですが、他のモデルでもある程度機能します。
メカニカルなヘルメットを装着したくない場合には、髪型に関する指示をプロンプトに追加します。
入手先
Samuraibot
衣装LoRAです。キャラクターに侍風の服装、アーマーや刀を装備させることができます。samurai、cyborg、armor などのワードをプロンプトに含めることで、効果が表れます。
フォトリアル系、アニメ調どちらでも使用できます。
入手先
ポチップ
LoRAを作成する方法
今回紹介したLoRA以外に、自ら用意した画像を使ってLoRAで追加学習する方法について、以下の記事で解説しています。
オリジナルのLoRAを作ってみたい方は、ぜひ参考にしてみてください。
Stable Diffusionの理想的な環境を構築する
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
グラフィックボードの性能によって画像の生成速度や最大生成サイズが決まります。
Stable Diffusionで使用するのにおすすめのグラフィックボードを以下の記事で解説していますので、あわせてご覧ください。
Stable Diffusionで生成される画像のクオリティを上げる
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyなどを使ったAIアート全般について勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はStable Diffusion使用できる人気のLoRAについて解説してみました。
LoRAを利用することによって、プロンプトだけでは指示が難しい、画像のコントロールが可能になります。ぜひStable Diffusionでの画像生成に活用してみてください。
また、本ブログ内のLoRAに関する内容を以下の記事でまとめていますので、あわせてご覧ください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
