今回はAUTOMATIC1111のWebUIで、LoRAを使って画像を生成する方法について解説します。LoRAファイルを使用することにより、キャラクターを固定して画像を生成できるようになります。お気に入りのモデルを見つけて活用してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
AUTOMATIC1111の公式リポジトリは以下となります。
ローカル環境
GPUを搭載したローカルPCでAUTOMATIC1111を使用する方法について、以下の記事で解説しています。
Google Colaboratory
Googleのクラウドコンピューティングサービス、Google ColaboratoryでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
2023年5月現在、Google Colaboratoryの利用規約が改訂され、Stable Diffusionなどの画像AIの利用が可能なのは有料のProプランのみとなりました。
無料プランでStable Diffusionを使用すると、アカウント停止等の措置が取られる可能性がありますのでご注意ください。（詳細はGoogle Colaboratoryの利用規約をご確認ください。
Paperspase
定額制で高性能GPUを利用できるクラウドコンピューティングサービス、PaperspaceでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
LoRAとは
LoRA（Low-Rank Adaptation）はStable Diffusionの既存モデルを、20枚程度の画像を用いて追加学習させることにより微調整することができる仕組みです。
LoRAを用いることにより、キャラクターや服装などの特徴を固定して画像生成することが可能になります。
また、Web上ではStable Diffusionユーザーの方が作成したLoRAファイルが公開されており、それを利用することで自分で追加学習する必要なく、AUTOMATIC1111のWebUIで読み込むだけ使用することができます。
LoRAについて詳しく知りたい方は以下のページをご覧ください。
LoRAファイルを入手する
Webで公開されているLoRAを使用する
今回はWeb上で公開されている追加学習済みのLoRAファイルを使用します。
LoRAファイルの探し方については以下の記事で解説していますので、あわせてご覧ください。
MUSE_naturalface_v1
今回はMUSE_v1のページで紹介されている「MUSE_naturalface_v1」を利用します。MUSE_naturalface_v1は以下のページで公開されています。
MUSE_naturalface_v1を開いたら右上の「Download」ボタンをクリックすると入手できます。
（Google Colabの場合は直接スクリプトでダウンロードしますので、こちらのページからのダウンロードは不要です）
LoRA学習を実行してLoRAファイルを自作する
Webで公開されているLoRAファイルを使用する以外の方法として、自分で用意した画像を学習させてLoRAファイルを自作することも可能です。
ツールの使用法を覚えたり、パラメータチューニングをしたりと手間はかかりますが、習得すれば好きなキャラクターや服装LoRAを自在に作成することができます。
具体的な手順は以下の記事で解説しています。
また、LoRAでの追加学習を試すのに最適なデータセットとパラメータの設定を以下の記事で解説しています。
LoRAファイルをStable Diffusionのディレクトリに配置する
先ほどダウンロードしたLoRAファイルをStable Diffusionの決められたディレクトリに配置することで、AUTOMATIC1111のWebUIから利用可能になります。
環境により配置場所が異なりますので、以下のご利用の環境の解説をご覧ください。
ローカル環境
ローカル環境で使用する場合は、ローカルPCの以下のディレクトリにLoRAファイルを配置してください。
Gooogle Colaboratory
Google ColaboratoryでLoRAファイルを追加する場合は、以下のコードをJupiter Notebookのダウンロード処理に追加してください。
#!wget https://civitai.com/api/download/models/15994 -O /content/stable-diffusion-webui/models/Lora/museNaturalfaceV1_v1.safetensors詳細は以下の記事で解説しています。
Paperspace
Paperspaceで使用する場合は、Paperspaceの仮想マシンの以下のディレクトリにLoRAファイルを配置してください。
LoRAファイルを使って画像を生成する
WebUIを起動したら、「Generate」ボタンの下の赤枠のアイコンをクリックします。
以下のような拡張機能の項目が表示されますので、「Lora」のタブをクリックします。
Loraタブが開くと、現在使用可能なRoLAファイルが表示されます。今回は先ほど追加した「museNaturalfaceV1」を選択します。
LoRAファイルを選択すると、以下のようにLoRAを使用するためのプロンプトが追加されます。
その他のパラメータを設定したら、「Generate」ボタンをクリックして画像を生成します。
実行結果
実行結果は以下の通りです。
Seed値も指定していませんが、同じ人物に固定されており、色々な服装、ポーズをとった画像が生成できました。
Stable Diffusionのローカル環境
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
Stable Diffusionでイラストを生成するために実行される推論処理を、グラフィックボード上のGPUを使って大幅に高速化することができます。
トライする回数が増えれば品質の高いイラストが生成される可能性が上がりますので、グラフィックボードは重要です。
Stable Diffusionで使用するためのGPUは2022年に新たにNVIDIAから発売されたRTX4000シリーズのGPUとVRAM12GB以上のものがおすすめです。最近は半導体不足も一服したこともあり、新しい製品ながら価格が下がりつつあります。
エントリーモデルのGPU
予算を安く抑えたい方向けにはRTX4070を搭載したグラフィックボードがおすすめです。
予算に余裕がある方向け ミドル～ハイエンド
予算に余裕がある方向けにおすすめのRTX 4080、ビデオメモリ16GB以上搭載のモデルです。
大サイズの画像を高速に生成したい方向けのハイエンドGPU、RTX 4090 ビデオメモリ24GB搭載モデルです。
予算とパフォーマンスに合わせて選んでみてください。
画像生成AIについて学ぶ
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyの使い方や活用方法を勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
UdemyのStable Diffusionなど、AIアート関連の講座は海外のものも多いですが、ブラウザのリアルタイム翻訳機能を使うことで日本語字幕付きで視聴できます。
Udemyの海外講座の字幕を日本語化する方法
まとめ
今回はAUTOMATIC1111のWebUIで、LoRAを使って画像を生成する方法について解説しました。今後、無料で公開されている他のLoRAモデルや、追加学習の方法についてもブログで紹介していく予定です。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
