今回はStable Diffusionで使用できるLoRAの入手方法について解説します。
追加学習LoRAを使用することで、特定のキャラクターや服装を固定して画像を生成することができ、学習済みのLoRAファイルがStable Diffusionのデータ共有サイトで多数公開されています。
LoRAを使用することで、キャラクターや服装を固定して画像生成が可能。
お気に入りのキャラクタを様々なシチュエーションで撮影したような画像を生成することができますので、ぜひ活用してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
AUTOMATIC1111の公式リポジトリは以下となります。
ローカル環境
GPUを搭載したローカルPCでAUTOMATIC1111を使用する方法について、以下の記事で解説しています。
Google Colaboratory
Googleのクラウドコンピューティングサービス、Google ColaboratoryでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
2023年5月現在、Google Colaboratoryの利用規約が改訂され、Stable Diffusionなどの画像AIの利用が可能なのは有料のProプランのみとなりました。
無料プランでStable Diffusionを使用すると、アカウント停止等の措置が取られる可能性がありますのでご注意ください。（詳細はGoogle Colaboratoryの利用規約をご確認ください。
Paperspase
定額制で高性能GPUを利用できるクラウドコンピューティングサービス、PaperspaceでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
LoRAの入手サイト
LoRAファイル入手するのにおすすめのサイトはCivitaiです。
Stable Diffusionで使用できるモデルやLoRAが多数公開されており、各ページでユーザーが生成したプロンプト付きの画像ファイルも公開されているため、生成後のイメージを確認しながら選ぶことができます。
Civitaiのサイトは以下となります。
LoRAファイルの探し方
まずはCivitaiのサイトにアクセスします。
以下のようなトップページが表示されたら、右上の赤枠のフィルタアイコンをクリックします。
フィルタリングするカテゴリの一覧が表示されますので、「LoRA」を選択します。
フィルタが有効になると、以下のようにLoRAファイルのみが表示されます。
下方向にスクロールし、好みのモデルを探してください。
今回は例としてアジア人女性が描画できる「Cute Asian Face」を選択します。
「Cute Asian Face」のページに入ったら、右上の「Download」をクリックしてLoRAファイルをダウンロードします。
Cute Asian Faceの入手先
以下が「Cute Asian Face」のダウンロードページです。
LoRAファイルの使い方
先ほど入手したLoRAファイルをStable Diffusionのディレクトリに配置、使用する方法を以下の記事で解説しています。
こちらの記事に従って、LoRAファイルの配置と設定を済ませておいてください。
実行結果
先ほど入手した「Cute Asian Face」を使って実際に画像を生成した結果は以下の通りです。
使用したプロンプト
今回は以下のプロンプトを使用しました。
プロンプト
((masterpiece:1.4, best quality)), ((masterpiece, best quality)), (photo realistic:1.4) ((1girl)), (ultra highres:1.2), Japanese idle (Japanese actress) ,beautiful girl with beautiful details, very cute, beautiful girl with beautiful details, professional photography lighting, extremely detailed eyes and face, eyes with beautiful details, girl standing in town, casual clothes, <lora:Cute Asian Face:1>ネガティブプロンプト
Easy Negative (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,open chest,thick eyebrows, huge breasts, open chest使用したモデル
今回使用したモデルはChilloutMixです。
入手先は以下のページで紹介しています。
生成された画像
先ほどのプロンプトを元に生成された画像です。
配布ページのサンプル画像のように日本人風の女性の画像が生成できました。
LoRAファイルを自作する方法
今回はすでに作成、公開されているLoRAファイルを入手する方法を紹介しましたが、sd-scriptsというツールを使用して、自分で用意した画像を学習させ、LoRAファイルを自作することも可能です。
具体的な手順は以下の記事で解説しています。
Stable Diffusionのローカル環境
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
Stable Diffusionでイラストを生成するために実行される推論処理を、グラフィックボード上のGPUを使って大幅に高速化することができます。
トライする回数が増えれば品質の高いイラストが生成される可能性が上がりますので、グラフィックボードは重要です。
Stable Diffusionで使用するためのGPUは2022年に新たにNVIDIAから発売されたRTX4000シリーズのGPUとVRAM12GB以上のものがおすすめです。最近は半導体不足も一服したこともあり、新しい製品ながら価格が下がりつつあります。
エントリーモデルのGPU
予算を安く抑えたい方向けにはRTX4070を搭載したグラフィックボードがおすすめです。
予算に余裕がある方向け ミドル～ハイエンド
予算に余裕がある方向けにおすすめのRTX 4080、ビデオメモリ16GB以上搭載のモデルです。
大サイズの画像を高速に生成したい方向けのハイエンドGPU、RTX 4090 ビデオメモリ24GB搭載モデルです。
予算とパフォーマンスに合わせて選んでみてください。
画像生成AIについて学ぶ
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyの使い方や活用方法を勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
UdemyのStable Diffusionなど、AIアート関連の講座は海外のものも多いですが、ブラウザのリアルタイム翻訳機能を使うことで日本語字幕付きで視聴できます。
Udemyの海外講座の字幕を日本語化する方法
まとめ
今回はStable Diffusionで使用できるLoRAの入手方法について解説しました。
学習済みのLoRAファイルを使用することで、自分で学習することなく手軽に利用することができますので、お気に入りのLoRAを見つけてみてください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
