Stable Diffusionで追加学習LoRAを使ってキャラクターを固定して画像生成する方法

  • URLをコピーしました!

※本ページはアフィリエイト広告を利用しています

今回はAUTOMATIC1111のWebUIで、LoRAを使って画像を生成する方法について解説します。LoRAファイルを使用することにより、キャラクターを固定して画像を生成できるようになります。お気に入りのモデルを見つけて活用してみてください。

また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。

Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。

目次

Stable Diffusionとは

Stable Diffusion(ステーブル・ディフュージョン)は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
(出典:wikipedia)

Stable DiffusionのWeb UI AUTOMATIC1111

AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。

AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。

Web UI AUTOMATIC1111のインストール方法

Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境(自宅のゲーミングPCなど)を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。

以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。

LoRA(Low-Rank Adaptation)とは

LoRA(Low-Rank Adaptation)は、既存のStable Diffusionモデルを20枚程度の画像を用いて追加学習させることにより微調整することができる仕組みです。LoRAを用いることにより、キャラクターや服装などの特徴を固定して画像生成することが可能になります。

LoRAの詳細については以下の記事で解説していますので、あわせてご覧ください。

Stable Diffusionでの画像生成に最適! VRAM16GB搭載モデル!
¥88,783 (2024/06/10 16:47時点 | Amazon調べ)

LoRAファイルを入手する

Webで公開されているLoRAを使用する

今回はWeb上で公開されている追加学習済みのLoRAファイルを使用します。

LoRAファイルの探し方については以下の記事で解説していますので、あわせてご覧ください。

MUSE_naturalface_v1

今回はMUSE_v1のページで紹介されている「MUSE_naturalface_v1」を利用します。MUSE_naturalface_v1は以下のページで公開されています。

MUSE_naturalface_v1を開いたら右上の「Download」ボタンをクリックすると入手できます。
(Google Colabの場合は直接スクリプトでダウンロードしますので、こちらのページからのダウンロードは不要です)

LoRA学習を実行してLoRAファイルを自作する

Webで公開されているLoRAファイルを使用する以外の方法として、自分で用意した画像を学習させてLoRAファイルを自作することも可能です。

ツールの使用法を覚えたり、パラメータチューニングをしたりと手間はかかりますが、習得すれば好きなキャラクターや服装LoRAを自在に作成することができます。

具体的な手順は以下の記事で解説しています。

また、LoRAでの追加学習を試すのに最適なデータセットとパラメータの設定を以下の記事で解説しています。

Stable Diffusionでの画像生成に最適! VRAM16GB搭載モデル!
¥88,783 (2024/06/10 16:47時点 | Amazon調べ)

LoRAファイルをStable Diffusionのディレクトリに配置する

先ほどダウンロードしたLoRAファイルをStable Diffusionの決められたディレクトリに配置することで、AUTOMATIC1111のWebUIから利用可能になります。

環境により配置場所が異なりますので、以下のご利用の環境の解説をご覧ください。

ローカル環境

ローカル環境で使用する場合は、ローカルPCの以下のディレクトリにLoRAファイルを配置してください。

(Stable Diffusionをインストールしたディレクトリ)/models/Lora

Gooogle Colaboratory

Google ColaboratoryでLoRAファイルを追加する場合は、以下のコードをJupiter Notebookのダウンロード処理に追加してください。

#!wget https://civitai.com/api/download/models/15994 -O /content/stable-diffusion-webui/models/Lora/museNaturalfaceV1_v1.safetensors

詳細は以下の記事で解説しています。

Paperspace

Paperspaceで使用する場合は、Paperspaceの仮想マシンの以下のディレクトリにLoRAファイルを配置してください。

/notebooks/stable-diffusion-webui/models/Lora/

LoRAファイルを使って画像を生成する

WebUIを起動したら、「Generate」ボタンの下の赤枠のアイコンをクリックします。

以下のような拡張機能の項目が表示されますので、「Lora」のタブをクリックします。

Loraタブが開くと、現在使用可能なRoLAファイルが表示されます。今回は先ほど追加した「museNaturalfaceV1」を選択します。

LoRAファイルを選択すると、以下のようにLoRAを使用するためのプロンプトが追加されます。

その他のパラメータを設定したら、「Generate」ボタンをクリックして画像を生成します。

実行結果

実行結果は以下の通りです。
Seed値も指定していませんが、同じ人物に固定されており、色々な服装、ポーズをとった画像が生成できました。

Stable Diffusionのテクニックを効率よく学ぶには?

カピパラのエンジニア

Stable Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない…

猫のエンジニア

そんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ!

動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。

Udemyは講座単体で購入できるため安価で(セール時1500円くらいから購入できます)、PCが無くてもスマホでいつでもどこでも手軽に学習できます。

Stable Diffusionに特化して学ぶ

Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。

icon icon ジェネレーティブAI(画像生成AI)入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能 icon

画像生成AIの仕組みを学ぶ

画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。

icon icon AIによる画像生成を学ぼう!【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル- icon

まとめ

今回はAUTOMATIC1111のWebUIで、LoRAを使って画像を生成する方法について解説しました。今後、無料で公開されている他のLoRAモデルや、追加学習の方法についてもブログで紹介していく予定です。

また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。

スキルアップや副業にぜひ活用してみてください。

スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。

講座単位で購入できるため、スクールに比べ非常に安価(セール時1200円程度~)に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。

それでは、また次の記事でお会いしましょう。

よかったらシェアしてね!
  • URLをコピーしました!

コメント

コメントする

CAPTCHA


目次