LoRAの使い方：Stable Diffusionとsd-scriptsを活用した画像生成の全手順

今回はStable Diffusionのモデルに対し局所的なチューニングを行うことにより、キャラクターや衣装を固定した画像生成を可能にするLoRA（Low-Rank Adaptation）について解説します。

LoRAを活用するこにより、ランダム性の高かった画像生成をコントロールできるようになりますので、ぜひ試してみてください。

また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。

Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。

Stable Diffusionとは

Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）

Stable DiffusionのWeb UI AUTOMATIC1111

AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。

AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。

Web UI AUTOMATIC1111のインストール方法

Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。

以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。

LoRA（Low-Rank Adaptation）とは

LoRA（Low-Rank Adaptation）は、既存のStable Diffusionモデルを20枚程度の画像を用いて追加学習させることにより微調整することができる仕組みです。LoRAを用いることにより、キャラクターや服装などの特徴を固定して画像生成することが可能になります。

Stable Diffusionで使用できるLoRAファイルの入手方法

Stable Diffusionで使用できるLoRAファイルを入手するには、Civitaiというサイトを利用します。

Civitaiでは様々なLoRAファイルが公開されており、それらをダウンロードして使用することができます。また、ダウンロードしたLoRAファイルはAUTOMATIC1111 WebUI上で使用することができます。

CivitaiでのLoRAの検索方法を以下の記事で解説しています。

追加学習を実行してLoRAファイルを自作する

Civitaiなどのモデル共有サイトで、他のユーザーが作成したモデルをダウンロードする以外に、自分で用意した画像を使って追加学習を行い、LoRAファイルを自作することも可能です。

sd-scriptsのインストールとLoRA学習環境の構築

LoRAを使用するためには、sd-scriptsというツールのインストールが必要です。sd-scriptsは、LoRAの学習環境を構築するためのツールで、PaperspaceやGoogle Colaboratoryなどのクラウド環境でも使用することができます。

sd-scriptsのインストール方法を、以下の記事で解説しています。

Stable DiffusionでLoRAを使った学習方法

自分で用意した画像を元に、キャプションファイルを作成してデータセットを用意し、それを元にsd-scriptsを使用して追加学習を行うことで、LoRAファイルを作成することが可能です。

作成したLoRAファイルをStable Diffusionに読み込ませることで、LoRAを用いた画像生成を行います。

キャプションファイルの作成と、sd-scriptsを使った追加学習の実行方法を以下の記事で解説しています。

LoRAでの追加学習に使用するデータセット

東北ずん子（SSS合同会社）のデータセット

LoRA初心者の方に特におすすめなのが、SSS合同会社が無料で公開している東北ずん子のデータセットです。

画像と合わせてキャプションファイルもあらかじめ用意されており、ファイル名も連番で設定されていることから、データをダウンロードして即LoRAの学習に利用できます。

東北ずん子のデータセットの入手方法と、パラメータの設定方法を以下の記事で解説しています。

ControlNetのreference_onlyで学習用画像を生成する

LoRAの学習用画像を自分で用意する際、おすすめの方法としてreference_onlyを使っての画像データ生成があります。

ControlNetの機能として使用できるreference_onlyは、1枚の画像に描かれているキャラクターの特徴を元に類似の画像を生成することが可能です。

ですので、Stable Diffusionで偶然生成されたお気に入りのキャラクターの構図やポーズが異なるバリエーション画像を大量に生成し、データセットとして使用できます。

reference_only詳細な使用方法については、以下の記事で解説しています。

Stable DiffusionでLoRAを使ってキャラクターを固定して画像生成する方法

最後にStable DiffusionとLoRAを用いて、特定のキャラクターを固定して画像を生成する方法について詳しく解説します。

追加学習を行ったLoRAファイルをStable Diffusionで使用し、その結果として生成される画像のキャラクターが固定されるというプロセスを、具体的な手順とともに説明します。

この方法を用いることで、一貫性のあるキャラクターの画像を生成することが可能となります。

LoRA紹介

ここからは、Web上で公開されている様々な機能を持ったLoRAを紹介します。

高画質化

Detail Tweaker LoRA

ディティールをアップしたい場合に有効なLoRAとして、Detail Tweaker LoRAがあります。アニメ調のイラストに適用するだけで、書き込み量を大幅に増やすことが可能です。

flat LoRA

flat LoRAはDetail Tweaker LoRA同様、ディティールアップできるLoRAです。本来は画像をよりフラットな方法に修正するLoRAですが、適用量をマイナスに設定することで書き込み量を増やすことができます。

Stable Diffusionのテクニックを効率よく学ぶには？

動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。

Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。

Stable Diffusionに特化して学ぶ

Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。

ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能

画像生成AIの仕組みを学ぶ

画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。

AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-

まとめ

この記事では、Stable DiffusionとLoRAを用いた画像生成の全手順を解説しました。

LoRAファイルの入手方法から、sd-scriptsのインストール、LoRAを用いた学習方法、そして追加学習に最適なデータセットとパラメータの設定方法まで、LoRAを使いこなすための手順を網羅的に紹介しました。

LoRAを活用し、よりクオリティの高い画像生成に挑戦してみてください。

また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。

スキルアップや副業にぜひ活用してみてください。

スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。

講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。

それでは、また次の記事でお会いしましょう。

参考