Stable Diffusionでflat LoRAを使って書き込み量を増やす方法

今回はイラストの書き込み量を増やすことができるflat LoRAの使い方について解説します。以前、紹介したDetail Tweaker LoRAと同じような効果を得られるLoRAです。

LoRAを使うことで手軽にディティールをアップさせることができますので、ぜひ活用してみてください。

また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。

Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。

Stable Diffusionとは

Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）

Stable DiffusionのWeb UI AUTOMATIC1111

AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。

AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。

Web UI AUTOMATIC1111のインストール方法

Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。

以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。

LoRA（Low-Rank Adaptation）とは

LoRA（Low-Rank Adaptation）は、既存のStable Diffusionモデルを20枚程度の画像を用いて追加学習させることにより微調整することができる仕組みです。LoRAを用いることにより、キャラクターや服装などの特徴を固定して画像生成することが可能になります。

LoRAの詳細については以下の記事で解説していますので、あわせてご覧ください。

flat LoRAを入手する

flatのLoRAファイルは以下のサイトで公開されています。

バージョンが異なるflat1.safetensorsとflat2.safetensorsが公開されています。これらのファイルをダウンロードしてください。

LoRAファイルを配置する

先ほどダウンロードしたflatのLoRAファイルをStable Diffusionのディレクトリに配置します。
配置方法は以下のページで解説していますので、事前に済ませておいてください。

flatを使って画像生成する

LoRAファイルを配置したら、まずはLoRAを使わずに画像を生成します。

プロンプトとパラメータを入力したら、Generateをクリックします。

画像生成が完了したら、赤枠のLoRAのボタンをクリックします。

使用するLoRAファイルを選択します。今回はflat2を使用します。

トリガーワードが追加されたら適用量を編集します。
flatは本来、書き込み量を減らす効果があるLoRAであるため、適用量にマイナスの値を設定する必要があります。今回は-1を設定します。

書き込み量を増やす場合には、LoRAの適用量をマイナスに設定する。

トリガーワードの例：
<lora:flat2:-1>

以上でLoRAの設定は終了です。

今回はhires.fixで2倍にアップスケールします。またSeed値はベースとしたい画像の値を設定します。

実行結果

flat LoRAを使う前と後で画像がどのように変化するかを比較します。

flat LoRA適用前

こちらがflat LoRAを使用しない場合の画像です。画像サイズは512*512で生成しました。

flat LoRA適用後

こちらがflat2を使用して生成した画像です。hires.fixで2倍の1024*1024のサイズになっています。

Stable Diffusionのテクニックを効率よく学ぶには？

動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。

Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。

Stable Diffusionに特化して学ぶ

Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。

ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能

画像生成AIの仕組みを学ぶ

画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。

AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-

まとめ

今回は書き込み量を増やすことができるflat LoRAの使い方について紹介しました。LoRAを適用するだけで高精細のイラストを生成することができますので、試してみてください。

また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。

スキルアップや副業にぜひ活用してみてください。

スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。

講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。

それでは、また次の記事でお会いしましょう。