今回はStable DiffusionのWebUIであるAUTOMATIC1111で、VAE（Variational Auto Encoder）を使用する方法について解説します。
Stable Diffusionで画像を生成する際に、使用するモデルに適切なVAEを使用することでイラストのクオリティを大幅に向上させることができます。
本記事では、VAEの概要から具体的な使用方法までを解説します。
- VAEの概要
- VAEファイルの入手方法
- WebUIにVAEの選択項目を追加する方法（初期設定）
- VAEを使った画像生成手順
- Stable DiffusionでおすすめのVAE一覧
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
Stable DiffusionのWeb UI AUTOMATIC1111
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。
AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
Web UI AUTOMATIC1111のインストール方法
Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。
以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。
VAE（Variational Auto Encoder）とは
VAEは、機械学習の領域で使用される一種のオートエンコーダです。
オートエンコーダは、教師なし学習の一形態であり、入力データを圧縮（エンコード）してから再構築（デコード）するニューラルネットワークです。
エンコーダとデコーダの２つの部分から構成され、データの特徴を効率的に抽出することが目的です。一般的には次元削減や特徴学習に使用されます。
Stable Diffusion（画像生成AI）でのVAEは、画像を低次元の潜在空間にエンコードし、その後、新しい、通常は原画像よりも高品質な画像にデコードします。
特に、色彩の調整やディティールの向上に効果があります。
VAEファイルを入手する
VAEは基本的に各モデルで推奨されているVAEを選定する必要があります。
今回は、私がよく使用しているモデル「Shungiku-Mix」で推奨されているVAE「ClearVAE」を例として説明します。
モデルの入手先
Shungiku-Mixは、Hugging Faceの以下のページからダウンロード可能です。
URLのページにアクセスしたら、赤枠のdownloadをクリックしてください。
VAEの入手先
ClearVAEは、Civitaiの以下のページからダウンロード可能です。
URLのページにアクセスしたら、赤枠のDownloadをクリックしてください。
ポチップ
ポチップ
VAEファイルを配置する
ダウンロードしたVAEファイルをAUTOMATIC1111の指定のディレクトリにコピーします。
ローカル環境の場合
ダウンロードしたVAEファイルを以下のディレクトリに配置してください。
Google Colabの場合
AUTOMATIC1111公式で紹介されている「maintained by Akaibu」のノートブックを使った場合を例として解説します。VAEファイルは事前にGoogle Driveにアップロードしておいてください。
VAEファイルのコピー先のディレクトリはAUTOMATIC1111であらかじめ決められています。
こちらの記事で紹介したAUTOMATIC1111のノートブック「StableDiffusionUI-Voldemort V1.3.ipynb」の3番目のセル（③）にVAEファイルをコピーするコマンドを追加します。
追加するコードは以下となります。
今回は「orangemix.vae.pt」というVAEファイルを使用しますが、このファイル名を使用するVAEに応じて変更して下さい。
!cp /content/drive/MyDrive/（Google Driveのvaeファイルが保存されているディレクトリ）/orangemix.vae.pt /content/stable-diffusion-webui/models/VAE/画面の赤枠の部分にコピーコマンドを追加しました。
これでVAEの追加は完了です。
Paperspaceの場合
ダウンロードしたVAEファイルを以下のディレクトリに配置してください。
WebUI AUTOMATIC1111の設定を変更する
AUTOMATIC1111 WebUIでは、初期状態ではVAEを選択する項目が表示されていないため、設定を変更する必要があります。
WebUIの初期設定
WebUIを起動したらSettingsのタブをクリックします。
設定項目の中からQuicksettings listを探します。
私のUIのバージョンは古いため全項目が同じ画面に表示されていますが、新しいUIの場合は画面左端に表示されているメニューのUser interfaceをクリックしてください。
Quicksettings listの項目にsd_vaeを追加します。
以下のように変更してください。
変更前
Quicksettings listのテキストボックスにマウスカーソルを合わせ、sdと入力するとリストが表示されますので、sd_vaeを選択してください。
変更後
以下のようにsd_vaeが追加されたら変更完了です。
変更が完了したら、設定画面上部のApply Settingsをクリックします。
以下のようにsettings changedと変更内容が表示されたら設定です。
設定画面の変更内容をUIに反映させるため、設定画面最下部のRestart Gradio and Refresh componentsをクリックします。
UIをリロードすると、以下のようにAUTOMATIC1111の画面上でVAEの選択項目が表示され、選択できるようになります。
これでVAEの項目追加に関する設定は完了です。
VAEの選択項目が表示されない場合
「Restart Gradio and Refresh components」をクリックしてもVAEの項目が表示されない場合は、以下の手順でAUTOMATIC1111を再起動してください。
「StableDiffusionUI-Voldemort V1.3.ipynb」の4番目のセル（④）だけを一旦停止します。
セルの停止ボタン（■）をクリックして一旦停止した後、もう一度再生ボタン（▶）をクリックします。
AUTOMATIC1111が起動したらUIを開くと、設定が反映されています。
2回目以降の設定内容自動読み込み（Google Colabの場合）
ローカル環境、Paperspaceの場合はこちらの設定は不要です。
Google ColabでWebUIを使用する場合、1度VAEのUIを変更したら、その設定ファイルをGoogle Driveから読み込むことで起動時に自動的に反映することができます。
詳細な手順は以下の記事で解説しています。
VAEを使用して画像を生成する
ここからは、実際にVAEを使用して画像を生成する手順を解説します。
VAEを使用して画像生成する手順
WebUIを起動したら、SD VAEの項目にデフォルトではAutomaticが選択されている状態になります。
SD VAEのドロップダウンリストをクリックし、使用したいVAEを選択します。
今回は例として、clearvae_v23.safetensorsを例に説明します。ドロップダウンリストからclearvae_v23.safetensorsを選択します。
ドロップダウンリストから使用したいVAEを選択すると、VAEファイルのロードが始まり、完了すると以下のようにSD VAEの項目にclearvae_v23.safetensorsと表示されます。（正常にロードできない場合は、この段階でエラーが発生しますので、ログを確認してください）
VAEのロードが完了したら、後は通常通りプロンプトとパラメータを設定し、Generateをクリックして画像を生成します。
VAEを使って生成された画像
今回は例として以下のようなプロンプトを作成しました。
プロンプト：
(masterpiece, best quality:1.4), (ultra-detailed:1.2), one girl, solo, illustration, A woman about 20 years old wearing a blue hoodie is standing in the middle of a beautiful cityscape. The sky is a deep blue, with fluffy white clouds. The city is bustling with people, cars and scooters. The sun is setting and the buildings are casting long shadows. The woman is surrounded by tall buildings with gray and glass facades. In the background, there is a river that sparkles in the light of the setting sun. Art style: Animation
ネガティブプロンプト：
(worst quality:1.4), (low quality:1.4), (monochrome:1.3), (3D:0.9), lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, bad_prompt, bad_prompt2
VAEを使用した場合と使用しなかった場合の比較は以下のようになりました。clearvae_v23.safetensorsを使用した場合の方がより自然な色あいの画像になりました。
VAEを使用せずに生成した画像
VAEを使って生成した画像
Stable DiffusionでおすすめのVAE一覧
Stable Diffusionでよく利用されるVAEを以下の記事で解説しています。
使っているモデルと最適な組み合わせを探してみてください。
Stable Diffusionのテクニックを効率よく学ぶには？
カピパラのエンジニアStable Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない…
猫のエンジニアそんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ！
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はAUTOMATIC1111でVAEを変更する方法について解説しました。各モデルにあったVAEを使用することでイラストのクオリティが劇的に変わりますのでぜひ試してみてください。
当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
コメント