今回はAUTOMATIC1111でVAE（Auto-Encoder）を変更する方法について解説します。Stable Diffusionで画像を生成する際に適切なVAEを使用することで、イラストのクオリティを大幅に向上させることができますので、ぜひ活用してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
AUTOMATIC1111の環境構築
AUTOMATIC1111のインストール方法は以下のページで解説しています。
各環境に合わせて事前にインストールを済ませておいてください。
Google Colab
Google Colabでは、AUTOMATIC1111公式で紹介されている「maintained by Akaibu」のノートブックを使った場合を例として解説しています。
ローカル環境
ローカルPCでのAUTOMATIC1111のセットアップ手順は、以下のページで解説しています。
VAEファイルの入手
今回は私がよく使用しているモデル「SukiyakiMix-v1.0」で推奨されているVAE「WarriorMama777/OrangeMixs」の「orangemix.vae.pt」を例として使用します。
OrangeMixsはHugging Faceの以下のページからダウンロード可能です。
VAEファイルのコピー処理を追加する
入手したVAEファイルをAUTOMATIC1111のディレクトリにコピーします。
Google Colabの場合
AUTOMATIC1111公式で紹介されている「maintained by Akaibu」のノートブックを使った場合を例として解説します。VAEファイルは事前にGoogle Driveにアップロードしておいてください。
VAEファイルのコピー先のディレクトリはAUTOMATIC1111であらかじめ決められています。
こちらの記事で紹介したAUTOMATIC1111のノートブック「StableDiffusionUI-Voldemort V1.3.ipynb」の3番目のセル（③）にVAEファイルをコピーするコマンドを追加します。
追加するコードは以下となります。
今回は「orangemix.vae.pt」というVAEファイルを使用しますが、このファイル名を使用するVAEに応じて変更して下さい。
!cp /content/drive/MyDrive/（Google Driveのvaeファイルが保存されているディレクトリ）/orangemix.vae.pt /content/stable-diffusion-webui/models/VAE/画面の赤枠の部分にコピーコマンドを追加しました。
これでVAEの追加は完了です。
ローカル環境の場合
こちらの記事でダウンロードしたDockerコンテナの以下のディレクトリに、ダウンロードしたVAEファイルを配置してください。
AUTOMATIC1111の設定を変更する
AUTOMATIC1111を起動したら「Settings」のタブをクリックします。
設定項目の中から「Quicksettings list」を探します。
私のUIのバージョンは古いため全項目が同じ画面に表示されていますが、新しいUIの場合は画面左端に表示されているメニューの「User interface」をクリックしてください。
「Quicksettings list」の項目に「sd_vae」を追加します。
以下のように変更してください。
変更前
sd_model_checkpoint変更後
sd_model_checkpoint, sd_vae変更が完了したら、設定画面上部のApply Settingsをクリックします。
以下のようにsettings changedと変更内容が表示されたら完了です。
UIをリロードする
設定画面の変更内容をUIに反映させるため、設定画面最下部の「Restart Gradio and Refresh components」をクリックします。
UIをリロードすると以下のようにAUTOMATIC1111の画面上でVAEの選択項目が表示され、選択できるようになります。
VAEの選択項目が表示されない場合
「Restart Gradio and Refresh components」をクリックしてもVAEの項目が表示されない場合は、以下の手順でAUTOMATIC1111を再起動してください。
「StableDiffusionUI-Voldemort V1.3.ipynb」の4番目のセル（④）だけを一旦停止します。
セルの停止ボタン（■）をクリックして一旦停止した後、もう一度再生ボタン（▶）をクリックします。
AUTOMATIC1111が起動したらUIを開くと、設定が反映されています。
2回目以降の設定内容自動読み込み
一度VAEのUIを変更したら、その設定ファイルをGoogle Driveから読み込むことで起動時に自動的に反映することができます。手順は以下の記事で解説しています。
Stable Diffusionのローカル環境
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
Stable Diffusionでイラストを生成するために実行される推論処理を、グラフィックボード上のGPUを使って大幅に高速化することができます。
トライする回数が増えれば品質の高いイラストが生成される可能性が上がりますので、グラフィックボードは重要です。
Stable Diffusionで使用するためのGPUは2022年に新たにNVIDIAから発売されたRTX4000シリーズのGPUとVRAM12GB以上のものがおすすめです。最近は半導体不足も一服したこともあり、新しい製品ながら価格が下がりつつあります。
エントリーモデルのGPU
予算を安く抑えたい方向けにはRTX4070を搭載したグラフィックボードがおすすめです。
予算に余裕がある方向け ミドル～ハイエンド
予算に余裕がある方向けにおすすめのRTX 4080、ビデオメモリ16GB以上搭載のモデルです。
大サイズの画像を高速に生成したい方向けのハイエンドGPU、RTX 4090 ビデオメモリ24GB搭載モデルです。
予算とパフォーマンスに合わせて選んでみてください。
画像生成AIについて学ぶ
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyの使い方や活用方法を勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
UdemyのStable Diffusionなど、AIアート関連の講座は海外のものも多いですが、ブラウザのリアルタイム翻訳機能を使うことで日本語字幕付きで視聴できます。
Udemyの海外講座の字幕を日本語化する方法
まとめ
今回はAUTOMATIC1111でVAEを変更する方法について解説しました。各モデルにあったVAEを使用することでイラストのクオリティが劇的に変わりますのでぜひ試してみてください。
当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
