今回はStable Diffusionで使えるUpscaler（アップスケーラー）について解説します。
Upscalerを使うことにより画像のサイズを拡大するだけではなく、書き込み量を増やすことで高精細な画像を生成することが可能です。
Stable Diffusionでは様々なUpscalerが用意（一部は拡張機能）されており、それぞれの機能に特徴がありますので、用途に合わせて選んでみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
ポチップ
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
Stable DiffusionのWeb UI AUTOMATIC1111
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。
AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
Web UI AUTOMATIC1111のインストール方法
Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。
以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。
hires.fix
最初に紹介するのは、Stable Diffusionで生成した画像を高精細化するAUTOMATIC1111の機能、hires.fixです。
hires.fixは、小さいサイズで生成した画像をアップスケールすることで、より高精細な画像を作成することが可能です。追加のインストール無しで使用でき、後程紹介する様々なアップスケーラーと組み合わせて使用することができます。
ポチップ
ポチップ
ControlNet tile_resample
tile_resampleはControlNetのプリプロセッサとして使用でき、元の画像の絵柄を保ったまま書き込み量を増やすことができます。
tile_resampleは、アップスケールする際に絵柄が変わってしまうといった問題を解決することができますので、単体でも使用できますが、他のアップスケーラと組み合わせて使用する場合にも有効です。
img2img
MultiDiffusionはAUTOMATIC1111の拡張機能として使えるアップスケーラーです。
img2imgを使用して画像をアップスケールしたい場合に、元の画像の構図を保ったまま画像サイズを拡大、高精細化することができるアップスケーラです。
LLuL
LLuL（Local Latent upscaLer）は、画像生成時に潜在（Latent）空間で学習を行う拡散モデルを用い、指定した部分だけをアップスケールすることが可能です。
GUI上で適用範囲を簡単に指定できますので、背景や服のみに適用したい場合に有効です。
LoRA
Detail Tweaker LoRA
Detail Tweaker LoRAは、アニメ調のイラストで元の画像の構図を保ったまま、書き込み量を簡単に増やすことができるLoRAです。
特にパラメータ設定等は不要で、LoRAのトリガーワードを追加するだけで簡単に使用できます。また、書き込み量を増やす効果としては、今回紹介したアップスケーラーの中では一番効果があります。
flat LoRA
flat LoRAはDetail Tweaker LoRA同様、ディティールアップできるLoRAです。本来は画像をよりフラットな方法に修正するLoRAですが、適用量をマイナスに設定することで書き込み量を増やすことができます。
Stable Diffusionの理想的な環境を構築する
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
グラフィックボードの性能によって画像の生成速度や最大生成サイズが決まります。
Stable Diffusionで使用するのにおすすめのグラフィックボードを以下の記事で解説していますので、あわせてご覧ください。
Stable Diffusionで生成される画像のクオリティを上げる
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyなどを使ったAIアート全般について勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はStable Diffusionで使えるUpscalerについて解説しました。
各UpscalerによってVRAMの使用量なども変わってきますので、用途に応じて使い分けてみてください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
