Stable Diffusionの使い方を解説！ ｜ AIで画像生成する方法

イラストを描画できるAI、Stable Diffusionについて、当ブログでも過去に何度か取り上げてきました。今回はその使用方法についてまとめたいと思います。

Pythonでの実装方法をサンプルコード付きで詳しく解説しますので、ぜひ自宅のPCやGoogle Golabで試してみてください。

Stable Diffusionを自分で動かしてみたいけど、まだPythonのプログラミングをやったことがない、これからAIを使うためにPythonを勉強したいという方には、以下の記事でPython習得の手順を解説していますので、こちらもあわせてご覧ください。

また、画像系以外の生成AIについても以下の記事で紹介していますので、あわせてご覧ください。

Stable Diffusionとは

Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
GPUを搭載していれば、ユーザ自身でStable Diffusionをインストールしローカル環境で実行することも可能です。
（出典：wikipedia）

高機能WebUI AUTOMATIC1111

Stable Diffusionの主要機能をほとんど網羅している超高機能Web UI、AUTOMATIC1111。Pythonなどプログラミングを一切必要とせず、GUIからモデルの変更やパラメータ設定など、Steble Diffusionの機能を使用できます。

AUTOMATIC1111のインストール

WebUI AUTOMATIC1111は主にローカルPC、Paperspace、Google Colaboratoryの3つの環境で使用することができます。

各環境でのインストール方法を以下の記事で解説しています。

Stable Diffusion 2.1モデルのインストール

Stable Diffusionの開発元である、Stability AIが公開しているStable Diffusion 2.1のインストール方法を以下の記事で解説しています。

VAE（Auto-Encoder）を変更する

VAEを変更したい場合は、以下のページで設定方法を解説しています。

ControlNetで構図やキャラのポーズを指定する

画像生成AIの構図を細かく指定することができるツールControlNetを、AUTOMATIC1111に拡張機能として組み込むための方法を以下のページで解説しています。

ControlNetのインストール方法を以下のページで解説しています。

デザインドール（DESIGN DOLL）で作成したポーズデータをControlNetで読み込んでイラストを生成する手順を以下のページで解説しています。

AUTOMATIC1111のWebUI内でポーズデータを生成できるOpenPose Editorの使い方を以下のページで解説しています。

reference_onlyで1枚の画像から同じキャラクターのイラストを生成する

ControlNetの機能であるreference_onlyを使用すると、LoRAのように追加学習等は行わずに、１枚の画像からそこに描かれているキャラクターを、別の構図、ポーズで描画することができます。
LoRAのデータセットとして使用する画像の生成等にも使用することができます。

ControlNetで失敗した手の部分を修正する

ControlNetとDepthライブラリを組み合わせることで、手がうまく描画できなかったイラストを修正することができます。構図やキャラクターが気に入っているのに、手の部分だけが失敗したというケースで有効です。

画像をアップスケールして高精細化する

画像全体をアップスケールする

画像全体をアップスケールしたい場合は、AUTOMATIC1111に標準搭載されているhires.fixという機能を使うことで実現することができます。
hires.fixの使い方は以下の記事で解説しています。

LLuL – Local Latent upscaLerで画像の一部だけディティールを追加する

LLuL – Local Latent upscaLerという拡張機能をしようすることで、生成した画像の一部だけにディティールを追加して高精細化することができます。
LLuL – Local Latent upscaLerのインストールと使用方法を以下の記事で解説しています。

img2img使用時にアップスケールする

img2img使用時に画像を高精細化できるMultiDiffusionの使い方を以下の記事で解説しています。

Img2Img (Image-to-Image Translation) で画像を生成する

AUTOMATIC1111で画像を読み込んで画像を生成するImg2Img の手順を、以下の記事で解説しています。

追加学習LoRA

LoRAを使った追加学習により、生成されるキャラクターや服装を固定することが可能です。追加学習の手順や、AUTOMATIC1111のWebUIでLoRAファイルを使用する方法を以下の記事で解説しています。

マージモデルを作成する

AUTOMATIC1111のCheckpoint Mergerを使うと、お気に入りのモデルを組み合わせてマージモデルを作成することが可能です。Checkpoint Mergerの使用方法を以下の記事で解説しています。

Stable Diffusion リアル系イラスト

Stable Diffusionでリアル系のイラストを描画する方法を以下の記事で解説しています。

Stable Diffusionでリアル系のイラストを描画できるマージモデル、LoRAを以下の記事で紹介しています。

Stable Diffusionでハイクオリティなリアル系のイラストを生成するためのプロンプト（呪文）を作成する方法について、以下の記事で解説しています。

Diffusers Stable Diffusion 2.x（現行バージョン）

セットアップと描画方法

2022年11月にStable Diffusionの新しいバージョンとなる2.0が公開されました。
2.0のセットアップ方法と、画像生成を実行するためのPythonコードの書き方を以下の記事で解説しています。

ローカル環境及びGoogle Colaboratoryのどちらもでコピペですぐ使えますので、ぜひトライしてみてください。

パラメータの設定方法

Stable Diffusionは設定するパラメータにより生成される画像が大きく変わります。Stable Diffusionの主要なパラメータの使い方について、以下の記事でPythonのコード付きで解説しています。

2次元キャラ向け Waifu Diffusionの使い方（Stable Diffusion 2.x系）

2次元キャラクターに特化したモデルWaifu DiffusionをStable Diffusion 2.xで動作させるための方法と、ソースコードを以下の記事で解説しています。

ネガティブプロンプト（Negative Prompt）を指定する方法

Stable Diffusionが生成するイラストの中で描かせたくない要素を除外するためのネガティブプロンプトを（Negative Prompt）を指定する方法について、以下の記事で解説しています。

Seed値を固定してイラストを生成する方法

Stable Diffusion 2.0でSeed値をマニュアルで固定し、同じプロンプトから同じイラストを生成する方法を、以下の記事で解説しています。

Diffusers Stable Diffusion 1.x（旧バージョン）

2023年1月現在、Stable Diffusion 1.x系が動作しなくなっています。
最新バージョンである2.x系の使用方法を上記記事で紹介していますのでそちらを使用してください。

セットアップと描画方法

Stable Diffusionのセットアップ方法と実行方法を以下の記事で解説しています。ローカル環境で実行する方法を記載しておりますが、Google Colabでも同じソースコードで実行が可能です。

2次元キャラ向け Waifu Diffusionの使い方

Stable Diffusionの学習モデルを、より2次元イラストに特化させたモデルWaifu Diffusionに変更して使用する方法を以下の記事で解説しています。かわいい2次元キャラを描きたい方におすすめです。

img2img 画像で指示を与える方法

Stable Diffusionでは、Promptと呼ばれる文字列で指示を与える方法とは別に、img2imgという画像を使って指示を与える方法があります。以下の記事ではimg2imgでイラストを生成する方法を解説しています。

生成した画像の補正

Stable Diffusionで生成した画像を、GANを使って補正することが可能です。

顔の崩れを修正することができるGFPGANの使い方を以下の記事で解説しています。

Stable Diffusionで生成した画像のサイズを大きくする方法を以下の記事で解説しています。グラフィックボードのGPUメモリーの制約等で大きな画像を生成できない方におすすめです。

Stable Diffusionで使用できるカスタムモデル

Stable Diffusionでは、学習済みモデルを使って推論を実行し、イラストを出力します。そして、使用するモデルを変更することで、出力されるイラストの画風がガラリと変わります。

以下の記事では、2次元のアニメ調に特化したカスタムモデルを紹介しています。こちらの記事で紹介モデルは、どれも非常にクオリティの高いイラストを出力することができますので、ぜひ試してみてください。。

自然言語モデル（LLM）によるプロンプト生成

英文の呪文を一から考えるのは大変ですが、自然言語モデルを使ったAIに日本語で作成したい画像のイメージを伝えると、それを元に呪文を自動生成することが可能です。

OpenAIの自然言語モデルGPT-3を生成AIのプロンプト用にチューニングされたモデルを使った生成方法を以下で解説しています。

Catchyを使って生成したプロンプトのサンプル集を以下の記事で紹介しています。

プロンプト（呪文）集

美しいイラストを生成するためのプロンプトを紹介しているサイトを以下の記事でまとめています。自分で考えたプロンプトでお困りの方はぜひ活用してみてください。

Google Colaboratoryを使った実行環境

Stable Diffusionを自分の環境で使用したい場合は、自宅にPCを用意する他にGoogleのクラウドコンピューティングサービス Google Colaboratoryを使って実行することも可能です。

無料分を使い切るとGPUの使用量に応じて料金が発生しますので、クラウドでガンガン回したい方は課金も視野に入れて使うのが良いかと思います。

Google Colaboratoryの使い方は以下の記事で解説していますので、あわせてご覧ください。

Stable Diffusionの理想的な環境を構築する

Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。

欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。

ローカルのPCに搭載するグラフィックボード

ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
グラフィックボードの性能によって画像の生成速度や最大生成サイズが決まります。

Stable Diffusionで使用するのにおすすめのグラフィックボードを以下の記事で解説していますので、あわせてご覧ください。

Stable Diffusionで生成される画像のクオリティを上げる

動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。

Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。

画像生成AIの使い方を学ぶ

Stable DiffusionやMidjourneyなどを使ったAIアート全般について勉強したい方には、以下の講座がおすすめです。

【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】

Stable Diffusionに特化して学ぶ

Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。

ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能

画像生成AIの仕組みを学ぶ

画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。

AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-

まとめ

今回はStable Diffusionの使用方法についてまとめてみました。現在Stable Diffusionはver 2.0も公開されており、今後もモデルの進化が楽しみです。

また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。

スキルアップや副業にぜひ活用してみてください。

スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。

講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。

それでは、また次の記事でお会いしましょう。