猫のサラリーマン最近、Stable Diffusionっていう画像系AIが話題だよね
使ってみたいけど、どこのサービスがいいんだろう？
猫のエンジニアStable Diffusionはオープンソースだから、自分で簡単なPythonのコードを描いて自宅のPCやGoogle Colabで使えるんだよ
イラストを描画できるAI、Stable Diffusionについて、当ブログでも過去に何度か取り上げてきました。今回はその使用方法についてまとめたいと思います。
Pythonでの実装方法をサンプルコード付きで詳しく解説しますので、ぜひ自宅のPCやGoogle Golabで試してみてください。
Stable Diffusionを自分で動かしてみたいけど、まだPythonのプログラミングをやったことがない、これからAIを使うためにPythonを勉強したいという方には、以下の記事でPython習得の手順を解説していますので、こちらもあわせてご覧ください。
また、画像系以外の生成AIについても以下の記事で紹介していますので、あわせてご覧ください。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
GPUを搭載していれば、ユーザ自身でStable Diffusionをインストールしローカル環境で実行することも可能です。
（出典：wikipedia）
高機能WebUI AUTOMATIC1111
Stable Diffusionの主要機能をほとんど網羅している超高機能Web UI、AUTOMATIC1111。Pythonなどプログラミングを一切必要とせず、GUIからモデルの変更やパラメータ設定など、Steble Diffusionの機能を使用できます。
AUTOMATIC1111をローカル環境（ゲーミングPCなど）で使用する
ゲーミングPCなど、高性能なグラフィックボードを搭載したマシンを所有している場合は、ローカル環境でAUTOMATIC1111を使用することができます。
ローカル環境で高性能なグラフィックボードがあれば、制約なしで容量の大きな学習済みモデルを使って、大サイズの画像を高速に生成できますので、費用面を除けば理想的な環境です。
AUTOMATIC1111のセットアップ方法から画像生成までの手順を以下の記事で解説しています。
AUTOMATIC1111をGoogle Colabで使用する
GoogleのクラウドコンピューティングサービスであるGoogle Colaboratory上でも、AUTOMATIC1111を使用することができます。Google Colabはブラウザから利用できるため、ネットさえつながればノートPCやネットカフェ、職場など外出先からでも24時間利用可能です。
Google Colabは無料版でも利用できますが、Colab Proは安い料金で高性能なGPUや大容量メモリを使用できるためおすすめです。
Google ColabでAUTOMATIC1111の環境を構築する方法を、以下の記事で解説しています。
また、AUTOMATIC1111のSettingsタブで設定した情報を、起動時に自動で読み込む方法について以下の記事で解説しています。
AUTOMATIC1111をPaperspaceで使用する
定額制で高性能GPU使い放題プランが用意されているクラウドコンピューティングサービス、Paperspaceを使ってAUTOMATIC1111を実行する方法を以下のページで解説しています。
混みあっている時間帯は仮想マシンの待ち時間が発生することがありますが、Google Colabのようにクレジットを気にせずガンガン回したい方にはおすすめです。
VAE（Auto-Encoder）を変更する
VAEを変更したい場合は、以下のページで設定方法を解説しています。
ControlNetで構図やキャラのポーズを指定する
画像生成AIの構図を細かく指定することができるツールControlNetを、AUTOMATIC1111に拡張機能として組み込むための方法を以下のページで解説しています。
ControlNetのインストール方法を以下のページで解説しています。
デザインドール（DESIGN DOLL）で作成したポーズデータをControlNetで読み込んでイラストを生成する手順を以下のページで解説しています。
AUTOMATIC1111のWebUI内でポーズデータを生成できるOpenPose Editorの使い方を以下のページで解説しています。
ControlNetで失敗した手の部分を修正する
ControlNetとDepthライブラリを組み合わせることで、手がうまく描画できなかったイラストを修正することができます。構図やキャラクターが気に入っているのに、手の部分だけが失敗したというケースで有効です。
画像をアップスケールして高精細化する
画像全体をアップスケールする
画像全体をアップスケールしたい場合は、AUTOMATIC1111に標準搭載されているhires.fixという機能を使うことで実現することができます。
hires.fixの使い方は以下の記事で解説しています。
LLuL – Local Latent upscaLerで画像の一部だけディティールを追加する
LLuL – Local Latent upscaLerという拡張機能をしようすることで、生成した画像の一部だけにディティールを追加して高精細化することができます。
LLuL – Local Latent upscaLerのインストールと使用方法を以下の記事で解説しています。
Img2Img (Image-to-Image Translation) で画像を生成する
AUTOMATIC1111で画像を読み込んで画像を生成するImg2Img の手順を、以下の記事で解説しています。
Stable Diffusion 2.x（現行バージョン）
セットアップと描画方法
2022年11月にStable Diffusionの新しいバージョンとなる2.0が公開されました。
2.0のセットアップ方法と、画像生成を実行するためのPythonコードの書き方を以下の記事で解説しています。
ローカル環境及びGoogle Colaboratoryのどちらもでコピペですぐ使えますので、ぜひトライしてみてください。
パラメータの設定方法
Stable Diffusionは設定するパラメータにより生成される画像が大きく変わります。Stable Diffusionの主要なパラメータの使い方について、以下の記事でPythonのコード付きで解説しています。
背景も綺麗に描画できる2次元特化モデルAnything V4.0の使い方
2次元のアニメ調に特化し、非常にクオリティの高いキャラクターと風景を描画できるモデルAnything の使い方を以下の記事で解説しています。
2次元キャラ向け Waifu Diffusionの使い方（Stable Diffusion 2.x系）
2次元キャラクターに特化したモデルWaifu DiffusionをStable Diffusion 2.xで動作させるための方法と、ソースコードを以下の記事で解説しています。
img2imgで風景写真からイラストを生成する方法（Stable Diffusion 2.x系）
Stable Diffusion 2.0でimg2imgを使う方法を解説しています。指示画像に実写の風景を使うことで、美しい背景のアニメ調イラストを生成することができます。
ネガティブプロンプト（Negative Prompt）を指定する方法
Stable Diffusionが生成するイラストの中で描かせたくない要素を除外するためのネガティブプロンプトを（Negative Prompt）を指定する方法について、以下の記事で解説しています。
Seed値を固定してイラストを生成する方法
Stable Diffusion 2.0でSeed値をマニュアルで固定し、同じプロンプトから同じイラストを生成する方法を、以下の記事で解説しています。
Stable Diffusion 1.x（旧バージョン）
セットアップと描画方法
Stable Diffusionのセットアップ方法と実行方法を以下の記事で解説しています。ローカル環境で実行する方法を記載しておりますが、Google Colabでも同じソースコードで実行が可能です。
2次元キャラ向け Waifu Diffusionの使い方
Stable Diffusionの学習モデルを、より2次元イラストに特化させたモデルWaifu Diffusionに変更して使用する方法を以下の記事で解説しています。かわいい2次元キャラを描きたい方におすすめです。
img2img 画像で指示を与える方法
Stable Diffusionでは、Promptと呼ばれる文字列で指示を与える方法とは別に、img2imgという画像を使って指示を与える方法があります。以下の記事ではimg2imgでイラストを生成する方法を解説しています。
Prompt（呪文）の自動生成
OpenAIが開発している自然言語処理モデルGPT-3を使ったAIライティングツールCatchyの機能で、StableDiffusionのPrompt（呪文）を自動生成することが可能です。
以下の記事で詳細な手順を解説しています。
生成した画像の補正
Stable Diffusionで生成した画像を、GANを使って補正することが可能です。
顔の崩れを修正することができるGFPGANの使い方を以下の記事で解説しています。
Stable Diffusionで生成した画像のサイズを大きくする方法を以下の記事で解説しています。グラフィックボードのGPUメモリーの制約等で大きな画像を生成できない方におすすめです。
Stable Diffusionで使用できるカスタムモデル
Stable Diffusionでは、学習済みモデルを使って推論を実行し、イラストを出力します。そして、使用するモデルを変更することで、出力されるイラストの画風がガラリと変わります。
以下の記事では、2次元のアニメ調に特化したカスタムモデルを紹介しています。こちらの記事で紹介モデルは、どれも非常にクオリティの高いイラストを出力することができますので、ぜひ試してみてください。。
Prompt（呪文）集
美しいイラストを生成するためのPromptを紹介しているサイトを以下の記事でまとめています。自分で考えたPromptでお困りの方はぜひ活用してみてください。
Part 2として風景の画像を生成する呪文を集めたページです。
Part 3としてGPT-3によって生成した呪文を集めたページです。
Google Colaboratoryを使った実行環境
Stable Diffusionを自分の環境で使用したい場合は、自宅にPCを用意する他にGoogleのクラウドコンピューティングサービス Google Colaboratoryを使って実行することも可能です。
無料分を使い切るとGPUの使用量に応じて料金が発生しますので、クラウドでガンガン回したい方は課金も視野に入れて使うのが良いかと思います。
Google Colaboratoryの使い方は以下の記事で解説していますので、あわせてご覧ください。
Stable Diffusionのローカル環境
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
Stable Diffusionでイラストを生成するために実行される推論処理を、グラフィックボード上のGPUを使って大幅に高速化することができます。
トライする回数が増えれば品質の高いイラストが生成される可能性が上がりますので、グラフィックボードは重要です。
Stable Diffusionで使用するためのGPUは2022年に新たにNVIDIAから発売されたRTX4000シリーズのGPUとVRAM12GB以上のものがおすすめです。最近は半導体不足も一服したこともあり、新しい製品ながら価格が下がりつつあります。
エントリーモデルのGPU
予算を安く抑えたい方向けにはRTX4070を搭載したグラフィックボードがおすすめです。
予算に余裕がある方向け ミドル～ハイエンド
予算に余裕がある方向けにおすすめのRTX 4080、ビデオメモリ16GB以上搭載のモデルです。
大サイズの画像を高速に生成したい方向けのハイエンドGPU、RTX 4090 ビデオメモリ24GB搭載モデルです。
予算とパフォーマンスに合わせて選んでみてください。
画像生成AIについて学ぶ
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyの使い方や活用方法を勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
UdemyのStable Diffusionなど、AIアート関連の講座は海外のものも多いですが、ブラウザのリアルタイム翻訳機能を使うことで日本語字幕付きで視聴できます。
Udemyの海外講座の字幕を日本語化する方法
まとめ
今回はStable Diffusionの使用方法についてまとめてみました。現在Stable Diffusionはver 2.0も公開されており、今後もモデルの進化が楽しみです。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
