最近、Stable Diffusionっていう画像系AIが話題だよね
使ってみたいけど、どこのサービスがいいんだろう?
Stable Diffusionはオープンソースだから、自分で簡単なPythonのコードを描いて自宅のPCやGoogle Colabで使えるんだよ
イラストを描画できるAI、Stable Diffusionについて、当ブログでも過去に何度か取り上げてきました。今回はその使用方法についてまとめたいと思います。
Pythonでの実装方法をサンプルコード付きで詳しく解説しますので、ぜひ自宅のPCやGoogle Golabで試してみてください。
Stable Diffusionを自分で動かしてみたいけど、まだPythonのプログラミングをやったことがない、これからAIを使うためにPythonを勉強したいという方には、以下の記事でPython習得の手順を解説していますので、こちらもあわせてご覧ください。
あわせて読みたい
Python習得までのステップを解説! 初心者におすすめの勉強法
プログラミング始めてみたいけど難しそうだし、どこから手を付けていいのかわからないんだよね… 初めて学ぶならPythonがおすすめだよ。覚えやすくて転職なんかにも有利…
また、画像系以外の生成AIについても以下の記事で紹介していますので、あわせてご覧ください。
あわせて読みたい
超速で進化する生成AI(Generative AI)が凄い!使いこなせると便利なAIを紹介
最近、AIが話題だけどどんなことにつかえるの? Pythonのコード書けるから自分の環境で生成AIを使ってみたいけど、どうやればいいの? こんな悩みを解決します。 この記…
目次
Stable Diffusionとは
Stable Diffusion(ステーブル・ディフュージョン)は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
GPUを搭載していれば、ユーザ自身でStable Diffusionをインストールしローカル環境で実行することも可能です。
(出典:wikipedia)
著:白井 暁彦
¥1,760 (2023/09/25 14:17時点 | Amazon調べ)
ポチップ
著:深津 貴之, 著:水野 祐, 著:酒井 麻里子
¥1,485 (2023/09/18 14:10時点 | Amazon調べ)
ポチップ
高機能WebUI AUTOMATIC1111
Stable Diffusionの主要機能をほとんど網羅している超高機能Web UI、AUTOMATIC1111。Pythonなどプログラミングを一切必要とせず、GUIからモデルの変更やパラメータ設定など、Steble Diffusionの機能を使用できます。
AUTOMATIC1111のインストール
WebUI AUTOMATIC1111は主にローカルPC、Paperspace、Google Colaboratoryの3つの環境で使用することができます。
各環境でのインストール方法を以下の記事で解説しています。
あわせて読みたい
Stable Diffusion Web UI のインストールから使い方までを解説 | AUTOMATIC1111のの活用法
今回は、Stable DiffusionのWeb UIであるAUTOMATIC1111の使い方について解説します。Web UIはブラウザから利用できるGUIで、画像AI Stable Diffusionの機能を直感的に操…
Stable Diffusion 2.1モデルのインストール
Stable Diffusionの開発元である、Stability AIが公開しているStable Diffusion 2.1のインストール方法を以下の記事で解説しています。
あわせて読みたい
Stable Diffusion 2.1をAUTOMATIC1111 WebUIで使用する方法
これまで、当ブログではStable Diffusion 1.5をベースとした様々なマージモデルを紹介してきました。今回は、Stable Diffusionの開発元である、Stability AIが公開して…
VAE(Auto-Encoder)を変更する
VAEを変更したい場合は、以下のページで設定方法を解説しています。
あわせて読みたい
Stable DiffusionでVAEを使用する方法 | AUTOMATIC1111高機能Web UIの活用法
今回はStable DiffusionのWebUIであるAUTOMATIC1111で、VAE(Variational Auto Encoder)を使用する方法について解説します。Stable Diffusionで画像を生成する際…
ControlNetで構図やキャラのポーズを指定する
画像生成AIの構図を細かく指定することができるツールControlNetを、AUTOMATIC1111に拡張機能として組み込むための方法を以下のページで解説しています。
ControlNetのインストール方法を以下のページで解説しています。
あわせて読みたい
ControlNetをAUTOMATIC1111にインストールする方法 | Stable Diffusionの構図を自在にコントロール
今回はAUTOMATIC1111の機能を拡張する、ControlNetのインストールする方法を解説します。ControlNetを使用することで、Stable Diffusionで生成するイラストの自由度が大…
デザインドール(DESIGN DOLL)で作成したポーズデータをControlNetで読み込んでイラストを生成する手順を以下のページで解説しています。
あわせて読みたい
Stable DiffusionでControlNetを使ってキャラクターのポーズを指定する方法
今回はStable Diffusionで画像を生成する際に、ControlNetでイラストの構図を指定して実行する方法について解説します。ControlNetはStable DiffusionのWebUIであるAUTO…
AUTOMATIC1111のWebUI内でポーズデータを生成できるOpenPose Editorの使い方を以下のページで解説しています。
あわせて読みたい
Openpose Editorのデータを元にControlNetで構図やキャラのポーズを指定する方法
今回はAUTOMATIC1111の拡張機能として公開されたOpenpose Editorのインストールと使い方について解説します。ControlNetでOpenposeのモデルを使って画像生成をする場合…
reference_onlyで1枚の画像から同じキャラクターのイラストを生成する
ControlNetの機能であるreference_onlyを使用すると、LoRAのように追加学習等は行わずに、1枚の画像からそこに描かれているキャラクターを、別の構図、ポーズで描画することができます。
LoRAのデータセットとして使用する画像の生成等にも使用することができます。
あわせて読みたい
Stable DiffusionでControlNetのreference_onlyでキャラを固定して画像生成する方法
今回はControlNetの機能として利用できるreference_onlyについて解説します。reference_onlyを使用すると、1枚の参照画像を用いて生成する画像のスタイルや特徴をより細…
ControlNetで失敗した手の部分を修正する
ControlNetとDepthライブラリを組み合わせることで、手がうまく描画できなかったイラストを修正することができます。構図やキャラクターが気に入っているのに、手の部分だけが失敗したというケースで有効です。
あわせて読みたい
Stable Diffusionで生成したキャラクターの不自然な手を修正する方法 | DepthライブラリとControlNetの…
今回はStable Diffusionで生成したイラストの不自然な手を修正する方法を解説します。Stable DiffusionのWebUIであるAUTOMATIC1111に、c and poser(深度ライブラリ)と…
画像をアップスケールして高精細化する
画像全体をアップスケールする
画像全体をアップスケールしたい場合は、AUTOMATIC1111に標準搭載されているhires.fixという機能を使うことで実現することができます。
hires.fixの使い方は以下の記事で解説しています。
あわせて読みたい
Stable Diffusionで生成した画像をhires.fixでアップスケール(高画質化)する方法
今回はStable Diffusionで生成した画像を高精細化するAUTOMATIC1111の機能、hires.fixについて使い方を解説します。最初から大サイズで出力するよりも、小さいサイズで…
LLuL – Local Latent upscaLerで画像の一部だけディティールを追加する
LLuL – Local Latent upscaLerという拡張機能をしようすることで、生成した画像の一部だけにディティールを追加して高精細化することができます。
LLuL – Local Latent upscaLerのインストールと使用方法を以下の記事で解説しています。
あわせて読みたい
LLuL – Local Latent upscaLerで画像の一部だけにディティールを追加する方法 | AUTOMATIC1111拡…
今回はLLuL – Local Latent upscaLerを使って部分的にディティールを追加する方法について解説します。Stable Diffusionで画像を生成した際に、「背景や服装など一部だ…
img2img使用時にアップスケールする
img2img使用時に画像を高精細化できるMultiDiffusionの使い方を以下の記事で解説しています。
あわせて読みたい
img2imgで高画質化できるMultiDiffusionの使い方 | Stable Diffusion拡張機能の活用法
今回はStable DiffusionのWebUI、AUTOMATIC1111の拡張機能として使えるMultiDiffusionを紹介します。MultiDiffusionはimg2imgで画像生成する際にも使用できるアップスケ…
Img2Img (Image-to-Image Translation) で画像を生成する
AUTOMATIC1111で画像を読み込んで画像を生成するImg2Img の手順を、以下の記事で解説しています。
あわせて読みたい
Stable Diffusionでimg2imgを使って画像を生成する方法
今回はAUTOMATIC1111でimg2imgを使って画像を生成する手順を解説します。img2imgを使うと、プロンプトの文字列での指示に加えて、画像を読み込んで構図を細かく指示する…
追加学習LoRA
LoRAを使った追加学習により、生成されるキャラクターや服装を固定することが可能です。追加学習の手順や、AUTOMATIC1111のWebUIでLoRAファイルを使用する方法を以下の記事で解説しています。
あわせて読みたい
LoRAの使い方:Stable Diffusionとsd-scriptsを活用した画像生成の全手順
今回はStable Diffusionのモデルに対し局所的なチューニングを行うことにより、キャラクターや衣装を固定した画像生成を可能にするLoRA(Low-Rank Adaptation)について…
マージモデルを作成する
AUTOMATIC1111のCheckpoint Mergerを使うと、お気に入りのモデルを組み合わせてマージモデルを作成することが可能です。Checkpoint Mergerの使用方法を以下の記事で解説しています。
あわせて読みたい
Stable Diffusion用のマージモデルを作成する方法 | AUTOMATIC1111 Checkpoint Mergerの使い方
今回はStable Diffusionで使用できるマージモデルの作り方ついて解説します。AUTOMATIC1111のCheckpoint Mergerという機能を使うと、簡単に好みのモデルを組み合わせて…
Stable Diffusion リアル系イラスト
Stable Diffusionでリアル系のイラストを描画する方法を以下の記事で解説しています。
あわせて読みたい
StableDiffusionでリアル系イラストを生成する方法 | MUSE_v1モデルを試す
これまでStable Diffusionを使ってアニメ調のイラストを生成するためのノウハウと紹介してみましたが、今回はリアル系のイラストを生成する方法を解説します。リアル系…
Stable Diffusionでリアル系のイラストを描画できるマージモデル、LoRAを以下の記事で紹介しています。
あわせて読みたい
Stable Diffusionのフォトリアル系(実写)モデルを紹介
今回はStable Diffusionでリアル系イラストを生成できるモデルを紹介します。Stable Diffusionではどのようなモデルを使用するかによって、生成される画像のクオリティ…
Stable Diffusionでハイクオリティなリアル系のイラストを生成するためのプロンプト(呪文)を作成する方法について、以下の記事で解説しています。
あわせて読みたい
Stable Diffusionのリアル系モデルでハイクオリティなイラストを生成するプロンプト(呪文)作成法
今回はStable Diffusionのリアル系モデルを使って画像を生成する際に有効なプロンプト(呪文)を紹介します。リアル系のモデルでは人物の肌に関する描写など、アニメ調…
Diffusers Stable Diffusion 2.x(現行バージョン)
セットアップと描画方法
2022年11月にStable Diffusionの新しいバージョンとなる2.0が公開されました。
2.0のセットアップ方法と、画像生成を実行するためのPythonコードの書き方を以下の記事で解説しています。
ローカル環境及びGoogle Colaboratoryのどちらもでコピペですぐ使えますので、ぜひトライしてみてください。
あわせて読みたい
Stable Diffusion 2.0がリリース!Pythonでの使い方を解説
今回は画像描画AI、Stable Diffusionの新しいバージョンである2.0がリリースされましたので、使い方を解説します。ローカルのPCやGoogle Colabで実行するためのPythonコ…
パラメータの設定方法
Stable Diffusionは設定するパラメータにより生成される画像が大きく変わります。Stable Diffusionの主要なパラメータの使い方について、以下の記事でPythonのコード付きで解説しています。
あわせて読みたい
Stable Diffusionを自在に操る!パラメータの使い方を解説 | Pythonでの実装方法
今回はStableDiffusionの主要なパラメータの使い方と、Pythonでの実装方法を解説します。パラメータがどのような影響を与えるかを理解することで、生成される画像をコン…
2次元キャラ向け Waifu Diffusionの使い方(Stable Diffusion 2.x系)
2次元キャラクターに特化したモデルWaifu DiffusionをStable Diffusion 2.xで動作させるための方法と、ソースコードを以下の記事で解説しています。
あわせて読みたい
Stable Diffusion 2.xで2次元キャラ特化モデルWaifu Diffusionを使ってイラストを生成する方法
今回は2次元キャラクターに特化したモデルWaifu Diffusionを、イラスト描画AIであるStable Diffusionの最新バージョン2.xで動作させる方法を解説します。ローカル環境や…
ネガティブプロンプト(Negative Prompt)を指定する方法
Stable Diffusionが生成するイラストの中で描かせたくない要素を除外するためのネガティブプロンプトを(Negative Prompt)を指定する方法について、以下の記事で解説しています。
あわせて読みたい
Stable Diffusionでネガティブプロンプト(Negative Prompt)を指定して画像を生成する方法
今回は画像生成AI、Stable DiffusionをPythonコードから実行する際に、ネガティブプロンプトを(Negative Prompt)を指定して画像を生成する方法を解説します。ネガティ…
Seed値を固定してイラストを生成する方法
Stable Diffusion 2.0でSeed値をマニュアルで固定し、同じプロンプトから同じイラストを生成する方法を、以下の記事で解説しています。
あわせて読みたい
Stable Diffusion diffusersでSeed(シード)値を設定する方法
今回はStable DiffusionでSeed値を固定して同じイラストを生成する方法について解説します。PythonのコードからSeed値をマニュアルで設定することで、出力される画像を…
Diffusers Stable Diffusion 1.x(旧バージョン)
2023年1月現在、Stable Diffusion 1.x系が動作しなくなっています。
最新バージョンである2.x系の使用方法を上記記事で紹介していますのでそちらを使用してください。
セットアップと描画方法
Stable Diffusionのセットアップ方法と実行方法を以下の記事で解説しています。ローカル環境で実行する方法を記載しておりますが、Google Colabでも同じソースコードで実行が可能です。
あわせて読みたい
無料で使える描画AI!Stable Diffusionで画像を生成する方法
今回はMidjourneyと並んで話題の画像生成AI、Stable Diffusionを試してみました。Hugging Faceのトークンの作成から画像生成までを行う手順を解説していきたいともいま…
2次元キャラ向け Waifu Diffusionの使い方
Stable Diffusionの学習モデルを、より2次元イラストに特化させたモデルWaifu Diffusionに変更して使用する方法を以下の記事で解説しています。かわいい2次元キャラを描きたい方におすすめです。
あわせて読みたい
Stable Diffusionで2次元キャラクターの成功率を劇的に向上させるモデル、Waifu Diffusionの使い方
ハイクオリティなイラストを生成できるAIとして話題のStable Diffusionですが、その中でも2次元キャラクターのクオリティを劇的に向上させるモデルがあることがわかりま…
img2img 画像で指示を与える方法
Stable Diffusionでは、Promptと呼ばれる文字列で指示を与える方法とは別に、img2imgという画像を使って指示を与える方法があります。以下の記事ではimg2imgでイラストを生成する方法を解説しています。
あわせて読みたい
Stable Diffusionで画像を使って指示をするimg2imgでイラストを生成する方法
イラストを生成できる描画AI、Stable Diffusionで画像で指示を与えるimg2imgを実装する方法を解説します。簡単なコードで実装できますので、構図や配色に与える変化をぜ…
生成した画像の補正
Stable Diffusionで生成した画像を、GANを使って補正することが可能です。
顔の崩れを修正することができるGFPGANの使い方を以下の記事で解説しています。
あわせて読みたい
Stable Diffusionで描いた人物の顔をGFPGANで補正する方法
高品質なイラストが生成できることで話題のStable Diffusionですが、人間を描かせると良い絵ができるまでにかなりの回数をトライしなければいけません。そこで、人の顔…
Stable Diffusionで生成した画像のサイズを大きくする方法を以下の記事で解説しています。グラフィックボードのGPUメモリーの制約等で大きな画像を生成できない方におすすめです。
あわせて読みたい
Stable Diffusionで生成した画像をReal-ESRGANを使って高画質化する方法
今回は画像を高画質化できる機械学習モデル、Real-ESRGANを使ってStable Diffusionで生成した画像を高画質化できるかを試してみましたので、使用方法と実行結果について…
Stable Diffusionで使用できるカスタムモデル
Stable Diffusionでは、学習済みモデルを使って推論を実行し、イラストを出力します。そして、使用するモデルを変更することで、出力されるイラストの画風がガラリと変わります。
以下の記事では、2次元のアニメ調に特化したカスタムモデルを紹介しています。こちらの記事で紹介モデルは、どれも非常にクオリティの高いイラストを出力することができますので、ぜひ試してみてください。。
あわせて読みたい
StableDiffusionのアニメ調モデルを紹介
今回はStable Diffusionで使えるおすすめの学習済みモデルを紹介します。Stable Diffusionでは、同じプロンプトを入力しても、モデルを入れ替えることで出力されるイラ…
自然言語モデル(LLM)によるプロンプト生成
英文の呪文を一から考えるのは大変ですが、自然言語モデルを使ったAIに日本語で作成したい画像のイメージを伝えると、それを元に呪文を自動生成することが可能です。
OpenAIの自然言語モデルGPT-3を生成AIのプロンプト用にチューニングされたモデルを使った生成方法を以下で解説しています。
あわせて読みたい
StableDiffusionのプロンプト(呪文)を自然言語処理モデルGPT-3(Catchy)で自動生成する方法
今回はStable Diffusionなどの画像AIに生成するための指示を与えるPromptを、GPT-3を使ったライティングツールCatchyで自動生成する方法について解説します。私のように…
Catchyを使って生成したプロンプトのサンプル集を以下の記事で紹介しています。
あわせて読みたい
Stable Diffusionで使える呪文を紹介 | 美少女イラストの呪文をCatchyで自動生成する方法
画像を生成できるAI、StableDiffusionに絵を描かせるための指示(プロンプト)は呪文と呼ばれ、どのような呪文を指示するかによって出力されるイラストが大きく変わりま…
プロンプト(呪文)集
美しいイラストを生成するためのプロンプトを紹介しているサイトを以下の記事でまとめています。自分で考えたプロンプトでお困りの方はぜひ活用してみてください。
あわせて読みたい
Stable Diffusionで使える呪文集(プロンプト集)
画像生成AIでは、どのような画像を生成したいかを指示する呪文(プロンプト)によって、生成される画像のクオリティが大きく左右されます。今回はこれまで当ブログで紹…
Google Colaboratoryを使った実行環境
Stable Diffusionを自分の環境で使用したい場合は、自宅にPCを用意する他にGoogleのクラウドコンピューティングサービス Google Colaboratoryを使って実行することも可能です。
無料分を使い切るとGPUの使用量に応じて料金が発生しますので、クラウドでガンガン回したい方は課金も視野に入れて使うのが良いかと思います。
Google Colaboratoryの使い方は以下の記事で解説していますので、あわせてご覧ください。
あわせて読みたい
機械学習に最適! 無料で使えるPython開発環境Google Colaboratoryを使用する方法
今回はWebブラウザで使用できるPythonの開発環境、Google Colaboratoryの使い方を解説してみたいと思います。Googleのリッチなコンピューティングリソースを使って、機…
Stable Diffusionの理想的な環境を構築する
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
グラフィックボードの性能によって画像の生成速度や最大生成サイズが決まります。
Stable Diffusionで使用するのにおすすめのグラフィックボードを以下の記事で解説していますので、あわせてご覧ください。
あわせて読みたい
Stable Diffusionでの画像生成におすすめのグラフィックボード(GPU)を紹介
今回は画像生成AIであるStable Diffusionを、ローカル環境で使用する際におすすめのグラフィックボードについて解説します。Stable Diffusionのような画像AIでは、画像…
Stable Diffusionで生成される画像のクオリティを上げる
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で(セール時1500円くらいから購入できます)、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyなどを使ったAIアート全般について勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI(画像生成AI)入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう!【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はStable Diffusionの使用方法についてまとめてみました。現在Stable Diffusionはver 2.0も公開されており、今後もモデルの進化が楽しみです。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
あわせて読みたい
Pythonが学べるプログラミングスクール5選 | 初心者にもおすすめ
プログラミングスクールってたくさんあって、どのスクールを選んだらいいのかな? 自分のキャリアアップに必要なカリキュラムがあるプログラミングスクールを探したいん…
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価(セール時1200円程度~)に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
あわせて読みたい
Python初心者におすすめ! いつでもどこでもスマホで学べるUdemy講座6選
Udemyってどんなサービスなの? 仕事の案件で機械学習を扱うことになったけど、どうやって勉強したらしいんだろう? こんな悩みを解決します。 この記事でわかること Ud…
それでは、また次の記事でお会いしましょう。
Loupedeck
¥26,980 (2023/09/11 21:41時点 | Amazon調べ)
ポチップ
著:クロノス・クラウン, 著:柳井政和
¥2,138 (2023/09/25 14:04時点 | Amazon調べ)
ポチップ
興陽館
¥1,540 (2023/09/25 14:04時点 | Amazon調べ)
ポチップ
秀和システム
¥1,210 (2023/09/25 14:06時点 | Amazon調べ)
ポチップ