Stable Diffusionで画像から画像を生成する方法

今回はStable Diffusionで読み込んだ画像を元に、新たな画像を生成する方法を紹介します。

単純に構図を真似るだけではなく、キャラクターを固定して別の絵を描いたり、高精細化したりすることができる機能が用意されていますので、目的に合わせて機能を選んでみてください。

また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。

Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。

Stable Diffusionとは

Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）

Stable DiffusionのWeb UI AUTOMATIC1111

AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。

AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。

Web UI AUTOMATIC1111のインストール方法

Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。

以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。

構図を参照して画像を生成する

img2img

img2imgは、Stable Diffusionで画像を読み込んで、その構図や絵柄を元に別の画像を生成する最も基本的な方法です。
Seed値を固定せずランダムに生成した画像の中から、気に入った画像を読み込み、それに近い構図の画像を生成したい場合に有効です、

追加機能のインストール等は不要でAUTOMATIC1111の標準機能で簡単に使用できます。

MultiDiffusion

MultiDiffusionは読み込んだ画像を元にアップスケーラを使って、大サイズ、高精細化できるツールです。
こちらも現在、最新バージョンのAUTOMATIC1111に標準搭載されており、Web UI上で設定を行うだけで使用することができます。

キャラクターを固定して画像を生成する

reference_only

reference_onlyは読み込んだ画像に描かれているキャラクターの特徴を参照し、キャラクターを固定した状態で別の構図やポーズを取らせることができます。

LoRAほどの再現性はありませんが、追加学習が不要で手軽にお気に入りのキャラクターを描画することがが能です。また、追加学習LoRAのデータセットの作成にも役立ちます。

高画質化して画像を生成する

LLuL – Local Latent upscaLer

LLuL – Local Latent upscaLerは、読み込んだ画像の一部だけを高精細化することができるアップスケーラです。
読み込み元画像に対して、適用範囲を指定して使用できますので、キャラクターの服装や背景部分など、特定の個所の書き込み量を増やしたい時に有効です。

Stable Diffusionのテクニックを効率よく学ぶには？

動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。

Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。

Stable Diffusionに特化して学ぶ

Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。

ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能

画像生成AIの仕組みを学ぶ

画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。

AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-

まとめ

今回はStable Diffusionで画像から画像を生成する方法を、目的ごとに解説しました。

画像AIで偶然生成された画像や、自分で撮影した実写を元にイラストを生成したい場合に役立つ手法ですので、ぜひ試してみてください。

また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。

スキルアップや副業にぜひ活用してみてください。

スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。

講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。

それでは、また次の記事でお会いしましょう。