今回はAUTOMATIC1111でimg2imgを使って画像を生成する手順を解説します。img2imgを使うと、プロンプトの文字列での指示に加えて、画像を読み込んで構図を細かく指示することができますので、ぜひ活用してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
AUTOMATIC1111とは
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
AUTOMATIC1111の公式リポジトリは以下となります。
ローカル環境
GPUを搭載したローカルPCでAUTOMATIC1111を使用する方法について、以下の記事で解説しています。
Google Colaboratory
Googleのクラウドコンピューティングサービス、Google ColaboratoryでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
Paperspase
定額制で高性能GPUを利用できるクラウドコンピューティングサービス、PaperspaceでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
img2img(Image-to-Image Translation) とは
従来の文章での指示をAIに入力して画像を生成する方法をtxt2img（Text-to-Image Translation)と言います。
それに対し、img2imgでは画像+文字を入力して画像を生成します。
これにより、文字だけでは難しい詳細な構図を、あらかじめ用意した写真や画像を使って指示することができます。
Stable Diffusionではimg2imgを使ったイラスト生成の機能も備えていますので、今回はAUTOMATIC1111でimg2imgを使って生成する方法を解説します。
img2imgの生成元となる画像を用意する
まずはimg2imgで読み込む画像を用意します。
今回はフリー素材サイトで入手できる以下の花畑の実写を用意しました。
入手先サイトは以下となります。たくさんの画像素材がありますので、好きな画像をダウンロードしてください。
AUTOMATIC1111でimg2imgを使って画像を生成する
ここからは実際にAUTOMATIC1111で先ほど用意した画像を読み込み、img2imgで画像を生成する手順を解説します。
まずAUTOMATIC1111のWebUIを起動したら、「img2img」のタブをクリックします。
タブを切り替えると以下の赤枠の画像をアップロードする画面が表示されます。この赤枠の中に読み込みたい画像ファイルをドラッグ&ドロップします。
アップロードが完了すると、以下のように読み込んだ画像が表示されます。
続いて、使用する学習済みモデルを選択しプロンプトを入力します。
今回は例として以下のようなプロンプトを用意しました。
最後に以下の赤枠のパラメータを入力します。
パラメータの内容については、以下の記事で解説していますので、参考にしてください。
入力が終わったら「Generate」ボタンをクリックします。これで画像が生成されます。
img2imgで生成された画像を保存する
画像の生成が完了すると、右側の赤枠の部分に生成された画像のプレビューが表示されます。
保存したいが像をクリックすると、以下のように大きなプレビュー画像が表示されます。
ダウンロードしたい画像が選択されている状態で「Save」ボタンをクリックすると、ダウンロードリンクが表示されます。
ダウンロードリンクをクリックしてファイルを保存してください。
img2imgの実行結果
今回行った具体例を解説します。
img2imgの元画像
まず、元となる画像は先ほどのフリー素材の花畑の写真です。
風景だけで人物は写っていません。
使用したプロンプト
今回は風景写真に人物を追加するため、以下のようなプロンプトを用意しました。
プロンプト
(best quality)+,(masterpiece)++,(ultra detailed)++, (happy laughing:1.3), a girlネガティブプロンプト
(low quality, worst quality)1.4, (bad anatomy)+, (inaccurate limb)1.3,bad composition, inaccurate eyes, extra digit,fewer digits,(extra arms)1.2,logo,text実行結果
生成時間を速くするため、Step数を低く設定しているのであまり精細に描画できていませんが、読み込んだ画像とほぼ同じ構図の花畑に、少女が立っているイラストを生成することができました。
全く同じ画像、プロンプトでシード値が違う画像です。
このように、img2imgを使うことで、絵の構図を細かく指定してイラストを生成できることが確認できました。
Stable Diffusionのローカル環境
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
Stable Diffusionでイラストを生成するために実行される推論処理を、グラフィックボード上のGPUを使って大幅に高速化することができます。
トライする回数が増えれば品質の高いイラストが生成される可能性が上がりますので、グラフィックボードは重要です。
Stable Diffusionで使用するためのGPUは2022年に新たにNVIDIAから発売されたRTX4000シリーズのGPUとVRAM12GB以上のものがおすすめです。最近は半導体不足も一服したこともあり、新しい製品ながら価格が下がりつつあります。
エントリーモデルのGPU
予算を安く抑えたい方向けにはRTX4070を搭載したグラフィックボードがおすすめです。
予算に余裕がある方向け ミドル～ハイエンド
予算に余裕がある方向けにおすすめのRTX 4080、ビデオメモリ16GB以上搭載のモデルです。
大サイズの画像を高速に生成したい方向けのハイエンドGPU、RTX 4090 ビデオメモリ24GB搭載モデルです。
予算とパフォーマンスに合わせて選んでみてください。
画像生成AIについて学ぶ
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyの使い方や活用方法を勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
UdemyのStable Diffusionなど、AIアート関連の講座は海外のものも多いですが、ブラウザのリアルタイム翻訳機能を使うことで日本語字幕付きで視聴できます。
Udemyの海外講座の字幕を日本語化する方法
まとめ
今回はAUTOMATIC1111でimg2imgを使ってイラスト生成する方法を紹介してみました。img2imgを使用することで生成する画像の構図を細かく指示することが可能ですので、ぜひ活用してみてください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
