Stable DiffusionでControlNetのreference_onlyでキャラを固定して画像生成する方法

今回はControlNetの機能として利用できるreference_onlyについて解説します。

reference_onlyを使用すると、1枚の参照画像を用いて生成する画像のスタイルや特徴をより細かく制御することが可能になります。

LoRAのように追加学習することなく、1枚の画像を読み込むだけで参照画像のキャラクターが再現可能。

気に入った絵のキャラクターに別のポーズを取らせたり、別の背景で画像を生成することができますので、LoRAのデータセットを作成する手段としても有効です。

手軽に試すことができますので、ぜひ活用してみてください。

また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。

Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。

Stable Diffusionとは

Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）

Stable DiffusionのWeb UI AUTOMATIC1111

AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。

AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。

Web UI AUTOMATIC1111のインストール方法

Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。

以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。

ControlNet reference_onlyとは

ControlNetのreference_onlyは、Stable Diffusionという画像生成AIの拡張機能の一部です。
この機能は、参照画像を用いて生成する画像のスタイルや特徴をより細かく制御することが可能になります。

以下が公式の解説サイトとなります。

ControlNetのバージョンv 1.1.153以降で使用可能となっていますので、それより前のバージョンをお使いの方はControlNetのアップデートを行ってください。

ControlNetのインストール

reference_onlyを使用するためには、ControlNetのインストールが必要となります。
ControlNetのインストール手順は、以下の記事で解説しています。

また、ControlNetのreference_only以外の機能についても、以下の記事で解説していますの出あわせてご覧ください。

使用する画像データ

今回、reference_onlyのテストを行う参照画像として、無料で利用できるデータセットである東北ずん子の画像を使用します。

入手方法は以下の記事で解説しています。

ControlNet reference_onlyの使い方

ここからは、実際にreference_onlyを使って画像を生成する手順を解説します。

AUTOMATIC1111のWeb UIが起動したら、ControlNetの項目をクリックして展開します。

Preprocessorの項目をクリックします。今回はModelの項目は使用できませんので、選択は不要です。

ドロップダウンリストの中から、reference_onlyを選択します。

reference_onlyの項目を選択すると、Modelの項目が非表示となります。

続けて、EnableとPixel PerfectのチェックボックスをONにします。
使用しているグラフィックアクセラレータのVRAM容量が小さい場合は、Low VARMもONにしてください。

Style Fidelityの項目では、どれくらい参照画像に忠実に画像を生成するかを設定します。今回は推奨値である0.5のままとします。

Single Imageの項目に、参照させたい画像をドラッグアンドドロップします。今回は先ほど紹介した東北ずん子の画像を使用します。

読み込みが完了すると、以下のように画像が表示されます。

最後に通常の画像生成と同様、プロンプトとその他のパラメータを入力したら、Generateをクリックします。

プロンプトの作成が難しいと思われている方には、AIでプロンプトを自動生成するのがおすすめです。「StableDiffusionのプロンプト（呪文）を自然言語処理モデルGPT-3（Catchy）で自動生成する方法」で詳細を解説しています。

実行結果

設定するパラメータ

公式解説ページでは、パラメータの設定方法が以下のように解説されています。

“reference_adain+attn, Style Fidelity=1.0″が現在の最先端の方法であるとされていますが、時折強すぎる結果を生むため、デフォルトとしての使用は推奨されていません。
代わりに、“reference_only + Style Fidelity=0.5″がデフォルトとして推奨されています。これは、非常にロバスト（安定した）結果を提供するためです。

推奨値のStyle Fidelity=0.5をそのまま設定しました。

参照画像（reference_onlyで読み込む画像）

今回は先ほども紹介した東北ずん子のデータセットから、リファレンスとして以下の画像をreference_onlyに読み込みます。

reference_onlyを使用して生成された画像

こちらが実際にreference_onlyを使って生成した画像です。

ずん子さんの髪型や髪色、服装の特徴を保ったまま、違うポーズをした絵を生成することができました。

参照画像に似ていない、もしくは影響度が強すぎる場合はパラメータを調整してください。

Stable Diffusionのテクニックを効率よく学ぶには？

動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。

Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。

Stable Diffusionに特化して学ぶ

Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。

ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能

画像生成AIの仕組みを学ぶ

画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。

AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-

まとめ

今回はControlNetの機能であるreference_onlyの使い方を解説しました。

LoRAよりも手軽に利用できますので、Stable Diffusionで偶然作成されたお気に入りのキャラクターのバーリエーションを作りたい場合などに活用してみてください。

また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。

スキルアップや副業にぜひ活用してみてください。

スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。

講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。

それでは、また次の記事でお会いしましょう。