今回はStable Diffusionで使用できるマージモデルの作り方ついて解説します。AUTOMATIC1111のCheckpoint Mergerという機能を使うと、簡単に好みのモデルを組み合わせて自分だけのマージモデルを作成することができます。
Stable DiffusionのWebUI、AUTOMATIC1111のCheckpoint Mergerを使用することで、簡単にマージモデルが作成可能。
今回はネットで公開されているレシピを参考に、マージモデルを作成する手順を解説しますので、ぜひ挑戦してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
AUTOMATIC1111の公式リポジトリは以下となります。
ローカル環境
GPUを搭載したローカルPCでAUTOMATIC1111を使用する方法について、以下の記事で解説しています。
Google Colaboratory
Googleのクラウドコンピューティングサービス、Google ColaboratoryでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
2023年5月現在、Google Colaboratoryの利用規約が改訂され、Stable Diffusionなどの画像AIの利用が可能なのは有料のProプランのみとなりました。
無料プランでStable Diffusionを使用すると、アカウント停止等の措置が取られる可能性がありますのでご注意ください。（詳細はGoogle Colaboratoryの利用規約をご確認ください。
Paperspase
定額制で高性能GPUを利用できるクラウドコンピューティングサービス、PaperspaceでAUTOMATIC1111を使用する方法については、以下の記事で解説しています。
ベースとなるStable Diffusionのモデルを用意する
Stable Diffusionで使用するマージモデルを作成するためには、そのベースとなるモデルを用意する必要があります。
今回はあいもりさんがTwitterで紹介している以下のツイートのエルフを生成できるモデル「CutyElfMix」のレシピを例に解説します。
モデルの入手先
CutyElfMixを作成するためには、そのベースとなる「chilled_remix」と「GenesisLifeMix」という2つのモデルを用意する必要があります。
モデルの入手先については以下の記事で解説していますので、あらかじめ用意しておいてください。
ベースモデルを配置する
ベースとなるモデルを入手したら、Stable Diffusionの指定のディレクトリにモデルファイルを配置します。
モデルを配置するディレクトリについては、Stable Diffusionを利用する環境により異なりますので、以下の記事を参考に配置してください。
マージモデルを作成する
ここからは実際にマージモデルを作成する手順を解説します。
AUTOMATIC1111のWebUIを起動したら、Checkpoint Mergerタブをクリックします。
以下の画面がモデルのマージ設定を行う画面となります。
まず、ベースとなるモデルを設定します。
今回は例として「chilled_remix」と「GenesisLifeMix」のマージモデルを作成します。以下のように設定してください。
| 設定項目 | モデル名 |
|---|---|
| Primary Model(A) | chilled_remix |
| Secondary model(B) | GenesisLifeMix |
出力されるマージモデルのモデル名を設定します。今回の例では「CutyElfMix」としました。
モデルのマージ割合を設定します。
今回のレシピでは「chilled_remix：0.7」「GenesisLifeMix：0.3」という割合で設定します。
赤枠のような計算式となっていますので、Multiplier(M)をデフォルト値の「0.3」のままとします。
計算式に代入するとA*(1-0.3)+B*0.3 = A*0.7+B*0.3 となり、レシピ通り設定できています。
Interpolation Methodは「Weighted sum」を選択します。Checkpoint formatは特にckptにする理由がなければ「safetensors」を選択します。Save as float16の項目は軽量版として作成したい場合は適用してください。
設定が完了したら、Mergeをクリックしてマージを実行します。
マージが始まると、画面右上に進捗状況を示すゲージが表示されます。
以下のようにマージモデルが保存されたというメッセージが表示されたらマージ完了です。
作成したマージモデルを使用する
マージモデルの作成が完了すると、すぐに使用できる状態になっています。
画面左上のStable Diffusion checkpointのドロップダウンリストに先ほど作成した「CutyElfMix」が追加されています。
「CutyElfMix」を選択した状態で、パラメータとプロンプトを入力し、Generateをクリックすると以下のように新しいマージモデルを使用した画像が生成されました。
作成したマージモデル「CutyElfMix」で生成した結果
今回はファンタジー映画に出てくるのエフル風のキャラクターを生成できるモデルということで、以下のようなプロンプトを用意しました。
プロンプト
((masterpiece:1.4, best quality)), ((masterpiece, best quality)), (photo realistic:1.4) ((1girl)), (ultra highres:1.2), Japanese idle (Japanese actress) ,beautiful girl with beautiful details, very cute, beautiful girl with beautiful details, professional photography lighting, extremely detailed eyes and face, eyes with beautiful details, elf ears, fantasy world elf earsネガティブプロンプト
Easy Negative (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,open chest,thick eyebrows, huge breasts, open chest生成された画像
こちらが生成された画像です。
綺麗なエルフ風の女性の画像を生成することができました。
Stable Diffusionのローカル環境
Stable Diffusionを使用する際にGoogle ColaboratoryやWebサービスを利用されている方も多いかと思います。しかし、最近Google Colabの無料での使用範囲が大きく制限されたり、Webサービスでは月額費用がかかったりします。
欲しいイラストを生成するにはかなりの回数をトライする必要があるため、これらの制約に縛られることなく使用できるローカル環境を構築するのがおすすめです。
ローカルのPCに搭載するグラフィックボード
ローカルマシンで実行する上で重要になってくるのがグラフィックボードです。
Stable Diffusionでイラストを生成するために実行される推論処理を、グラフィックボード上のGPUを使って大幅に高速化することができます。
トライする回数が増えれば品質の高いイラストが生成される可能性が上がりますので、グラフィックボードは重要です。
Stable Diffusionで使用するためのGPUは2022年に新たにNVIDIAから発売されたRTX4000シリーズのGPUとVRAM12GB以上のものがおすすめです。最近は半導体不足も一服したこともあり、新しい製品ながら価格が下がりつつあります。
エントリーモデルのGPU
予算を安く抑えたい方向けにはRTX4070を搭載したグラフィックボードがおすすめです。
予算に余裕がある方向け ミドル～ハイエンド
予算に余裕がある方向けにおすすめのRTX 4080、ビデオメモリ16GB以上搭載のモデルです。
大サイズの画像を高速に生成したい方向けのハイエンドGPU、RTX 4090 ビデオメモリ24GB搭載モデルです。
予算とパフォーマンスに合わせて選んでみてください。
画像生成AIについて学ぶ
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
画像生成AIの使い方を学ぶ
Stable DiffusionやMidjourneyの使い方や活用方法を勉強したい方には、以下の講座がおすすめです。
【文字からイラスト画像を生成】素人でもプロ並みの絵を作れる画像生成AIツール講座【ChatGPTも活用】
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
UdemyのStable Diffusionなど、AIアート関連の講座は海外のものも多いですが、ブラウザのリアルタイム翻訳機能を使うことで日本語字幕付きで視聴できます。
Udemyの海外講座の字幕を日本語化する方法
まとめ
今回はStable Diffusionで利用できるマージモデルの作成方法について解説しました。AUTOMATIC1111の機能を使うと、機械学習やプログラミングに関する専門知識を一切必要とせず、簡単にマージモデルを作成できることがわかりました。ぜひオリジナルのマージモデルを作成してみてください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
