今回はStable Diffusionで使用できるマージモデルの作り方ついて解説します。AUTOMATIC1111のCheckpoint Mergerという機能を使うと、簡単に好みのモデルを組み合わせて自分だけのマージモデルを作成することができます。
Stable DiffusionのWebUI、AUTOMATIC1111のCheckpoint Mergerを使用することで、簡単にマージモデルが作成可能。
今回はネットで公開されているレシピを参考に、マージモデルを作成する手順を解説しますので、ぜひ挑戦してみてください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。
Stable Diffusionとは
Stable Diffusion（ステーブル・ディフュージョン）は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。
NVIDIAのGPUを搭載していれば、ユーザ自身でStable Diffusionをインストールし、ローカル環境で実行することも可能です。
（出典：wikipedia）
Stable DiffusionのWeb UI AUTOMATIC1111
AUTOMATIC1111はStable Diffusionをブラウザから利用するためのWebアプリケーションです。
AUTOMATIC1111を使用することで、プログラミングを一切必要とせずにStable Diffusionで画像生成を行うことが可能になります。
Web UI AUTOMATIC1111のインストール方法
Web UIであるAUTOMATIC1111を実行する環境は、ローカル環境（自宅のゲーミングPCなど）を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。
以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。
ベースとなるStable Diffusionのモデルを用意する
Stable Diffusionで使用するマージモデルを作成するためには、そのベースとなるモデルを用意する必要があります。
今回はあいもりさんがTwitterで紹介している以下のツイートのエルフを生成できるモデル「CutyElfMix」のレシピを例に解説します。
モデルの入手先
CutyElfMixを作成するためには、そのベースとなる「chilled_remix」と「GenesisLifeMix」という2つのモデルを用意する必要があります。
モデルの入手先については以下の記事で解説していますので、あらかじめ用意しておいてください。
ベースモデルを配置する
ベースとなるモデルを入手したら、Stable Diffusionの指定のディレクトリにモデルファイルを配置します。
モデルを配置するディレクトリについては、Stable Diffusionを利用する環境により異なりますので、以下の記事を参考に配置してください。
ポチップ
ポチップ
マージモデルを作成する
ここからは実際にマージモデルを作成する手順を解説します。
AUTOMATIC1111のWebUIを起動したら、Checkpoint Mergerタブをクリックします。
以下の画面がモデルのマージ設定を行う画面となります。
まず、ベースとなるモデルを設定します。
今回は例として「chilled_remix」と「GenesisLifeMix」のマージモデルを作成します。以下のように設定してください。
| 設定項目 | モデル名 |
|---|---|
| Primary Model(A) | chilled_remix |
| Secondary model(B) | GenesisLifeMix |
出力されるマージモデルのモデル名を設定します。今回の例では「CutyElfMix」としました。
モデルのマージ割合を設定します。
今回のレシピでは「chilled_remix：0.7」「GenesisLifeMix：0.3」という割合で設定します。
赤枠のような計算式となっていますので、Multiplier(M)をデフォルト値の「0.3」のままとします。
計算式に代入するとA*(1-0.3)+B*0.3 = A*0.7+B*0.3 となり、レシピ通り設定できています。
Interpolation Methodは「Weighted sum」を選択します。Checkpoint formatは特にckptにする理由がなければ「safetensors」を選択します。Save as float16の項目は軽量版として作成したい場合は適用してください。
設定が完了したら、Mergeをクリックしてマージを実行します。
マージが始まると、画面右上に進捗状況を示すゲージが表示されます。
以下のようにマージモデルが保存されたというメッセージが表示されたらマージ完了です。
作成したマージモデルを使用する
マージモデルの作成が完了すると、すぐに使用できる状態になっています。
画面左上のStable Diffusion checkpointのドロップダウンリストに先ほど作成した「CutyElfMix」が追加されています。
「CutyElfMix」を選択した状態で、パラメータとプロンプトを入力し、Generateをクリックすると以下のように新しいマージモデルを使用した画像が生成されました。
ポチップ
作成したマージモデル「CutyElfMix」で生成した結果
今回はファンタジー映画に出てくるのエフル風のキャラクターを生成できるモデルということで、以下のようなプロンプトを用意しました。
プロンプト
((masterpiece:1.4, best quality)), ((masterpiece, best quality)), (photo realistic:1.4) ((1girl)), (ultra highres:1.2), Japanese idle (Japanese actress) ,beautiful girl with beautiful details, very cute, beautiful girl with beautiful details, professional photography lighting, extremely detailed eyes and face, eyes with beautiful details, elf ears, fantasy world elf earsネガティブプロンプト
Easy Negative (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,open chest,thick eyebrows, huge breasts, open chest生成された画像
こちらが生成された画像です。
綺麗なエルフ風の女性の画像を生成することができました。
Stable Diffusionのテクニックを効率よく学ぶには？
カピパラのエンジニアStable Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない…
猫のエンジニアそんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ！
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はStable Diffusionで利用できるマージモデルの作成方法について解説しました。AUTOMATIC1111の機能を使うと、機械学習やプログラミングに関する専門知識を一切必要とせず、簡単にマージモデルを作成できることがわかりました。ぜひオリジナルのマージモデルを作成してみてください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
コメント