今回はStable Diffusionのフォトリアル系モデルChilloutMixの使い方を解説していきます。
ChilloutMixはフォトリアル系モデルの中では、鉄板と言われるほど最もメジャーなモデルかと思います。
カピパラのエンジニアフォトリアル系のモデルと言えばChilloutMixだよね。
AIコスプレイヤーがブームになった際も、このChilloutMixで生成された画像が多く出回っていました。
リリースからかなり時間が経ちましたが、今でもフォトリアル系の中ではトップクラスのクオリティを持ったモデルですのでぜひ試してみてください。
ChilloutMixではどのような画像が生成できるのかを、プロンプト紹介と合わせて検証していきます。
- Stable Diffusionのフォトリアル系モデルChilloutMixの概要
- ChilloutMixの入手方法
- ChilloutMixで生成できる画像とプロンプト
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。
ChilloutMixの特徴
ChilloutMixは、画像生成AIであるStable Diffusionで使用できるフォトリアル系モデルです。ベースモデルはSD1.5系となります。
アジア人風のリアルな女性を描画できるようにトレーニングされており、フォトリアル系では人気のモデルです。
VAEについては、以前はvae-ft-mse-840000-ema-prunedが推奨されていたのですが、現在はChilloutmix-Niと名前の付いたモデルを使用する場合はVAEは設定不要とのことです。
公式の配布ページには以下のように記載があります。
ChilloutMixを入手する
ChilloutMixは、Civitaiの以下のページからダウンロード可能です。
ChilloutMixのページにアクセスしたら、モデルを選択し、Downloadをクリックします。
先ほど解説した通り、Chilloutmix-Niと記載があるモデルはVAE不要版です。fp32とfp16はモデルサイズが異なります。クラウドコンピューティングサービスなどでストレージの制約がある場合は、fp16を選択することをおすすめします。
ポチップ
ChilloutMixのモデルファイルを配置する
ChilloutMixのモデルをダウンロードしたら、Stable Diffusion WebUIの指定のディレクトリにモデルファイルを配置します。
配置するディレクトリは、Stable Diffusionの使用環境により異なりますので、以下の記事の解説を見ながらモデルファイルを配置してください。
ChilloutMixモデルを設定する
ChilloutMixのモデルファイルを指定のディレクトリに配置したら、WebUIを起動します。
WebUIが起動したら、画面左上のStable Diffusion checkpointの項目でChilloutMixを選択したら使用する準備が完了です。
ChilloutMixのサンプル画像
ここからは実際にChilloutMixを使って画像を生成していきます。
画像の生成条件は以下となります。
生成条件：
Steps: 30, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Size: 1024×1536, Model hash: 59ffe2243a, Model: chilloutmix_NiPrunedFp16Fix, Denoising strength: 0.25, Ultimate SD upscale upscaler: R-ESRGAN 4x+, Ultimate SD upscale tile_width: 512, Ultimate SD upscale tile_height: 512, Ultimate SD upscale mask_blur: 20, Ultimate SD upscale padding: 55, Version: v1.5.2
アップスケーラ
アップスケーラはUltimate SD Upscalerを使用しました。Ultimate SD Upscalerの使用法については以下の記事で解説しています。
embedding
ネガティブプロンプトで使用しているEasyNegative2の使い方については、以下の記事で解説しています。
LoRA
サンプル画像の生成で使用しているLoRAは以下の記事で解説しています。
サンプル画像①
１枚目はLoRAは使用せず、プロンプトだけで生成しました。
LoRA無しでもプロンプトの作り方によっては非常にクオリティの高い日本人風の人物を生成することができました。
ポジティブプロンプト
((((medium hair)))), ((((brown hair)))), best quality, 8K, HDR, highres, absurdres:1.2, blurry background, bokeh:1.2, Photography, (RAW photo:1.2), (photorealistic:1.4), (masterpiece:1.3), (intricate details:1.2), 1girl, solo, japanese girl, delicate, beautiful detailed, (detailed eyes), (detailed facial features), petite, beautiful and clear eyes, detail eye pupil, (((medium breasts))), skin tight, (looking_at_viewer), from_front, (skinny), (best quality:1.4), (ultra highres:1.2), cinema light, (extreme detailed illustration), (lipgloss, best quality, ultra highres, depth of field, caustics, Broad lighting, natural shading, 85mm, f/1.4, ISO 200, 1/160s:0.75),1girl, solo, ((smile)), (((slim body))), upper body, (((pink sweater, bare shoulders, white pleated skirt))), standing, Tokyo street,night, cityscape,city lights, close up,ネガティブプロンプト
EasyNegative2 (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,thick eyebrows,
サンプル画像②
２枚目は日本人のアイドル風の人物が生成できるLoRA、JapaneseDollLikeness を使用しました。
ChilloutMix製作者の方も、顔を追加学習させたLoRAやembeddingの使用を推奨されていますので、人物の顔の安定感はLoRAを入れた方がグッと上がります。
ポジティブプロンプト
Best quality,masterpiece,ultra high res,raw photo,soft light,beautiful and aesthetic,(photorealistic:1.4),(newspaper background:1.5),sport shoes,1girl sitting on a pile of newspapers,(full of white newspapers sticked on the background:1.2),solo,hands in pockets,looking at viewer,standing,harem pants,(blonde very long hair:1.5),(colorful:1.3),the coat is tied around the waist,long hair,wide sleeves,wide-leg trousers, <lora:JapaneseDollLikeness_v15:1>ネガティブプロンプト
EasyNegative2 (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,thick eyebrows,サンプル画像③
３枚目もJapaneseDollLikenessを使用しました。
BRAほどクオリティの高い背景は出てこない印象なので、街中の複雑な風景などはDoFを効かせるのも良いかと思います。
ポジティブプロンプト
(masterpiece),((ultra-detailed)), (highly detailed CG illustration),(expressionless), (best quality:1.2),(1girl:1.2),High quality texture, intricate details, detailed texture, High quality shadow, a realistic representation of the face, Detailed beautiful delicate face, Detailed beautiful delicate eyes, brown eye pupil, a face of perfect proportion, Depth of field, ((Lens Flare, Ray tracing)), perspective,20s, slender face, (big eyes:1.2),blush,glossy lips, perfect body, lean body, (narrow waist:1.3), medium breast, distinct_image, (lustrous skin), solo focus, (brown hair), (finely detailed beautiful eyes and detailed face), (streaked hair), light source contrast, ((medium hair)),, blue sweater, floating hair, coffee shop <lora:JapaneseDollLikeness_v15:1>ネガティブプロンプト
EasyNegative2 (worst quality:2) (low quality:2) (normal quality:2) lowers normal quality ((monochrome)) ((grayscale)),skin spots,acnes,skin blemishes,age spot,ugly face,fat,missing fingers, extra fingers, extra arms,thick eyebrows,Stable Diffusionのテクニックを効率よく学ぶには？
カピパラのエンジニアStable Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない…
猫のエンジニアそんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ！
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回はChilloutMixについて、レビューしてみました。
プロンプトをしっかりと作りこむことで、LoRA無しでも非常にクオリティの高い日本人風の人物を生成できることが確認できました。
SDXLベースが主流になりつつある現在でも、トップクラスのクオリティを持ったモデルですので、まだ使ったことがない方はぜひ試してみてください。
また、プロンプトの作成が難しいと思われている方には、AIでプロンプトを自動生成するのがおすすめです。
「StableDiffusionのプロンプト（呪文）を自然言語処理モデルGPT-3（Catchy）で自動生成する方法」で詳細を解説していますので、あわせてご覧ください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
