今回はSDXL1.0の使い方について解説します。
SDXL1.0は、Stable Diffusionの開発元であるStability AIが2023年7月にリリースした最新モデルです。フォトリアル系、アニメ系共にクオリティが大幅に向上しています。
SDXL1.0の使用に当たって、AUTOMATIC1111 WebUIをv1.5.1以降にアップデートする必要がありますが、環境によってライブラリの不整合などが発生するため、その解決方法についても解説します。ぜひ活用してみてください。
SDXL1.0及びSDXL1.0をベースとしたカスタムモデルはVRAM16GB以上のグラフィックボードを必要とします。スペックの制約で実行できない場合には、VRAM4GBのグラフィックボードでも実行可能なFooocusの使い方を以下の記事で解説していますので、あわせてご覧ください。
また、当ブログのStable Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。
Stable Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。
SDXL1.0とは
SDXL1.0は、Stability AIによって最近リリースされた非常に先進的な潜在拡散モデルで、テキストから画像を生成するツールとして開発されました。SDXLは、ClipDrop、GitHub、またはStability AIプラットフォームを通じて利用可能です。
SDXL 1.0は、オープンアクセス画像モデルの中で最大のパラメータ数を持っており、3.5B（35億）パラメータの基本モデルと6.6B（66億）パラメータの精製モデルから構成される革新的な新しいアーキテクチャに基づいています。
全体のモデルは、潜在拡散のための専門家の組み合わせのパイプラインから構成されています。最初のステップでは、基本モデルが（ノイズの多い）潜在変数を生成し、その後、最終的なノイズ除去ステップに特化した精製モデルでさらに処理されます。
この二段階のアーキテクチャは、速度や過剰な計算リソースを必要とせずに、画像生成における堅牢性を実現します。SDXL 1.0は、8GB VRAMを持つ一般的なGPUや容易に利用可能なクラウドインスタンス上で効果的に動作するはずです。
Stable Diffusionのインストール
まず最初に、Stable Diffusion WebUIをインストールします。Stable Diffusionを使用する環境によってインストール方法が異なりますので、以下の記事を参考に行ってください。
ポチップ
ライブラリの更新
SDXL1.0を使用するためには、AUTOMATIC1111を2023年7月現在の最新バージョンにアップデートする必要があります。
AUTOMATIC1111 WebUIをv1.5.1以降へのアップデートが必要。
Stable Diffusionのversion: v1.5.1を使用するにあたり、関連するライブラリのバージョンの整合が取れていないと、エラーが発生します。
バージョンの不整合を解消するため、必要なライブラリのインストール手順を解説します。
発生したエラー
私のPaperspaceの環境では、クリーンインストールしてもxformersに関連するライブラリで以下のようなエラーが発生しました。
AssertionError: We do not support vanilla attention in 1.12.1+cu116 anymore, as it is too expensive. Please install xformers via e.g. 'pip install xformers==0.0.16'パッケージのアップグレード
インストールする必要があるライブラリのパッケージを最新にアップグレードします。
pip install torch --upgrade
pip install torchvision --upgrade
pip install torchaudio --upgradepytorch_lightningとtorchaudioを最新に更新
pytorch_lightningとtorchaudioのライブラリを最新のバージョンに更新します。
現在の環境からpytorch_lightningとtorchaudioを一旦アンインストールします：
pip uninstall pytorch_lightning torchaudio -y最新バージョンのpytorch_lightningとtorchaudioを再インストールします：
pip install pytorch_lightning torchaudiotorchとtorchvisionのインストール
torchとtorchvisionのインストールを行います。
pip install torch==1.9.0 torchvision==0.10.0xformersを更新
エラーメッセージでは'pip install xformers==0.0.16'と表示されていますが、0.0.16をインストールするとtorch、torchvisionとのバージョンの不整合でエラーが発生するため、さらに新しいバージョンへ更新します。
まず、現在インストールされているバージョンを削除します。
!pip uninstall xformers -y続いて、xformersの最新バージョンをインストールします。
!pip install xformers私の環境では、以下のバージョンで正常に動作しました。
ポチップ
StableDiffusion WebUIの起動
通常通り、launch.pyを実行してWebUIを起動します。
WebUIをが起動したら、画面下部にversion: v1.5.1以降のバージョン番号は表示されていれば問題ありません。
SDXL1.0モデルを入手する
モデルのダウンロード
WebUIのバージョンアップが完了したら、SDXL1.0のモデルファイルを入手します。以下のサイトからダウンロードし、各環境のモデルファイルを配置するディレクトリに配置してください。
モデルを選択する
WebUIが起動したら、Stable Diffusion checkpointでsd_xl_base_1.0.safetensorsを選択します。
ポチップ
画像生成を実行する
モデルを読み込んだら、実際に画像生成を行います。
今回は以下のような簡単なプロンプトを用意しました。
best quality, Beautiful aquarium, beautiful fish swimming, soothing scenery, ((photorealistic:1.4))プロンプトの作成が難しいと思われている方には、AIでプロンプトを自動生成するのがおすすめです。「StableDiffusionのプロンプト（呪文）を自然言語処理モデルGPT-3（Catchy）で自動生成する方法」で詳細を解説しています。
プロンプトとパラメータを入力したら、Generateをクリックし画像を生成します。
以下のように画像が生成されました。
Stable Diffusionのテクニックを効率よく学ぶには？
カピパラのエンジニアStable Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない…
猫のエンジニアそんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ！
動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。
Udemyは講座単体で購入できるため安価で（セール時1500円くらいから購入できます）、PCが無くてもスマホでいつでもどこでも手軽に学習できます。
Stable Diffusionに特化して学ぶ
Stable Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。
ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能
画像生成AIの仕組みを学ぶ
画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。
画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。
AIによる画像生成を学ぼう！【VAE / GAN】 -Google ColabとPyTorchで基礎から学ぶ生成モデル-
まとめ
今回は、Stability AIによって開発された2023年7月現在の最新モデル、SDXL 1.0の使い方について解説しました。
パラメータ数の大幅な増加や、新アーキテクチャの採用により、クオリティが大幅に向上していますので、ぜひ試してみてください。
また、以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。
スキルアップや副業にぜひ活用してみてください。
スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。
講座単位で購入できるため、スクールに比べ非常に安価（セール時1200円程度～）に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。
それでは、また次の記事でお会いしましょう。
ポチップ
ポチップ
ポチップ
コメント