今回は Stable Diffusion 最新版、Stable Diffusion XL (SDXL)についてご紹介します。
※アイキャッチ画像は Stable Diffusion で生成しています。
AUTOMATIC1111 版 WebUI Ver.1.60 から Refiner の扱いが変更になりました。以下の記事で Refiner の使い方をご紹介しています。
合わせてご覧ください。
Stable Diffusion XL（SDXL）とは？
Stable Diffusion XL（通称SDXL）は、画像生成AIの最新バージョンで、従来の Stable Diffusion に比べ、画質が大幅に向上しています。
主な特徴
- 画質の向上
- 様々な画風への対応
- 高解像度の画像の学習
- baseモデルとrefinerモデルによる高画質生成
- デフォルトサイズの増加（1024×1024）
- 手やテキストのきれいな生成
Stable Diffusionとの違い
- パラメータ数の増加と性能の向上
- 低解像度データの非使用
- 2段階の処理による高画質化
- 互換性はなくなった
Stable Diffusion XLの導入方法
それでは AUTOMATIC1111 版 Stable Diffusion WebUI V.1.5.1 に SDXL を導入してみましょう。
前提条件
WebUIのバージョン：v1.5.0以降
GPU：VRAM10GB以上のグラフィックボード
モデルのダウンロードと配置
ダウンロードするのは以下の3ファイルです。base モデルは必須です。あとの2つは必要に応じてダウンロードしましょう。
モデル：
- baseモデル（必須）
- refinerモデル（任意）
- VAE（任意）
baseモデル
必須ファイルです。このファイル単体で SDXL を動作させる事も出来ます。
以下のページから「sd_xl_base_1.0.safetensors」をダウンロードして下さい。
ダウンロードしたファイルは「/stable-diffusion-webui/models/Stable-diffusion/」フォルダに移動させます。
refinerモデル
任意ファイルです。このファイルで2段階処理することで生成する画像の画質を上げる事が出来ます。
ただし、WebUIでは完全にサポートされず自動で適用されませんので注意が必要です。
以下のページから「sd_xl_refiner_1.0.safetensors」をダウンロードして下さい。
ダウンロードしたファイルは「/stable-diffusion-webui/models/Stable-diffusion/」フォルダに移動させます。
VAEモデル
SDXL 用の VAE です。任意ですが、彩度を上げるためにあった方がいいでしょう。
以下のページから「sdxl_vae.safetensors」をダウンロードして下さい。
ダウンロードしたファイルは「/stable-diffusion-webui/models/VAE/」フォルダに移動させます。
Stable Diffusion XLの使い方
設定
- モデルは「sd_xl_base_1.0.safetensors」を選択します。
- 画像サイズを
1024 x 1024、1152 x 896、896 x 1152、1216 x 832、832 x 1216、1344 x 768、768 x 1344、1536 x 640、640 x 1536
の中から選択します。ごれ以外のサイズは画質が下がる可能性があります。 - VAE をダウンロードしてあるのなら、VAE に「sdxlvae.safetensors」を設定します。
以上で、いつものようにプロンプト、ネガティブプロンプト、ステップ数などを決めて「Generate」で生成します。
ただし、Stable Diffusion 用の LoRA や Control Net は使用できません。また、サンプラーの中には使えないサンプラーがあるので注意します。
以下が、生成してみた画像です。
SD1.5 や SD2.0 に比べればすごいですが、 LoRA などを使った画像生成に慣れると、現時点ではもの足りないかもしれません。
refinerモデルの利用
refiner モデルは base モデルで生成した画像をさらに呼応画質にします。ただ、WebUI では完全にサポートされてないため手動を行う必要があります。
手順
- まず、baseモデルでの画像生成します。
- 画像を Send to img2img で転送します。
- モデルを refinerモデルへの切り替えます。
- 「Denoising strength」を2〜4にします。
- 「Generate」で生成します。
現在ではそれほど恩恵は受けないようです。
おわりに
SDXL は従来のモデルとの互換性がないのの、高いクオリティの画像生成能力を持っています。
ただ、モデルや、LoRA などまだまだ揃っていませんので、もの足りないかも知れませんが、これからに期待です。
