スポンサーリンク

【Stable Diffusion XL】SDXLでControlNetを使おう

Stable Diffusion 画像 ITライフハック
この記事は約6分で読めます。
スポンサーリンク
当ページはプロモーションが含まれています

Stable Diffusion XL(SDXL)が登場した当初は対応していなかった、便利な定番拡張機能の ControlNet ですが、今回、AUTOMATIC 版 WebUI v1.6.0 以降と ControlNet v1.1.400 以降において SDXL に部分的に対応したとのことですので、ご紹介したいと思います。

スポンサーリンク

ControlNetとは

ControlNetは、基礎となる画像から特定の形状属性(ポーズ、輪郭、奥行きなど)を捉え、これを新しく作成する画像に適応させる手法です。この形状データのどの部分を取り出すかは、プリプロセッサの選択リストとモデルの選択で行い、その結果、新しく生成される画像にも元画像の形状属性が反映されます。

スポンサーリンク

SDXL版ControlNetのモデルについて

SDXL 1.0 版の ControlNet は、以下のページでアナウンスされています。

[Major Update] sd-webui-controlnet 1.1.400 · Mikubill sd-webui-controlnet · Discussion #2039
The extension sd-webui-controlnet has added the supports for several control models from the community. Many of the new ...

ここには、以下のような非常に多くのモデルがリストアップされています。

diffusers_xl_canny_full.safetensors
diffusers_xl_canny_mid.safetensors
diffusers_xl_canny_small.safetensors
diffusers_xl_depth_full.safetensors
diffusers_xl_depth_mid.safetensors
diffusers_xl_depth_small.safetensors
ioclab_sd15_recolor.safetensors
ip-adapter_sd15.pth
ip-adapter_sd15_plus.pth
ip-adapter_xl.pth
kohya_controllllite_xl_depth_anime.safetensors
kohya_controllllite_xl_canny_anime.safetensors
kohya_controllllite_xl_scribble_anime.safetensors
kohya_controllllite_xl_openpose_anime.safetensors
kohya_controllllite_xl_openpose_anime_v2.safetensors
sai_xl_canny_128lora.safetensors
sai_xl_canny_256lora.safetensors
sai_xl_depth_128lora.safetensors
sai_xl_depth_256lora.safetensors
sai_xl_recolor_128lora.safetensors
sai_xl_recolor_256lora.safetensors
sai_xl_sketch_128lora.safetensors
sai_xl_sketch_256lora.safetensors
sargezt_xl_depth.safetensors
sargezt_xl_depth_faid_vidit.safetensors
sargezt_xl_depth_zeed.safetensors
sargezt_xl_softedge.safetensors
t2i-adapter_xl_canny.safetensors
t2i-adapter_xl_openpose.safetensors
t2i-adapter_xl_sketch.safetensors
thibaud_xl_openpose.safetensors
thibaud_xl_openpose_256lora.safetensors

モデルの制作者が複数いて、サイズによっても分かれていることから、このように数が増えたようです。違いは詳細が無いので分かりません。

SDXL版ControlNetのインストール

    1. ソフトウェアのアップデート
      最新の AUTOMATIC1111 版 WebUI にアップデートします。
      v1.6.0 以降なら対応しています。
      インストールや、アップデートに関しては以下の記事をご覧ください。
(M1/M2/Intel)MacにStable Diffusinをインストール③AUTOMATIC1111版Stable Diffusion Web UI編
M1/M2 などのApple silicon搭載や、Intel CPU搭載のMacにStable Diffusionをインストールして使う方法をいくつか紹介します。今回は第3回、AUTOMATIC1111 版 Stable Diffusion Web UI です。
    1. ControlNetのインストール
      以下の記事を参考に ControlNet をインストールしてください。 v1.1.400 以降なら対応しています。
【Stable Diffusion】便利でおすすめのWebUI拡張機能②ControlNet
ControlNetはStable Diffusion WebUIの便利な拡張機能で、画像のポーズを指定して生成できます。cannyやopenposeなど複数のモデルでイラストの輪郭やポーズを抽出。自由に表現力を広げましょう。
    1. モデルのダウンロード
      以下の Hugging Face のページからモデルをダウンロードします。
      数が多いので注意してください。
lllyasviel/sd_control_collection at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
  1. モデルの移動
    ダウンロードしたモデルを「/stable-diffusion-webui/models/ControlNet」のフォルダに移動します。

これで使用する準備が整いました。

使い方

使用方法は、基本的に今までの SD1.5 版 ControlNet と同じです。

今回は、一般的な Canny を使用して説明します。

以下のように設定します。

  1. ControlNet セクションを開きます。
  2. Enable にチェックを入れます。
  3. Preprocessor で canny を選択します。
  4. Model でダウンロードしたモデルの中から「canny」が付いているモデルを選択します。
    この場合「sai_xl_canny_256lora.safetensors」
  5. Image にポーズのモデルとなる入力画像をドラッグ&ドロップで指定
  6. VRAM が少ない場合は Low VRAM にチェックを入れる
  7. 通常通り、プロンプト島を設定します。
  8. Generate で生成を始めます。

Stable Diffusion ControlNet

検証

以下は Canny を使って生成した画像です。

モデルは BreakDomainXL 、ControlNet のプリプロセッサは Canny 、ControlNet のモデルは sai_xl_canny_256lora.safetensors で生成しています。

元の画像

女性の画像

生成された画像

Stable Diffusion XL画像

元の画像

女性の画像

生成された画像

Stable Diffusion XL画像

まとめ

SDXL に対応した ControlNet は過渡期にある SDXL について追い風になると思います。

まだ、SDXL を試したことのない方も、これを機に試してみられるのはいかがでしょうか。

タイトルとURLをコピーしました