今回は ControlNet の「instruct-pix2pix」というモデルをご紹介してみたいと思います。
※ アイキャッチ画像は Stable Diffusion で生成した画像です。
「instruct-pix2pix」とは
「instruct-pix2pix」は、ControlNetを活用して、アップロードした画像をプロンプト指示に基づいて変更するものです。たとえば、「make her cry」というプロンプトで指示を出せば、元の画像を泣いた顔の表情にすることができます。ただし、このモデルは微調整よりも大胆な変更に適しています。
使い道
例えば、表情の差分の生成、「make her cry」と指示することで、泣いた顔の表情の差分を加えることができます。
また、大幅な変更「turn the human robot」といった指示でロボット化など、大胆な変更を楽しむことができます。
導入方法
下記のページから ControlNet のモデル「control_v11e_sd15_ip2p.pth」をダウンロードし、「\stable-diffusion-webui\extensions\sd-webui-controlnet\models」のフォルダに移動します。
lllyasviel/ControlNet-v1-1 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
使い方
- WebUI 上で、img2imgタブに移動します。
- 元絵にしたい画像をアップロードした画像を選択します。
- Width と Height を画像と同じサイズにします。
- Sampling method と Sampling steps は任意で、CFG Scale、Denoising strength 反映を見て調整します。
- ControlNet のタブを開きます。
- Enable にチェックし、必要なら LowVRAM もチェックします。
- Preprocessor を None にします。また、Modelを「control_v11e_sd15_ip2p.pth」に設定します。
- 修正指示内容をネガティブプロンプト欄に入力します。
- Generate を選択します。
検証
色々な指示で「instruct-pix2pix」を試してみた結果です。
以下が元絵です。
「make her cry」で指示
「make her angry」で指示
「make her a male」で指示
「make her a glass statue」
まとめ
「instruct-pix2pix」は、プロンプト指示を用いて画像を変更する面白く、革新的なツールです。多くのサプライズや楽しみがあるので、皆さんも一度試してみてください。
