スポンサーリンク

【Stable Diffusion】instruct pix2pix:ブロンプトで画像の修正をする

Stable Diffusion 画像 ITライフハック
この記事は約3分で読めます。
スポンサーリンク
当ページはプロモーションが含まれています

今回は ControlNet の「instruct-pix2pix」というモデルをご紹介してみたいと思います。
※ アイキャッチ画像は Stable Diffusion で生成した画像です。

スポンサーリンク

「instruct-pix2pix」とは

「instruct-pix2pix」は、ControlNetを活用して、アップロードした画像をプロンプト指示に基づいて変更するものです。たとえば、「make her cry」というプロンプトで指示を出せば、元の画像を泣いた顔の表情にすることができます。ただし、このモデルは微調整よりも大胆な変更に適しています。

スポンサーリンク

使い道

例えば、表情の差分の生成、「make her cry」と指示することで、泣いた顔の表情の差分を加えることができます。
また、大幅な変更「turn the human robot」といった指示でロボット化など、大胆な変更を楽しむことができます。

導入方法

下記のページから ControlNet のモデル「control_v11e_sd15_ip2p.pth」をダウンロードし、「\stable-diffusion-webui\extensions\sd-webui-controlnet\models」のフォルダに移動します。

lllyasviel/ControlNet-v1-1 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

使い方

  1. WebUI 上で、img2imgタブに移動します。
  2. 元絵にしたい画像をアップロードした画像を選択します。
  3. Width と Height を画像と同じサイズにします。
  4. Sampling method と Sampling steps は任意で、CFG Scale、Denoising strength 反映を見て調整します。
    WebUI
  5. ControlNet のタブを開きます。
  6. Enable にチェックし、必要なら LowVRAM もチェックします。
  7. Preprocessor を None にします。また、Modelを「control_v11e_sd15_ip2p.pth」に設定します。
  8. 修正指示内容をネガティブプロンプト欄に入力します。
  9. Generate を選択します。

WebUI

検証

色々な指示で「instruct-pix2pix」を試してみた結果です。

以下が元絵です。
Stable Diffusion 画像

「make her cry」で指示
Stable Diffusion 画像

「make her angry」で指示
Stable Diffusion 画像

「make her a male」で指示
Stable Diffusion 画像

「make her a glass statue」
Stable Diffusion 画像

まとめ

「instruct-pix2pix」は、プロンプト指示を用いて画像を変更する面白く、革新的なツールです。多くのサプライズや楽しみがあるので、皆さんも一度試してみてください。

created by Rinker
ソシム
¥2,420 (2024/07/22 09:19:11時点 Amazon調べ-詳細)
タイトルとURLをコピーしました