こんにちは、Stable Diffusion で画像を生成してみたものの、くすんだ感じが出てしまったり、他の人が公開している鮮やかな画像と比べて物足りないと感じたことはありませんか？それは、もしかしたら、VAE が設定されていない可能性があります。
※アイキャッチ画像は Stable Diffusion で生成しました。
VAE とは
VAE は、Variational Auto Encoder の略で、潜在空間と画像を変換するアルゴリズムです。少し難しそうですが、Stable Diffusion で使用すると、鮮やかさや鮮明度が向上し、画像の劣化が軽減される効果があると考えられます。
VAE の種類
VAE には以下のような種類があります。
- モデルごとに作られた専用 VAE
例：Anything-V3.0.vae.pt は Anything V3モデル用に作られたVAEです。 - どのモデルにも使える汎用 VAE
例：Stability AI 社が公開している vae-ft-mse-840000 はどのモデルでも使えるVAEです。
VAE の有無による違い
VAE がある場合とない場合の違いを見てみましょう。
こちらはモデル Basil Mix、VAE なしの画像です。
次に、モデル Basil Mix、VAE vae-ft-mse-840000 を使用した画像です。
VAE なしの方が、明らかに霞んだような感じがすることがわかります。VAE の効果は大きいことが分かります。
VAE の使い方
AUTOMATIC1111 版 Stable Diffusion Webui への VAE 導入方法を、具体例を挙げて説明します。
どのモデルにも使えるVAEの導入
例として、Stability AI 社が公開している vae-ft-mse-840000 を用いて、導入手順を説明します。
ダウンロード
以下のページから「vae-ft-mse-840000-ema-pruned.safetensors」をダウンロードします。
Hugging Faceの登録方法は、こちらの記事で説明されています。参考にしてください。
ファイル移動
次に、stable-diffusion-webui フォルダ内の「models/VAE」フォルダに、ダウンロードした「vae-ft-mse-840000-ema-pruned.safetensors」を移動します。
起動と設定
Web UI を起動し、Setting → Stable Diffusion → SD VAE の項目で、「vae-ft-mse-840000-ema-pruned.safetensors」を選択します。Apply Settingsを選択することで、VAE が適用されます。
モデル専用の VAE 導入
例として、Anything V4 モデルと、そのモデル専用の VAE 導入手順を紹介します。
ダウンロード
以下のページから、「anything-v4.0-pruned-fp16.safetensors」と「anything-v4.0.vae.pt」をダウンロードします。
名前変更
ダウンロードした「anything-v4.0-pruned-fp16.safetensors」を「anything-v4.0.safetensors」に名前を変更します。
ファイル移動
stable-diffusion-webui フォルダ内の「models/Stable-diffusion」フォルダに、ダウンロードした「anything-v4.0.vae.pt」と、名前を変更した「anything-v4.0.safetensors」を移動します。これにより、Anything V4 モデルを使う際に、自動的に専用の VAE が適用されるようになります。
まとめ
以上で、簡単なVAEの導入方法を説明しました。VAE を適用することで、Stable Diffusion で生成する画像の鮮やかさや鮮明度が向上し、より美しい画像を手に入れることができます。ぜひ試してみてください。
