Stable Diffusion で画像を生成し、他の人が作成したプロンプトを真似して生成しても、人物や背景が意図したものと全然違った画像になったことはありませんか？それは、真似した画像がモデル以外に追加学習モデルを使っているからです。
今回は、追加学習の方法の 1 つである LoRA について、追加学習されたファイルを適用する方法をご紹介します。追加学習する手法はご紹介しませんのでご注意ください。
LoRA とは
LoRA とは Low-Rank Adaptation の略で、Stable Diffusion においてモデルの追加学習をする手法です。
追加学習を利用することにより、人物や背景で自分の望む画風を生成することができるようになります。
追加学習には DreamBooth や Hypernetworks などがありましたが、LoRAは比較的学習環境が容易であるため、よく利用されています。
LoRA の適用による違い
LoRA がある場合とない場合の違いを見てみましょう。
こちらはモデル Chillout Mix、LoRA なしの画像です。
次に、同じ情報で LoRA ファイル japaneseDollLikeness_v10 を使用した画像です。
人物が日本人らしい顔つきになったのが分かると思います。
こういった変化を付けるのが、LoRA というものです。
LoRA の使い方
ダウンロード
まず、気に入った LoRA ファイルをダウンロードしましょう。
LoRAファイルは以下のサイト CivitAI や、Hugging Face で多数公開されています。
今回は、次のページの Gundam chillout mix を例に導入してみます。ガンダムのようなアウターを追加することができます。
右上の「Download」ボタンを押してダウンロードします。
ファイル移動
次に、stable-diffusion-webui フォルダ内の「models/Lora」フォルダに、ダウンロードした「gundamChilloutMix_v1.safetensors」ファイルを移動します。
起動と設定
Web UI を起動し、Generate の下にある花札のアイコン → LoRA → gundamChilloutMix_v1 の順に選択します。
プロンプトの欄に「<lora:gundamChilloutMix_v1:1>」の表示が出ます。これはトリガーと呼ばれ、プロンプト内にこのワードを書くことでLoRAファイルが有効化されます。
なお、最後の1は調整可能で、数字が小さくなればLoRAファイルの影響が小さくなり、数字が大きくなれば影響は大きくなります。
例 : <lora:gundamChilloutMix_v1:0.4>
確認
通常のChillMixモデルを使ったコスプレのような画像のプロンプトに <lora:gundamChilloutMix_v1:0.4> を追加するだけで、ガンダムのアウターが追加されます。
LoRA 適用前
LoRA 適用後
まとめ
このように、LoRA ファイルを使うことで、簡単に画風を変えることができます。自分の好みに合わせて LoRA ファイルを選び、独自の画風を楽しんでください。
