Otama's Playground

AIで遊んだ結果などをつらつら載せていきます。

【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【LoRA編】

こちら(↓)の記事でLoRAの仕組みを紹介しました。

otama-playground.com

仕組みは学んだので、今回は実際にComfyUIを使ってLoRAを使用する方法を紹介しようと思います。さらに生成結果を通じて、その効果を検証し、生成結果の違いを比較してみます。

※今回は学習については紹介しません

作業の流れ

1. ComfyUIの導入

ComfyUIの導入方法は次の記事を参考にしてください

otama-playground.com

2. ワークフローの作成

操作理解のためデフォルトのワークフローからいじっていきます。

  1. 「Load Default」からワークフローを初期化する
    デフォルトの状態
  2. 「Load LoRA」ノードを追加する
  3. 「Load LoRA」ノードを図のようにつなげていく。(右側のmodelはKSamplerにつなぎます。)
    LoRAノードのつなげ方

最終的なワークフロー

3. 使用したいLoRAをダウンロードしてくる

好きなLoRAをComfyUI/models/lorasに配置する

今回はマスクをした女性が生成されるLoRAを使ってみます。 civitai.com

4. 生成する

ModelとLoRAを選択してから生成します

「Load LoRA」ノードで設定できるstrength_modelとstrength_clipは何?

次のリンク先にComfyUI公式からの説明があります。 Frequently Asked Questions | ComfyUI_examples

LoRAの強度をCLIPモデル(strength_clip)とメインモデル(strength_model)に個別に調整することができます。通常のUIでは、LoRAの強度は1つの数値で制御されますが、ComfyUIではCLIPとMODEL/UNET部分の学習コンセプトが異なるため、それぞれを個別に調整することで、より良い画像が得られます。例えば、強度を0.8に設定すると、両方の強度が0.8に設定されます。

生成結果

生成結果1

生成結果2

複数のLoRAを使用する場合

図のように直列つなぎしてください

複数のLoRAを使用する場合

先ほどのLoRAにプラスしてピクセルアートにするLoRAをつなげた場合は次のような出力になります。

マスク女性LoRA + ピクセルアートLoRA

最後に

出力見る限り割と一貫した出力になっていそうです。

学習まで試したかったのですが、ComfyUIが対応してないので断念しました。学習にはKohyaが良いとの話を小耳にはさんだので、気が向いたら今度導入から試してみようと思います。

画像生成に関連する他のテクニックを試したい方は下記のリンク集をぜひご活用ください。

otama-playground.com