ComfyUIを使って落書きからリアルタイムで画像生成してみる

最近akuma.aiが有名っぽいですね(情報古かったらすみません)。説明見てたのですが、似たようなものがComfyUIでも再現できそうな気がしたので試してみます。

ワークフロー

以下のどちらかの方法でComfyUIを導入します。

方法1：ComfyUIを直接導入する

初めての方はこちらで良いと思います。

方法2：StabilityMatrix(統合環境)経由でインストールする

以下の拡張をComfyUIにインストールしてください。（Manager経由がラクです）

LCM-LoRAをダウンロードしてLoRA用のディレクトリに配置します。

以下のリンク先からダウンロードしてインポートします。

Load LoRAノードにLCM-LoRAを設定し、Load Checkpointノードには好きなベースモデルを設定します。

ペイントやパラメータが更新された場合に自動で生成処理が走るように設定します。

具体的には↓のようにExtra Optionsを設定します。

Queue Promptすると、落書きから画像生成した結果がPreview Imageノードに反映されるようになります。

プロンプトは生成したいものに合わせていじってください。EasyNegativeなどのembeddingを使用すると良い結果が出やすくなるかもしれません。
生成毎に違う画像になってしまうと困るので、seedは固定してあります。Primitiveノードで変更できるので、ハズレのseedだった場合は手動で変更してください。
LCM-LoRAでなくともリアルタイムで生成できれば良いので、LightningやTurbo、Hyperモデルとかに置き換えても良いと思います。