Otama's Playground

AIで遊んだ結果などをつらつら載せていきます。

【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【IPAdapter編】

Stable DiffusionのIPAdapter(Image Prompt Adapter)は、画像生成モデルであるStable Diffusionをさらに強化する技術です。この技術は、テキストプロンプトに加えて、画像プロンプトを入力できるようにすることで、生成される画像のスタイルや内容をより正確にコントロールできます。この技術により、ユーザーは例えば特定のアートスタイルや構図、色彩などを持つ画像を生成することができ、クリエイティブな作業において非常に有用です。

具体的な手法の解説については、以下の記事を参照ください。

otama-playground.com

今回は実際にComfyUIを使ってIPAdapterを使用する方法を紹介しようと思います。さらに生成結果を通じて、その効果を検証してみます。

作業の流れ

1. ComfyUIの導入

こちらの記事を参照ください。

otama-playground.com

2. Custom Nodeの導入

ComfyU_IPAdapter_plusを導入します。ComfyUI-Managerからでも、git cloneを使用した方法でもどちらでも問題ないです。

github.com

3. IPAdapterのモデルをダウンロードしてくる

以下から使用するものをダウンロードし、/ComfyUI/models/ipadapter内に配置します。

ipadapterフォルダがなければ作成してください

以下リポジトリよりリストをコピペ

以下をダウンロードし、/ComfyUI/models/clip_visionに配置します。↓の名前に合わせてファイル名を変更してください。(忘れるとエラーで動きません)

4. ワークフローを作成する

最小構成だとこのような感じになります。黄色がデフォルトのワークフローから追加したノードです

ワークフロー

ワークフロー追加箇所拡大

生成結果1

モナリザの画像を入れて、人物のみを髭もじゃ男性に入れ替えてみます。

プロンプト

a man with beard

入力画像

入力画像

生成画像

生成画像

生成結果2(顔のみ指定)

Face Modelを使用すると指定した顔で生成できます。この機能を使うときは顔のみの画像を使用してください。

プロンプト

a man playing soccer, stadium, grass field, dribbling

入力画像

生成画像

最後に

この記事では、Stable DiffusionのIPAdapter(Image Prompt Adapter)の基本的な使用方法と、その効果を検証しました。IPAdapterを使用することで、テキストプロンプトに加えて画像プロンプトを組み合わせることで、より直感的かつ詳細な画像生成が可能になります。特に、特定のアートスタイルや構図、色彩などを持つ画像を生成する際に、この技術は非常に有用です。ぜひ試してみてください。

画像生成に関連する他のテクニックを試したい方は下記のリンク集をぜひご活用ください。

otama-playground.com