Stable DiffusionのIPAdapter（Image Prompt Adapter）は、画像生成モデルであるStable Diffusionをさらに強化する技術です。この技術は、テキストプロンプトに加えて、画像プロンプトを入力できるようにすることで、生成される画像のスタイルや内容をより正確にコントロールできます。この技術により、ユーザーは例えば特定のアートスタイルや構図、色彩などを持つ画像を生成することができ、クリエイティブな作業において非常に有用です。
具体的な手法の解説については、以下の記事を参照ください。
今回は実際にComfyUIを使ってIPAdapterを使用する方法を紹介しようと思います。さらに生成結果を通じて、その効果を検証してみます。
作業の流れ
1. ComfyUIの導入
こちらの記事を参照ください。
2. Custom Nodeの導入
ComfyU_IPAdapter_plusを導入します。ComfyUI-Managerからでも、git cloneを使用した方法でもどちらでも問題ないです。
3. IPAdapterのモデルをダウンロードしてくる
以下から使用するものをダウンロードし、/ComfyUI/models/ipadapter内に配置します。
※ipadapterフォルダがなければ作成してください
以下リポジトリよりリストをコピペ
- ip-adapter_sd15.safetensors, Basic model, average strength
- ip-adapter_sd15_light_v11.bin, Light impact model
- ip-adapter-plus_sd15.safetensors, Plus model, very strong
- ip-adapter-plus-face_sd15.safetensors, Face model, portraits
- ip-adapter-full-face_sd15.safetensors, Stronger face model, not necessarily better
- ip-adapter_sd15_vit-G.safetensors, Base model, requires bigG clip vision encoder
- ip-adapter_sdxl_vit-h.safetensors, SDXL model
- ip-adapter-plus_sdxl_vit-h.safetensors, SDXL plus model
- ip-adapter-plus-face_sdxl_vit-h.safetensors, SDXL face model
- ip-adapter_sdxl.safetensors, vit-G SDXL model, requires bigG clip vision encoder
以下をダウンロードし、/ComfyUI/models/clip_visionに配置します。↓の名前に合わせてファイル名を変更してください。（忘れるとエラーで動きません）
- CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, download and rename
- CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, download and rename
4. ワークフローを作成する
最小構成だとこのような感じになります。黄色がデフォルトのワークフローから追加したノードです
生成結果1
モナリザの画像を入れて、人物のみを髭もじゃ男性に入れ替えてみます。
プロンプト
a man with beard
入力画像
生成画像
生成結果2（顔のみ指定）
Face Modelを使用すると指定した顔で生成できます。この機能を使うときは顔のみの画像を使用してください。
プロンプト
a man playing soccer, stadium, grass field, dribbling
最後に
この記事では、Stable DiffusionのIPAdapter（Image Prompt Adapter）の基本的な使用方法と、その効果を検証しました。IPAdapterを使用することで、テキストプロンプトに加えて画像プロンプトを組み合わせることで、より直感的かつ詳細な画像生成が可能になります。特に、特定のアートスタイルや構図、色彩などを持つ画像を生成する際に、この技術は非常に有用です。ぜひ試してみてください。
画像生成に関連する他のテクニックを試したい方は下記のリンク集をぜひご活用ください。
