Otama's Playground

AIで遊んだ結果などをつらつら載せていきます。

【AnimateDiff-Lightning】ComfyUIを使って動画生成AIで遊んでみよう【Stable Diffusion】

軽量な動画生成AIを試してみようと思います。AnimateDiffは画像生成モデルを拡張したもののため、Stable Video DiffusionやSoraといった動画生成専用のモデルよりも低スペックでも実行しやすい手法になっています。そしてその後継であるAnimateDiff-Lightningはそれよりも10倍高速と言われてるので,必要スペックと実行速度の面でかなり期待できそうです。 [:contents]

AnimateDiff-Lightning is 何?

AnimateDiffとは

こちらでまとめてるので読んでみてください。

otama-playground.com

AnimateDiff-Lightningとは

huggingface.co

AnimateDiffモデルに「progressive adversarial diffusion distillation」という蒸留方法を使用することで、少ないステップ数で高品質な動画生成を可能にしています。従来のアプローチよりも効率的にノイズを取り除くことができるようにモデルが学習されています。

モデルとかは変わらなそうなので必要スペックの面では期待とは異なってそうです。

ComfyUIで実際に試してみる

comfyUIのインストール

インストール方法については次の記事を参考にしてください

otama-playground.com

準備手順

  1. ワークフローをcomfyUIにLoad
  2. 必要なモジュールをcomfyUIにインストール(ComfyUI-Manager経由でも可)
  3. 使用したいcheckpointを/models/checkpoints/に置く
  4. AnimateDiff-Lightningのcheckpointを/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/に配置

1. ワークフローをcomfyUIにLoad

↓をダウンロードしてUIからLoadする。この時エラーが出るが後の作業で解消するので無視。 https://huggingface.co/ByteDance/AnimateDiff-Lightning/raw/main/comfyui/animatediff_lightning_workflow.json

2. 必要なモジュールをcomfyUIにインストール

ComfyUI-Managerを使用してインストールするのが一番楽(custom_nodesディレクトリ内に以下をそれぞれgit cloneする、でも可)

自分はgit cloneの方法でエラーが出たのでComfyUI-ManagerをインストールしてからManager経由でインストールしました。

3. 使用したいcheckpointを/models/checkpoints/に置く

公式がおすすめしてるモデルは↓。

4. AnimateDiff-Lightning用のcheckpointを配置

リンクからダウンロードして/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/に配置する ByteDance/AnimateDiff-Lightning at main

実行

QueuePromptを押して少し待つと、右下のvideo combineのところに動画が出力されます。 パラメータとPCのスペックによりますが,自分の場合はデフォルト設定で10秒かからないくらいで出力されました。

実行画面

結果がこちら

生成結果

パラメータのチューニングをしてないのでぼやぼやですが、何とかそれっぽく生成できてます。 (というか4ステップでこれって考えたらAnimateDiffと比べてかなりすごい精度...)

終わり

実行できて満足したのでここまでにします。

動画生成に関連する他の手法を試したい方は下記のリンク集をぜひご活用ください。

otama-playground.com