高速な動画生成AIを試してみようと思います。AnimateDiffは画像生成モデルを少し拡張したもののため、Stable Video DiffusionやSoraといった動画生成用に作られたモデルよりも低めのスペックでも実行しやすい手法になっています。そしてその後継であるAnimateDiff-Lightningは1/10のステップ数で生成できるため、単純計算で10倍高速と言えます。
AnimateDiff-Lightning is 何？
AnimateDiffとは
こちらでまとめてるので読んでみてください。
AnimateDiff-Lightningとは
[2402.13929] SDXL-Lightning: Progressive Adversarial Diffusion Distillation
- Lightning系モデルは2024年2月にByteDanceから発表された論文に基づいている
- Adversarial DistillationとProgressive Distillationを組み合わせた蒸留方法で高速化
- 教師モデルが複数ステップで推論した結果を、生徒モデルが1ステップで直接推論できるように訓練する
- 最初はMSE損失を使用して基礎的なトレーニングを行い、その後に敵対的損失を追加することで画質を向上させる
モデルとかは特に変わらなそうなので必要スペックは変わらなそうです。
ComfyUIで実際に試してみる
comfyUIのインストール
インストール方法については次の記事を参考にしてください
準備手順
- ワークフローをcomfyUIにLoad
- 必要なモジュールをcomfyUIにインストール(ComfyUI-Manager経由でも可)
- 使用したいcheckpointを
/models/checkpoints/に置く - AnimateDiff-Lightningのcheckpointを
/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/に配置- chekpointは↓にあります。
- ByteDance/AnimateDiff-Lightning at main
1. ワークフローをcomfyUIにLoad
↓をダウンロードしてUIからLoadする。この時エラーが出るが後の作業で解消するので無視。 https://huggingface.co/ByteDance/AnimateDiff-Lightning/raw/main/comfyui/animatediff_lightning_workflow.json
2. 必要なモジュールをcomfyUIにインストール
ComfyUI-Managerを使用してインストールするのが一番楽（custom_nodesディレクトリ内に以下をそれぞれgit cloneする、でも可）
自分はgit cloneの方法でエラーが出たのでComfyUI-ManagerをインストールしてからManager経由でインストールしました。
3. 使用したいcheckpointを/models/checkpoints/に置く
公式がおすすめしてるモデルは↓。
- Realistic
- Anime & Cartoon
4. AnimateDiff-Lightning用のcheckpointを配置
リンクからダウンロードして/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/に配置する
ByteDance/AnimateDiff-Lightning at main
実行
QueuePromptを押して少し待つと、右下のvideo combineのところに動画が出力されます。
パラメータとPCのスペックによりますが，自分の場合はデフォルト設定で10秒かからないくらいで出力されました。
結果がこちら
パラメータのチューニングをしてないのでぼやぼやですが、何とかそれっぽく生成できてます。 (というか4ステップでこれって考えたらAnimateDiffと比べてかなりすごい精度...)
終わり
実行できて満足したのでここまでにします。
動画生成に関連する他の手法を試したい方は下記のリンク集をぜひご活用ください。
