Otama's Playground

AIで遊んだ結果などをつらつら載せていきます。

【Stable Diffusion】ComfyUIを使って動画生成AIで遊んでみよう【RIFE編】

RIFEはFrame Interpolation(フレーム補間)を行う手法の一つで、動画のfpsを上げて滑らかにするために使用されます。今回の記事ではComfyUIでRIFEを試す方法を解説します。

RIFEの技術的な詳細については以下で簡単に解説しているので、興味がある方はこちらも併せて読んでみてください。

otama-playground.com

作業手順

1. ComfyUIの導入

以下のどちらかの方法でComfyUIを導入します。導入済の方もComfyUIを最新版にアップデートしてください。

方法1:ComfyUIを直接導入する

初めての方はこちらで良いと思います。 otama-playground.com

方法2:StabilityMatrix(統合環境)経由でインストールする

otama-playground.com

2. 拡張のインストール

以下の拡張をインストールします。(Video Helper Suiteは動画の読み込みと保存用です)

github.com

github.com

3. ワークフローを作成する

RIFE VFIノードを作成し、下記の画像のようにつなげます。

multiplierの数値だけfpsを倍加できるのですが、上げると精度、消費メモリ、計算時間が悪化するので小さくしておくのが無難です。

RIFE VFIノードのつなげ方

4. 実行する

動画を選択して実行

生成結果

ちょうど良い動画が落ちてなかったので以前生成した動画を使用しました。

RIFE前(8fps)
RIFE後(16fps)

最後に

Frame Interpolation前後で動画の滑らかさに明らかな違いが出ていると思います。

AIで動画生成する際に気になるFPSの低さ/カクカク感がだいぶ軽減されるので、質の良い動画を生成したいときにワークフローに組み込むべき手法の一つです。