Stable Diffusion周りの論文解説記事です。

画像生成周り

Stable Diffusion

みんな大好きStable Diffusionモデル。Text Encoder, UNet, VAEを組み合わせたモデルになっています。一般的にはStable Diffusionモデルと言えばこのモデルを指すはず。

Stable Diffusionモデルを最新技術にアップデートしたものです。UNetではなくMMDiTというTransformerベースのモデルに変更するとともに、ノイズスケジュールを最適化する、TextEncoderを3つに増やすなど少しTweakが入っています。

みんな大好きLoRA。モデルの拡張パーツともいえるもので、少しパラメータを増やすだけでモデルの追加学習が行えます。（元々は言語モデル用に提案されたもの）

ControlNetは、画像に映る人物の姿勢を制御するためのモデル拡張です。UNetを2重にして片方に姿勢データを学習させるようにしています。

UNetではなくText Encoderをいじる手法です。本体であるUNetの外側をいじるため、比較的効果は弱めですが、パラメータを増やす必要がない、学習もUNetをいじるより容易といった利点があります。

Text Encoderと並列にImage Encoderを用意し、画像プロンプトを受け取れるようにする手法です。

Stable Diffusionに時間軸の学習ができるように層を追加したモデルです。

中間フレームを生成し、動画のフレームレートを向上させる技術です。

パイプライン処理やその他高速化のためのテクニックを導入し、超高速に画像生成を行えるようにしたモデルです。RTX 4090で最大91.07fpsとのこと。