MiniMax-H3が8×H200上で最大6.24倍の高速化を達成、無損失でも1.95倍

TL;DR

SGLang Diffusionチームは8×NVIDIA H200上でMiniMax-H3の動画生成ベンチマークを実施し、プロンプト・シード・解像度・フレームレート・デノイジングステップ数を固定して測定した。SGLangの無損失パスはDiffusersと比較して1.85〜1.95倍高速であり、いかなる近似も用いていない。

ステップ再利用とスパースアテンションを組み合わせることで、最大6.24倍の高速化を達成した（SSIM：0.76〜0.91）。最速構成であるSubBlock 0.80 + Cache-DiT strideは、FL2VAタスクにおいて5.86倍／6.24倍の高速化を実現した。

背景

動画拡散モデルの主なコストは、数十回に及ぶ反復デノイジングループと長シーケンスのアテンション計算に起因する。SGLangは、カーネルフュージョン・Cache-DiTによるステップ再利用・SubBlockスパースアテンションという三層の高速化手法によって性能向上を実現している。

詳細結果

すべての構成はSGLangのレシピを用いて再現可能である。T2VAおよびFL2VAタスクにおいて、SGLangの無損失パスはすでに約2倍の高速化を達成しており、アグレッシブな構成ではさらに5〜6倍まで向上する。

高速化の源泉

カーネルフュージョンはAdaLNやSwiGLUなどの演算を統合してメモリ転送量を削減し、Cache-DiTは冗余なデノイジングステップをスキップし、SubBlockスパースアテンションは寄与度の低いブロックをスキップする。