SGL-Diffusion における AR+DiT フルスタックパフォーマンス最適化
HFバックエンドをSRTに置き換えてAR+DiTハイブリッド生成フレームワークを最適化し、エンドツーエンドのレイテンシを最大77.2%削減するとともに、動的バッチ処理や分離アーキテクチャによってスループットと並列効率を大幅に向上させた。
HFバックエンドをSRTに置き換えてAR+DiTハイブリッド生成フレームワークを最適化し、エンドツーエンドのレイテンシを最大77.2%削減するとともに、動的バッチ処理や分離アーキテクチャによってスループットと並列効率を大幅に向上させた。
SGLang-Diffusionがプロダクショングレードのビデオ生成フレームワークとして、トークンレベルのシーケンス分割、分散VAE、融合カーネルなどの深層最適化を実装し、大規模な拡散モデルのデプロイメントを実現。
SGLang DiffusionはSGLangの優れた性能を拡散モデルの画像・動画生成分野に拡張し、主流のオープンソースモデルをサポートしながら1.2倍から5.9倍の高速化を実現します。