NVFP4 KV Cacheが長コンテキスト・Agent推論を高速化
NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。
Blackwell に関するニュース
Blackwellネイティブ8/4ビットRLへの道：MilesにおけるエンドツーエンドMXFP8とNVFP4の実践
本記事では、低精度強化学習（RL）においてBlackwellアーキテクチャのネイティブ形式であるMXFP8とNVFP4をMilesおよびSGLang RLエコシステムへ統合する2つの方式を解説し、学習の安定性を確保するための高精度レイヤー保
SGLangが2週間でGLM-5.2を最適化：8×B300上で500 TPS超を達成
SGLangチームがGLM-5.2-NVFP4の推論サービスを2週間で大幅最適化し、8×B300・バッチサイズ1の低レイテンシ環境で500 TPS超を達成した。Spec V2、IndexShare MTP、TopK-V2など複数のランタイム