NVFP4 KV Cacheが長コンテキスト・Agent推論を高速化
NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。
NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。
本記事では、低精度強化学習（RL）においてBlackwellアーキテクチャのネイティブ形式であるMXFP8とNVFP4をMilesおよびSGLang RLエコシステムへ統合する2つの方式を解説し、学習の安定性を確保するための高精度レイヤー保