NVFP4 KV Cacheが長コンテキスト・Agent推論を高速化
NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。
NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。
NetpremeチームがNetpreme X-Mem™ MPUとSGLang HiCacheの統合方案を発表。KVキャッシュ専用の高帯域幅メモリ層を追加することで、長コンテキスト・高プレフィックス再利用シナリオにおいてTTFTを最大6.7倍