LLM 推理优化に関するニュース

NVFP4 KV Cacheが長コンテキスト・Agent推論を高速化

NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。