KV缓存に関するニュース

XM-Sparse：Netpreme X-Mem™がスパースアテンションのスループット限界を突破

XM-SparseはNetpreme X-Mem™とSGLang HiSparseを深く統合し、高帯域幅の外部KVキャッシュアクセスによってデコードレイテンシを削減しながら、より大きなバッチサイズと高い並列処理をサポートする。