レビュー Netpreme X-Mem が SGLang HiCache を高速化：TTFT を最大6.7倍改善 NetpremeチームがNetpreme X-Mem™ MPUとSGLang HiCacheの統合方案を発表。KVキャッシュ専用の高帯域幅メモリ層を追加することで、長コンテキスト・高プレフィックス再利用シナリオにおいてTTFTを最大6.7倍 LMSYS SGLang KV Cache LLM推理 9時間前 43
