Netpreme X-Mem が SGLang HiCache を高速化：TTFT を最大6.7倍改善

Netpremeチームは先日、Netpreme X-Mem™ Memory Processing Unit（MPU）とSGLang HiCacheの統合方案を発表した。その核心的なアイデアは、低速なホストDRAMオフロード層に加え、KVキャッシュ向けの高帯域幅専用メモリ層を追加することで、SGLang HiCacheが長コンテキスト・高プレフィックス再利用シナリオにおいてより高速かつスケーラブルに動作できるようにすることである。

主要な結論

• プレフィックスキャッシングは、長コンテキスト・エージェンティックAI・推薦系LLMワークロードにおける重要な機能となりつつある。
• SGLang HiCacheは、RadixAttentionをHBM・ホストDRAM・外部ストレージを含む階層型KVキャッシュへと拡張することで、大規模なプレフィックス再利用のためのソフトウェア基盤を提供する。
• Netpreme X-Mem™は、SGLang HiCacheの専用TB/s級KVメモリ層として接続できる。
• プレフィックス集約型ワークロードにおいて、ホストDRAMベースのSGLang HiCacheと比較して、Netpreme X-Mem™はTime-to-First-Token（TTFT）を最大6.7倍改善できる。

なぜプレフィックスキャッシングにはより高速なメモリ層が必要なのか？

プレフィックスキャッシングの目的は、繰り返される長いプロンプトによる高コストなprefill計算を削減することにある。複数のリクエストが長い共通プレフィックス（完全に一致するトークン列）を共有し、末尾の短いテキストのみが異なる場合、システムは以前に生成したKVキャッシュを再利用することで、重複計算を回避できる。

SGLangはこの領域において比較的完成度の高いソフトウェア機能を既に構築している。RadixAttentionはGPUメモリ上での効率的なプレフィックスキャッシングをサポートし、HiCacheはさらにキャッシュ体系をGPU HBMの外側へと拡張し、階層型KVキャッシュを形成する。

しかし、GPU演算能力の向上に伴い、新たなボトルネックが生じ始めている。プレフィックスキャッシュにヒットした後、システムはKVキャッシュを二次メモリからHBMへ十分に高速で転送しなければならない。Netpremeチームは、長コンテキストのコーディングエージェントシナリオでモデル化を実施した。プロンプト長は64Kトークン、prefill並列数は8である。結果は、プレフィックスヒット率が上昇するにつれて残余の計算量が急速に減少する一方、二次メモリから読み出すKVデータ量が同様に増大することを示した。ヒット率が95%を超えると、KVキャッシュ階層化の帯域幅を向上させることでTTFTを大幅に削減できる。

95%のプレフィックスヒット率は現実的か？

Netpremeはさらに、コーディングエージェントにおけるKVキャッシュの再利用状況を分析した。チームはClaude Codeエージェントを用いてSWE-bench上で複数ラウンドのコーディングワークフローを実行し、トレースを収集してプレフィックスキャッシュヒット率を計測した。

結果によると、同一セッションの後続ラウンドではキャッシュヒット率が安定して95%を超え、平均ヒット率は約98%であった。このような高ヒット率の領域では、KVキャッシュ帯域幅をホストCPUオフローディングでは到達困難なレベルまで拡張することで、約3倍の性能向上をもたらせる。

Netpreme X-Mem™：SGLang HiCache向け専用KVレイヤー

Netpreme X-Mem™ MPUは、GPUメモリを拡張するための専用ソリューションであり、高速ネットワークファブリックを通じてGPUラックに数十TB級のメモリを追加できる。概念上、X-Mem™はAIラック内の専用メモリノードであり、同一ラック内のすべてのGPUとピアツーピアアクセスが可能である。

単一のX-Mem™メモリノードは最大24TBのメモリ容量を提供し、同一ラック内のすべてのGPUから4TB/sでアクセスできる。ラック内には複数のMPUノードを配置可能で、集約帯域幅はノード数の増加に応じてスケールする。ソフトウェア層では、X-Mem™のアドレス空間はユニファイド仮想メモリの一部としてアプリケーションに公開される。意味的には、X-Mem™へのアクセスとローカルHBMや遠隔GPUメモリへのアクセスに本質的な差異はない。

SGLang HiCacheとの統合においては、Netpreme X-Mem™はKVキャッシュオフロードの専用メモリ層として機能する。ホストDRAMやRDMAをメインのL2 KVキャッシュ層として使用する代わりに、アクセラレーターおよびKV転送に最適化された高帯域幅メモリ層を提供する。

適用シナリオ

• TTFTに厳格なSLO要件があるサービス；
• 長い共有プレフィックスや高並列セッションが存在するアプリケーション；
• 大量の繰り返しprefill集約型リクエストのワークロード。

Netpreme X-Mem™はCUDAおよびPyTorch互換APIを通じてSGLangに接続される。これにより、機械学習アプリケーションはアプリケーションコードの変更を最小限に抑えつつ、この高帯域幅メモリ層を比較的透過的に利用できる。

ベンチマーク：SGLang + Netpreme X-Mem™

チームは2種類の実験を実施した。一つは単一リクエストのTTFTを計測するマイクロベンチマークであり、もう一つはエージェンティックAIワークロードを対象とするエンドツーエンドLLM推論実験である。以下の3種類の構成を比較した。

X-Mem™により単一リクエストのTTFTがより平坦に

単一リクエスト実験では、ホストDRAMと比較してNetpreme MPUはTTFTを最大約6.7倍低減できることが示された。非常に長いコンテキストでもTTFT曲線はより平坦に近く、高帯域幅KVレイヤーが二次メモリからのKVキャッシュ再投入ボトルネックを効果的に緩和していることがわかる。

X-Mem™がLLMサービスのインタラクティブ性とシステム容量を向上

TTFTの低減がエンドツーエンドの推論性能にどのような影響を与えるかを評価するため、チームはNVIDIA DynamoチームのAIPerfを用いてLLMサービングベンチマークを実施した。テストワークロードはエージェンティックAI推論を模擬しており、1Kトークンのシステムプロンプト、20Kトークンのユーザーコンテキストを含む。各ユーザーは1ラウンドあたり26トークンを入力し、平均ラウンド数は20である。図中の塗りつぶし点はPareto最適点、半透明点は非Pareto最適点を示す。

結果によると、中程度の負荷では、Netpreme X-Mem™により33%高いTPS/ユーザー、すなわちより高いインタラクティブ性が得られる。高負荷では、50%高いインタラクティブ性と30%高いTPSというシステム容量の向上を実現する。これは、プレフィックスキャッシュヒット時にGPUがデータコピーを長時間待機しなくなり、全体的な利用効率が向上するためである。

今後の方向性

コーディングエージェント、長コンテキストアシスタント、推薦システムが継続的に成長するにつれ、推論サービスシステムはより大規模なKVワーキングセットを保持・転送する必要が生じる。Netpremeは以下の方向で取り組みを継続する計画である。

• MPUとSSDを組み合わせたより大規模な永続化KVストアの構築；
• マルチインスタンスKV共有のサポート；
• ニアメモリKV圧縮の探索；
• ニアメモリ計算の発展。

Netpremeの長期ビジョンは、エージェンティックワークロードに向けたフルスタックメモリソリューションの提供である。その対象範囲はKVキャッシュにとどまらず、モデルウェイト、アクティベーション、エンベディング、その他のデータ構造も含む。MLワークロードに最適化された高性能メモリ層を提供することで、Netpremeは従来のホストDRAMとGPU HBMアーキテクチャでは実現困難な新たなソフトウェアアーキテクチャと最適化手法を支援することを目指している。

結論

SGLangはRadixAttentionとHiCacheによってプレフィックスキャッシングの堅固な基盤をすでに構築しており、長コンテキスト・マルチターンインタラクション・プレフィックス集約型ワークロードがKVキャッシュを再利用できるようになっている。しかしプレフィックスキャッシングが十分に有効になると、ボトルネックは「再利用可能なプレフィックスを見つけること」から「キャッシュされたKVを十分な速度でGPUに戻せるか」へと移行する。

ホストDRAMベースのオフロードは容量を拡大できるが、そのPCIeレベルの帯域幅がKV集約型推論における制限要因となる可能性があり、特にTTFT SLOが厳しいシナリオではその影響が顕著である。Netpreme X-Mem™は、SGLang HiCacheに高帯域幅・専用のKVメモリ層を提供することで、このボトルネックを直接解決する。

総合的に見て、SGLang HiCacheとNetpreme X-Mem™の組み合わせは、次世代LLMワークロードにおけるプレフィックスキャッシングをより高速かつスケーラブルにする可能性を持ち、特にコーディングエージェント、長コンテキストアシスタント、推薦システムに適している。

テスト設定と参考情報

評価設定

• GPU：単一H100クラスGPU
• KVメモリ層サイズ：64GB（ホストDRAMまたはNetpreme X-Mem™）
• CUDAバージョン：12.8
• Attentionバックエンド：FlashAttention
• GPUプレフィックスキャッシング：無効化（ローカルKVキャッシュミスだがX-Mem™にヒットするケースの評価のため）
• モデル：Qwen3-30B-A3B-Instruct-2507-FP8
• 単一リクエストTTFTベンチマーク：vLLM KVConnectorベンチマークを改変したスクリプトを使用
• エンドツーエンドスループットベンチマーク：NVIDIA DynamoチームのAIPerfを使用
• AIPerf ワークロード：ユーザー数15；全ユーザーQPSは[3.0, 3.0, 3.5, 4.0, 4.5, 5.5]；共有システムプロンプト1000トークン；ユーザーあたりコンテキスト20000トークン；1ラウンドあたりクエリ26トークン；1ラウンドあたり出力100トークン

参考文献

• SGLang Documentation: HiCache Design
• SGLang Blog: HiCache: High-Performance KV Cache Storage with Hierarchical Caching for LLM Serving
• Netpreme SGLang X-Mem™ Integration: https://github.com/netpreme/sglang_xmem
• LinkedIn Engineering Blog: Turbocharging LinkedIn's Recommendation Systems with SGLang
• Qwen3-235B-A22B-Thinking-2507: https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
• SWE-bench: https://github.com/SWE-bench/SWE-bench
• Netpreme Coding Agents Experiments: https://github.com/netpreme/coding_agents

著者：Netpreme Team。原文リンク：https://lmsys.org/blog/2026-06-27-netpreme-xmem/