限界を超えて：H20上でのDeepSeek-V4-Proのサービス最適化
DeepSeek-V4-Proは1.6兆パラメータを持つMoEモデルであり、H20 GPUという制約のあるハードウェア上でのサービング最適化において、TTFT・TPOT目標を達成しながら大幅なスループット改善を実現した取り組みを紹介する。
LLM推理 に関するニュース
SGLang 高度CUDA Graphテクノロジー解析
SGLangにおけるCUDA Graphの実装戦略を解説し、独自技術であるBreakable CUDA Graph（BCG）がプリフィル段階においてeager実行比1.70倍の高速化を実現していることを紹介する。
Netpreme X-Mem が SGLang HiCache を高速化：TTFT を最大6.7倍改善
NetpremeチームがNetpreme X-Mem™ MPUとSGLang HiCacheの統合方案を発表。KVキャッシュ専用の高帯域幅メモリ層を追加することで、長コンテキスト・高プレフィックス再利用シナリオにおいてTTFTを最大6.7倍
SGLangがNVIDIA GTC 2026で輝いた瞬間
SGLangチームがNVIDIA GTC 2026に参加し、パネルディスカッション、Happy Hour、200人規模のMeetup、ハンズオントレーニングラボなど5つのイベントを3日間で開催。LLMエコシステムの中心で大きな成果を収めた。