レビュー SGLang 高度CUDA Graphテクノロジー解析 SGLangにおけるCUDA Graphの実装戦略を解説し、独自技術であるBreakable CUDA Graph(BCG)がプリフィル段階においてeager実行比1.70倍の高速化を実現していることを紹介する。 LMSYS SGLang CUDA Graph LLM推理 2026年8月19日 319
レビュー DSparkがSGLangに統合:信頼度駆動による可変長検証 Speculative Decodingの高負荷時における検証コスト問題に対処するDSparkがSGLangに統合された。Semi-autoregressiveブロックドラフターと信頼度ベースの動的verify長割り当てにより、Denseモ LMSYS SGLang DSpark Speculative Decoding 2026年7月25日 678