AI框架に関するニュース

SGLang 高度CUDA Graphテクノロジー解析

SGLangにおけるCUDA Graphの実装戦略を解説し、独自技術であるBreakable CUDA Graph（BCG）がプリフィル段階においてeager実行比1.70倍の高速化を実現していることを紹介する。