CUDA Graph に関するニュース

DSparkがSGLangに統合：信頼度駆動による可変長検証

Speculative Decodingの高負荷時における検証コスト問題に対処するDSparkがSGLangに統合された。Semi-autoregressiveブロックドラフターと信頼度ベースの動的verify長割り当てにより、Denseモ