DeepInferとの比較にとどまらず:SGLangが実現したこと

DeepSeekが自社推論エンジン「DeepInfer」をオープンソース化したことを受け、SGLangチームが同一ハードウェア上でベンチマーク比較を実施。SGLangはDeepInferの主要な最適化を統合しつつ、複数の指標で同等以上の性能を達成し、さらに完全な推論サービングシステムとしての機能も提供していることが明らかになった。

LMSYS SGLang DeepInfer
127