内核优化に関するニュース

SGLang 低レイテンシモード：カーネルとランタイムの最適化

SGLangの低レイテンシモードは、特定のモデル・ハードウェア・ワークロード向けに設計されており、プラグインフレームワークを通じて専用カーネルを導入することで、コードの重複を避けつつレイテンシを大幅に低減する。