SGLang 低レイテンシモード：カーネルとランタイムの最適化
SGLangの低レイテンシモードは、特定のモデル・ハードウェア・ワークロード向けに設計されており、プラグインフレームワークを通じて専用カーネルを導入することで、コードの重複を避けつつレイテンシを大幅に低減する。
SGLangの低レイテンシモードは、特定のモデル・ハードウェア・ワークロード向けに設計されており、プラグインフレームワークを通じて専用カーネルを導入することで、コードの重複を避けつつレイテンシを大幅に低減する。
MLPerf Inference v6.0は、GPT-OSS 120Bベンチマークと、DeepSeek-R1の低遅延インタラクションシナリオ（初の標準化されたspeculative decoding）を導入し、オープンソースLLMベンチマー