Netpreme X-Mem が SGLang HiCache を高速化：TTFT を最大6.7倍改善
NetpremeチームがNetpreme X-Mem™ MPUとSGLang HiCacheの統合方案を発表。KVキャッシュ専用の高帯域幅メモリ層を追加することで、長コンテキスト・高プレフィックス再利用シナリオにおいてTTFTを最大6.7倍
LMSYS に関するニュース
DSparkがSGLangに統合：信頼度駆動による可変長検証
Speculative Decodingの高負荷時における検証コスト問題に対処するDSparkがSGLangに統合された。Semi-autoregressiveブロックドラフターと信頼度ベースの動的verify長割り当てにより、Denseモ
DeepSeek-V4 Flash強化学習、AMD MI355Xに対応
AMDとMilesチームが、DeepSeek-V4 Flash RLをROCm搭載のAMD Instinct MI355X GPU上でMilesフレームワークによるエンドツーエンドの強化学習トレーニングに対応させたことを発表した。4ノード構
SGLangが2週間でGLM-5.2を最適化：8×B300上で500 TPS超を達成
SGLangチームがGLM-5.2-NVFP4の推論サービスを2週間で大幅最適化し、8×B300・バッチサイズ1の低レイテンシ環境で500 TPS超を達成した。Spec V2、IndexShare MTP、TopK-V2など複数のランタイム
SGLang と Miles が Inkling を初日からサポート：975Bのマルチモーダル最先端モデルが公開
SGLang Team と Thinking Machines Lab は、975Bパラメータのマルチモーダルモデル Inkling を SGLang と Miles で初日からサポートすると発表した。推論サービス、カーネル最適化、投機的デ
MilesがOPDを導入：蒸留をポストトレーニングのプリミティブへ
MilesチームがOn-Policy Distillation（OPD）をコア機能としてシステムに統合し、教師モデルの効率的な推論行動を学生モデルへ転移させることに成功した。単一の8×NVIDIA B200ノード上でQwen3.5-35B-
SGLang におけるエージェント支援開発の初期探索
SGLang の開発においてエージェント支援開発の実践が進んでおり、CUDA クラッシュデバッグからカーネル最適化、性能ループまでをカバーする実行可能な SKILL.md やスクリプト群として工程知識を体系化する取り組みを紹介する。エージェ
GLM4-MoE 本番環境最適化：SGLang による TTFT 65% 高速化
Novita AI は SGLang をベースに GLM4-MoE モデル向けの本番環境検証済み高インパクト最適化ソリューションを開発し、Shared Experts Fusion と Suffix Decoding の統合によりエージェン
INT4 QAT RL 実践：単一H200で1TBモデルをデプロイ
SGLang RLチームがKimi K2に着想を得て、INT4 Quantization-Aware Training（QAT）のエンドツーエンドソリューションを実現。トレーニング段階のfake quantizationと推論段階のW4A1
いかなるTokenも取りこぼさない：MilesフレームワークのTITO原則の徹底解析
智能体強化学習（Agentic RL）におけるトレーニングと推論の不一致を解消するコア設計原則「Token-In-Token-Out（TITO）」を解説し、MilesフレームワークにおけるTITO実装の仕組みを詳述する。
AMD MI355X、SGLangとMoRIによりTCOで優位性を実現
SGLangとAMDチームの緊密な協力により、AMD Instinct™ MI355X GPU上でDeepSeek-R1の大規模分離推論において競争力のある総所有コスト（TCO）を達成。主要な運用ポイントでNVIDIA B200を上回るTC
異種CPU+GPU EPD分離によるVLMサービス性能の向上
SGLangコミュニティが提案する異種CPU+GPU構成のEPD分離アーキテクチャにより、VLMサービスにおける視覚エンコードのボトルネックを解消し、TTFTやTPOTなどの主要指標で純GPU構成を上回る性能を実現した。
SGLangとMilesがNemotron 3 UltraにDay-0サポートを提供
SGLangとMilesチームがNVIDIA Nemotron 3 UltraへのDay-0サポートを発表し、長時間自律エージェントシステムの短時間インタラクションから永続的ワークフローへの移行を支援する。
Higgs Audio v3 TTSがSGLang-Omniに対応：リアルタイム制御可能な音声エージェントの新たなブレークスルー
Boson AIとSGLang-Omniチームは、対話型音声エージェント向けに設計されたHiggs Audio v3 TTSモデルがSGLang-Omniフレームワーク上でエンドツーエンドのデプロイを実現したと発表した。低レイテンシで自然か
LMSYSが2026年博士奨学金の第一号受賞者を発表
LMSYSは、2026年LMSYS博士奨学金の第一号受賞者としてWill Linを正式に発表した。オープンソースAIインフラ分野への継続的な卓越した貢献が評価され、最大5万ドルの奨学金支援を受ける。
次世代投機的デコーディング：DFlashとSpec V2
Modal、Z Lab、SGLangチームが共同でDFlash投機的デコーディングモデルを発表し、SGLangの新デフォルトエンジンSpec V2と組み合わせることでLLM推論サービスの最適レイテンシを実現する。新たに公開されたQwen 3
SGLang-OmniがMOSS-TTS Local Transformer v1.5をデプロイ：ネイティブ48kHzストリーミング音声サービス
MOSI・OpenMOSSチームとSGLang-Omniチームが共同で、オープンソースTTSシステム「MOSS-TTS-Local-Transformer-v1.5」のSGLang-Omni上でのエンドツーエンドサービス実現を発表した。同モ
SGLang-JAXがTPU上でLing-2.6-1Tを最適化：単一Pallasカーネルでおよそ MoEのデータ移動を隠蔽
SGLang-JAXがTPU v7x上でLing-2.6-1Tの効率的なデプロイをサポートし、新たなFused MoE V2 Pallasカーネルによりscatter・expert FFN・gatherを融合してTPUの計算とデータ移動を同
SGLangにおけるWaterfillとLPLBによるDeepEP MoE負荷分散の最適化
SGLangにおいて、MoEモデルのExpert Parallelism環境下でのトークンルーティング不均衡を解消するため、WaterfillとLPLBという2つのスケジューリング時負荷分散手法が導入された。2ノードHopper GPU上で
1Tパラメータを秒単位で更新：大規模分散RLにおけるP2P重み転送
SGLangのRLワークロード向けに、従来のNCCLブロードキャスト方式を補完するRDMAベースのポイントツーポイント重み更新メカニズムを導入。1TパラメータのKimi-K2モデルの重み転送時間を53秒から7.2秒へと7倍高速化した。