SGLangがNVIDIA Nemotron 3.5 Super VLにゼロデイサポートを提供
NVIDIA Nemotron 3.5 Super VLは、テキスト・画像・文書・動画を入力として扱える120BパラメータのMoEマルチモーダルモデルであり、SGLangによる高性能サービング環境が即日対応で提供されている。
推理优化 に関するニュース
自社データセンターでのGPU不足：リソースが遊んでいるのにジョブはなぜ待たされるのか
GPUの利用率が30%以下でも学習タスクがキューに積まれる現象は「測定の幻想」によるものであり、真のボトルネックはチップ数ではなくオーケストレーション層にあることを解説する。スケジューリングと共有戦略の最適化によって、GPU増設なしに集群の
Infer-forge：SGLangを中心としたHarness・Loop・Graphエンジニアリング
Infer-forgeは、SGLangを核として推論最適化の実行環境を体系化するMonoRepoおよびTaskLoop設計の取り組みであり、内部での継続的運用を通じて並行タスク数の大幅な拡大を実現している。
SGLangが2週間でGLM-5.2を最適化：8×B300上で500 TPS超を達成
SGLangチームがGLM-5.2-NVFP4の推論サービスを2週間で大幅最適化し、8×B300・バッチサイズ1の低レイテンシ環境で500 TPS超を達成した。Spec V2、IndexShare MTP、TopK-V2など複数のランタイム
SGLang と Miles が Inkling を初日からサポート：975Bのマルチモーダル最先端モデルが公開
SGLang Team と Thinking Machines Lab は、975Bパラメータのマルチモーダルモデル Inkling を SGLang と Miles で初日からサポートすると発表した。推論サービス、カーネル最適化、投機的デ
GLM4-MoE 本番環境最適化：SGLang による TTFT 65% 高速化
Novita AI は SGLang をベースに GLM4-MoE モデル向けの本番環境検証済み高インパクト最適化ソリューションを開発し、Shared Experts Fusion と Suffix Decoding の統合によりエージェン
INT4 QAT RL 実践：単一H200で1TBモデルをデプロイ
SGLang RLチームがKimi K2に着想を得て、INT4 Quantization-Aware Training（QAT）のエンドツーエンドソリューションを実現。トレーニング段階のfake quantizationと推論段階のW4A1
いかなるTokenも取りこぼさない：MilesフレームワークのTITO原則の徹底解析
智能体強化学習（Agentic RL）におけるトレーニングと推論の不一致を解消するコア設計原則「Token-In-Token-Out（TITO）」を解説し、MilesフレームワークにおけるTITO実装の仕組みを詳述する。