SGLangが2週間でGLM-5.2を最適化：8×B300上で500 TPS超を達成
SGLangチームがGLM-5.2-NVFP4の推論サービスを2週間で大幅最適化し、8×B300・バッチサイズ1の低レイテンシ環境で500 TPS超を達成した。Spec V2、IndexShare MTP、TopK-V2など複数のランタイム
推理优化 に関するニュース
SGLang と Miles が Inkling を初日からサポート：975Bのマルチモーダル最先端モデルが公開
SGLang Team と Thinking Machines Lab は、975Bパラメータのマルチモーダルモデル Inkling を SGLang と Miles で初日からサポートすると発表した。推論サービス、カーネル最適化、投機的デ
GLM4-MoE 本番環境最適化：SGLang による TTFT 65% 高速化
Novita AI は SGLang をベースに GLM4-MoE モデル向けの本番環境検証済み高インパクト最適化ソリューションを開発し、Shared Experts Fusion と Suffix Decoding の統合によりエージェン
INT4 QAT RL 実践：単一H200で1TBモデルをデプロイ
SGLang RLチームがKimi K2に着想を得て、INT4 Quantization-Aware Training（QAT）のエンドツーエンドソリューションを実現。トレーニング段階のfake quantizationと推論段階のW4A1
いかなるTokenも取りこぼさない：MilesフレームワークのTITO原則の徹底解析
智能体強化学習（Agentic RL）におけるトレーニングと推論の不一致を解消するコア設計原則「Token-In-Token-Out（TITO）」を解説し、MilesフレームワークにおけるTITO実装の仕組みを詳述する。