SGLangがQwen3.8モデルのDay-0サポートを実現
SGLangはQwen3.8-2.4T-A95Bモデルに対してリリース当日（Day-0）サポートを実現し、ReplaySSMメカニズムやPrefill-Decode分離、チャンクパイプライン並列Prefillなどの機能を通じて高性能な推論を
LMSYS に関するニュース
SGLang 高度CUDA Graphテクノロジー解析
SGLangにおけるCUDA Graphの実装戦略を解説し、独自技術であるBreakable CUDA Graph（BCG）がプリフィル段階においてeager実行比1.70倍の高速化を実現していることを紹介する。
Miles v0.1：プロダクションレベルのフロンティア後学習システム
Miles v0.1は、フロンティア規模の強化学習（RL）トレーニングを研究者や開発者に提供するために設計されたフルスタックのプロダクションレベルシステムであり、精度・効率・信頼性・拡張性を最優先に掲げている。
SpecForge v0.3.0：統合デカップリングとコロケーション推測デコードトレーニングスタック
SpecForgeチームがv0.3.0をリリースし、ターゲットモデルの推論とドラフトモデルのトレーニングを完全に分離。オンライン・オフライン・デカップリングワークフローを統合し、より広範な推測デコードアルゴリズムをサポートする。
SGL-Diffusion における AR+DiT フルスタックパフォーマンス最適化
HFバックエンドをSRTに置き換えてAR+DiTハイブリッド生成フレームワークを最適化し、エンドツーエンドのレイテンシを最大77.2%削減するとともに、動的バッチ処理や分離アーキテクチャによってスループットと並列効率を大幅に向上させた。
HPC-Ops × SGLang：テンセント混元の高性能Attention、Router GEMM、MoEカーネル
テンセントが開発したLLM推論向けオープンソース演算子ライブラリ「HPC-Ops」がSGLangのメインブランチに統合され、H20 GPU上でHy3モデルのTPOTを最大48.8%削減するなど、MoEモデルの推論性能を大幅に向上させることが
SGLangとMilesがKimi K3にDay-0サポートを提供
SGLangチームとMilesは、初のオープンソース3兆パラメータ級モデルであるKimi K3に対してDay-0サポートを正式に発表した。SGLangが推論を、MilesがRL学習を担当し、リリース日のあらゆるシナリオをカバーする。
Blackwellネイティブ8/4ビットRLへの道：MilesにおけるエンドツーエンドMXFP8とNVFP4の実践
本記事では、低精度強化学習（RL）においてBlackwellアーキテクチャのネイティブ形式であるMXFP8とNVFP4をMilesおよびSGLang RLエコシステムへ統合する2つの方式を解説し、学習の安定性を確保するための高精度レイヤー保
RadixArkとGoogleが提携：SGLangの全機能をTPUへ本格展開
RadixArkとGoogle Cloudがオープンソース推論フレームワーク「SGLang」をTPUエコシステムへ全面導入する提携を正式発表した。開発者はGPUとTPUを同一APIで使い分けられるようになる。
SGLang量化スタックの再構築：より明確なアーキテクチャの実現
SGLangのissue #15194で提案されたアーキテクチャ変更を解説する。新設計では、チェックポイント解釈・パラメータ登録・重みロード・後処理・カーネル実行を独立した再利用可能なコンポーネントに分離し、量化スタックの保守性と拡張性を大
Netpreme X-Mem が SGLang HiCache を高速化：TTFT を最大6.7倍改善
NetpremeチームがNetpreme X-Mem™ MPUとSGLang HiCacheの統合方案を発表。KVキャッシュ専用の高帯域幅メモリ層を追加することで、長コンテキスト・高プレフィックス再利用シナリオにおいてTTFTを最大6.7倍
DSparkがSGLangに統合：信頼度駆動による可変長検証
Speculative Decodingの高負荷時における検証コスト問題に対処するDSparkがSGLangに統合された。Semi-autoregressiveブロックドラフターと信頼度ベースの動的verify長割り当てにより、Denseモ
DeepSeek-V4 Flash強化学習、AMD MI355Xに対応
AMDとMilesチームが、DeepSeek-V4 Flash RLをROCm搭載のAMD Instinct MI355X GPU上でMilesフレームワークによるエンドツーエンドの強化学習トレーニングに対応させたことを発表した。4ノード構
SGLangが2週間でGLM-5.2を最適化：8×B300上で500 TPS超を達成
SGLangチームがGLM-5.2-NVFP4の推論サービスを2週間で大幅最適化し、8×B300・バッチサイズ1の低レイテンシ環境で500 TPS超を達成した。Spec V2、IndexShare MTP、TopK-V2など複数のランタイム
SGLang と Miles が Inkling を初日からサポート：975Bのマルチモーダル最先端モデルが公開
SGLang Team と Thinking Machines Lab は、975Bパラメータのマルチモーダルモデル Inkling を SGLang と Miles で初日からサポートすると発表した。推論サービス、カーネル最適化、投機的デ
MilesがOPDを導入：蒸留をポストトレーニングのプリミティブへ
MilesチームがOn-Policy Distillation（OPD）をコア機能としてシステムに統合し、教師モデルの効率的な推論行動を学生モデルへ転移させることに成功した。単一の8×NVIDIA B200ノード上でQwen3.5-35B-
SGLang におけるエージェント支援開発の初期探索
SGLang の開発においてエージェント支援開発の実践が進んでおり、CUDA クラッシュデバッグからカーネル最適化、性能ループまでをカバーする実行可能な SKILL.md やスクリプト群として工程知識を体系化する取り組みを紹介する。エージェ
GLM4-MoE 本番環境最適化：SGLang による TTFT 65% 高速化
Novita AI は SGLang をベースに GLM4-MoE モデル向けの本番環境検証済み高インパクト最適化ソリューションを開発し、Shared Experts Fusion と Suffix Decoding の統合によりエージェン
INT4 QAT RL 実践：単一H200で1TBモデルをデプロイ
SGLang RLチームがKimi K2に着想を得て、INT4 Quantization-Aware Training（QAT）のエンドツーエンドソリューションを実現。トレーニング段階のfake quantizationと推論段階のW4A1
いかなるTokenも取りこぼさない：MilesフレームワークのTITO原則の徹底解析
智能体強化学習（Agentic RL）におけるトレーニングと推論の不一致を解消するコア設計原則「Token-In-Token-Out（TITO）」を解説し、MilesフレームワークにおけるTITO実装の仕組みを詳述する。