限界を超えて：H20上でのDeepSeek-V4-Proのサービス最適化
DeepSeek-V4-Proは1.6兆パラメータを持つMoEモデルであり、H20 GPUという制約のあるハードウェア上でのサービング最適化において、TTFT・TPOT目標を達成しながら大幅なスループット改善を実現した取り組みを紹介する。
LMSYS に関するニュース
MooncakeがMilesを強化：断片化したRolloutデータから効率的なバッチI/Oへ
大規模言語モデルの強化学習フレームワークMilesにおいて、MooncakeがRolloutデータ転送バックエンドとして統合され、既存のRayパスと比較してリモートGETレイテンシを約10〜14倍、PUTを約1.2〜1.6倍高速化した。
SGLang サブ秒級エンジン復旧：ウェイトキャッシュデーモンによる高速再起動の実現
SGLangチームは、CUDA IPCゼロコピーマッピングを用いてGPUメモリ上にモデルの重みを保持する「Weight Cache Daemon」を発表。これによりモデルの重みロード時間を数分からサブ秒級に短縮し、LLM推論サービスの冷起動
Batch-1の限界を追求：BlackwellにおけるLing-3.0-flashの投機的デコード最適化
Ling-3.0-flashハイブリッド線形アテンションMoEモデルを4枚のBlwell GPU上で最適化し、平均TPOT54%削減・単一リクエストスループット2.1倍向上を達成した技術的取り組みを解説する。
Qwen3.8-Flash-Next：SGLangによるDay-0サポートの実現
QwenチームがマルチモーダルMoEモデル「Qwen3.8-Flash-Next」をオープンソース公開し、SGLangがQwen・NVIDIA・AMDチームと連携してDay-0サポートを提供した。本モデルはQwen4アーキテクチャの早期プレ
MiniMax-H3が8×H200上で最大6.24倍の高速化を達成、無損失でも1.95倍
SGLang Diffusionチームが8×NVIDIA H200上でMiniMax-H3の動画生成ベンチマークを実施し、無損失パスでDiffusersと比較して最大1.95倍、ステップ再利用とスパースアテンション併用で最大6.24倍の高速
Infer-forge：SGLangを中心としたHarness・Loop・Graphエンジニアリング
Infer-forgeは、SGLangを核として推論最適化の実行環境を体系化するMonoRepoおよびTaskLoop設計の取り組みであり、内部での継続的運用を通じて並行タスク数の大幅な拡大を実現している。
SGLangがMuse GlimmerのDay-0サポートを実現、ローカルAgentic推論を最適化
SGLangは30Bパラメータのマルチモーダルモデル「Muse Glimmer」のDay-0サポートを実装し、NVIDIA GeForce RTX 5090上でNVFP4とDFlash技術を活用して最大1452 tok/sの総出力スループッ
統合基数キャッシュ：ハイブリッドモデルのプレフィックスキャッシュのための単一木構造
統合基数キャッシュ（Unified Radix Cache）は、ハイブリッドモデルにおける複数のKV再利用ルールを単一のradix木トポロジーと交換可能なコンポーネントで管理する手法で、HiCacheとの統合によりマルチターンベンチマークで
SGLangがNVIDIA Nemotron 3.5 Lightningのゼロデイサポートを実現
SGLangチームがNVIDIA Nemotron 3.5 Lightningモデルのゼロデイサポートを発表した。同モデルは常時稼働のエージェントシナリオ向けに設計され、高効率な推論ランタイムを通じて迅速なデプロイが可能となっている。
SGLangがQwen3.8モデルのDay-0サポートを実現
SGLangはQwen3.8-2.4T-A95Bモデルに対してリリース当日（Day-0）サポートを実現し、ReplaySSMメカニズムやPrefill-Decode分離、チャンクパイプライン並列Prefillなどの機能を通じて高性能な推論を
SGLang 高度CUDA Graphテクノロジー解析
SGLangにおけるCUDA Graphの実装戦略を解説し、独自技術であるBreakable CUDA Graph（BCG）がプリフィル段階においてeager実行比1.70倍の高速化を実現していることを紹介する。
Miles v0.1：プロダクションレベルのフロンティア後学習システム
Miles v0.1は、フロンティア規模の強化学習（RL）トレーニングを研究者や開発者に提供するために設計されたフルスタックのプロダクションレベルシステムであり、精度・効率・信頼性・拡張性を最優先に掲げている。
SpecForge v0.3.0：統合デカップリングとコロケーション推測デコードトレーニングスタック
SpecForgeチームがv0.3.0をリリースし、ターゲットモデルの推論とドラフトモデルのトレーニングを完全に分離。オンライン・オフライン・デカップリングワークフローを統合し、より広範な推測デコードアルゴリズムをサポートする。
SGL-Diffusion における AR+DiT フルスタックパフォーマンス最適化
HFバックエンドをSRTに置き換えてAR+DiTハイブリッド生成フレームワークを最適化し、エンドツーエンドのレイテンシを最大77.2%削減するとともに、動的バッチ処理や分離アーキテクチャによってスループットと並列効率を大幅に向上させた。
HPC-Ops × SGLang：テンセント混元の高性能Attention、Router GEMM、MoEカーネル
テンセントが開発したLLM推論向けオープンソース演算子ライブラリ「HPC-Ops」がSGLangのメインブランチに統合され、H20 GPU上でHy3モデルのTPOTを最大48.8%削減するなど、MoEモデルの推論性能を大幅に向上させることが
SGLangとMilesがKimi K3にDay-0サポートを提供
SGLangチームとMilesは、初のオープンソース3兆パラメータ級モデルであるKimi K3に対してDay-0サポートを正式に発表した。SGLangが推論を、MilesがRL学習を担当し、リリース日のあらゆるシナリオをカバーする。
Blackwellネイティブ8/4ビットRLへの道：MilesにおけるエンドツーエンドMXFP8とNVFP4の実践
本記事では、低精度強化学習（RL）においてBlackwellアーキテクチャのネイティブ形式であるMXFP8とNVFP4をMilesおよびSGLang RLエコシステムへ統合する2つの方式を解説し、学習の安定性を確保するための高精度レイヤー保
RadixArkとGoogleが提携：SGLangの全機能をTPUへ本格展開
RadixArkとGoogle Cloudがオープンソース推論フレームワーク「SGLang」をTPUエコシステムへ全面導入する提携を正式発表した。開発者はGPUとTPUを同一APIで使い分けられるようになる。
SGLang量化スタックの再構築：より明確なアーキテクチャの実現
SGLangのissue #15194で提案されたアーキテクチャ変更を解説する。新設計では、チェックポイント解釈・パラメータ登録・重みロード・後処理・カーネル実行を独立した再利用可能なコンポーネントに分離し、量化スタックの保守性と拡張性を大