SGLangがNVIDIA Nemotron 3.5 Super VLにゼロデイサポートを提供
NVIDIA Nemotron 3.5 Super VLは、テキスト・画像・文書・動画を入力として扱える120BパラメータのMoEマルチモーダルモデルであり、SGLangによる高性能サービング環境が即日対応で提供されている。
SGLang に関するニュース
SGLangがMuse Spark Openに初日サポートを提供
SGLangは、816BパラメータのオープンウェイトマルチモーダルMoEモデルであるMuse Spark Openに対して初日サポートを提供。8枚のNVIDIA B300 GPU上でNVFP4チェックポイントを使用した際、最大80.3Kトー
SGLangがBeamモデルの本番環境デプロイを実現
ReflectionのBeamは501Bパラメータの混合エキスパート（MoE）モデルであり、SGLangがネイティブサポートを実現し、本番APIに高性能推論サービスを提供する。本記事ではそのアーキテクチャ、機能、および性能評価の詳細を紹介す
SGLang 低レイテンシモード：カーネルとランタイムの最適化
SGLangの低レイテンシモードは、特定のモデル・ハードウェア・ワークロード向けに設計されており、プラグインフレームワークを通じて専用カーネルを導入することで、コードの重複を避けつつレイテンシを大幅に低減する。
SGLang-TorchTPU：TPU上のPyTorchネイティブ本番級サービング
SGLang-TorchTPUが本日正式にオープンソース化された。RadixArkのSGLangチームがGoogleおよびMetaと共同開発し、TPU上でフルSGLang機能を提供する本番環境向けプラグインである。
SGLang SSDエキスパートパック：コンシューマー向けハードウェアでDeepSeek-V4-FlashとKimi-K3を実行
SGLangのSSD Expert Pack機能を活用し、未使用のエキスパートの重みをNVMe SSD上に保持することで、DeepSeek-V4-FlashやKimi-K3といった大規模MoEモデルをコンシューマー向けGPUで動作させること
NVFP4 KV Cacheが長コンテキスト・Agent推論を高速化
NVIDIAのBlackwellアーキテクチャ向けNVFP4形式をKV Cacheに適用することで、精度をほぼ維持しながらデコードスループットを最大30%向上させることが確認された。SGLangへの実装詳細とベンチマーク結果を解説する。
SGLangを用いたJEV類似決定モデルのスケーリング
本記事では、AIエージェントの意思決定において長文の説明を生成せず分類またはスコアリングで直接判断を返すJEV類似決定モデルを解説し、SGLangの専用スコアリングAPIを活用したベンチマーク結果を紹介する。
SGLangとMilesがDeepSeek-V4.1にDay-0サポートを提供
SGLangとMilesがDeepSeek-V4.1に対してDay-0サポートを提供。新アーキテクチャの多層共有、Engram最適化、SWA有界リプレイなど複数の技術的改善を実装した。
限界を超えて：H20上でのDeepSeek-V4-Proのサービス最適化
DeepSeek-V4-Proは1.6兆パラメータを持つMoEモデルであり、H20 GPUという制約のあるハードウェア上でのサービング最適化において、TTFT・TPOT目標を達成しながら大幅なスループット改善を実現した取り組みを紹介する。
SGLang サブ秒級エンジン復旧：ウェイトキャッシュデーモンによる高速再起動の実現
SGLangチームは、CUDA IPCゼロコピーマッピングを用いてGPUメモリ上にモデルの重みを保持する「Weight Cache Daemon」を発表。これによりモデルの重みロード時間を数分からサブ秒級に短縮し、LLM推論サービスの冷起動
Batch-1の限界を追求：BlackwellにおけるLing-3.0-flashの投機的デコード最適化
Ling-3.0-flashハイブリッド線形アテンションMoEモデルを4枚のBlwell GPU上で最適化し、平均TPOT54%削減・単一リクエストスループット2.1倍向上を達成した技術的取り組みを解説する。
Qwen3.8-Flash-Next：SGLangによるDay-0サポートの実現
QwenチームがマルチモーダルMoEモデル「Qwen3.8-Flash-Next」をオープンソース公開し、SGLangがQwen・NVIDIA・AMDチームと連携してDay-0サポートを提供した。本モデルはQwen4アーキテクチャの早期プレ
MiniMax-H3が8×H200上で最大6.24倍の高速化を達成、無損失でも1.95倍
SGLang Diffusionチームが8×NVIDIA H200上でMiniMax-H3の動画生成ベンチマークを実施し、無損失パスでDiffusersと比較して最大1.95倍、ステップ再利用とスパースアテンション併用で最大6.24倍の高速
Infer-forge：SGLangを中心としたHarness・Loop・Graphエンジニアリング
Infer-forgeは、SGLangを核として推論最適化の実行環境を体系化するMonoRepoおよびTaskLoop設計の取り組みであり、内部での継続的運用を通じて並行タスク数の大幅な拡大を実現している。
SGLangがMuse GlimmerのDay-0サポートを実現、ローカルAgentic推論を最適化
SGLangは30Bパラメータのマルチモーダルモデル「Muse Glimmer」のDay-0サポートを実装し、NVIDIA GeForce RTX 5090上でNVFP4とDFlash技術を活用して最大1452 tok/sの総出力スループッ
統合基数キャッシュ：ハイブリッドモデルのプレフィックスキャッシュのための単一木構造
統合基数キャッシュ（Unified Radix Cache）は、ハイブリッドモデルにおける複数のKV再利用ルールを単一のradix木トポロジーと交換可能なコンポーネントで管理する手法で、HiCacheとの統合によりマルチターンベンチマークで
SGLangがNVIDIA Nemotron 3.5 Lightningのゼロデイサポートを実現
SGLangチームがNVIDIA Nemotron 3.5 Lightningモデルのゼロデイサポートを発表した。同モデルは常時稼働のエージェントシナリオ向けに設計され、高効率な推論ランタイムを通じて迅速なデプロイが可能となっている。
SGLangがQwen3.8モデルのDay-0サポートを実現
SGLangはQwen3.8-2.4T-A95Bモデルに対してリリース当日（Day-0）サポートを実現し、ReplaySSMメカニズムやPrefill-Decode分離、チャンクパイプライン並列Prefillなどの機能を通じて高性能な推論を
SGLang 高度CUDA Graphテクノロジー解析
SGLangにおけるCUDA Graphの実装戦略を解説し、独自技術であるBreakable CUDA Graph（BCG）がプリフィル段階においてeager実行比1.70倍の高速化を実現していることを紹介する。