AMD MI355X、SGLangとMoRIによりTCOで優位性を実現
SGLangとAMDチームの緊密な協力により、AMD Instinct™ MI355X GPU上でDeepSeek-R1の大規模分離推論において競争力のある総所有コスト（TCO）を達成。主要な運用ポイントでNVIDIA B200を上回るTC
LMSYS に関するニュース
異種CPU+GPU EPD分離によるVLMサービス性能の向上
SGLangコミュニティが提案する異種CPU+GPU構成のEPD分離アーキテクチャにより、VLMサービスにおける視覚エンコードのボトルネックを解消し、TTFTやTPOTなどの主要指標で純GPU構成を上回る性能を実現した。
SGLangとMilesがNemotron 3 UltraにDay-0サポートを提供
SGLangとMilesチームがNVIDIA Nemotron 3 UltraへのDay-0サポートを発表し、長時間自律エージェントシステムの短時間インタラクションから永続的ワークフローへの移行を支援する。
Higgs Audio v3 TTSがSGLang-Omniに対応：リアルタイム制御可能な音声エージェントの新たなブレークスルー
Boson AIとSGLang-Omniチームは、対話型音声エージェント向けに設計されたHiggs Audio v3 TTSモデルがSGLang-Omniフレームワーク上でエンドツーエンドのデプロイを実現したと発表した。低レイテンシで自然か
LMSYSが2026年博士奨学金の第一号受賞者を発表
LMSYSは、2026年LMSYS博士奨学金の第一号受賞者としてWill Linを正式に発表した。オープンソースAIインフラ分野への継続的な卓越した貢献が評価され、最大5万ドルの奨学金支援を受ける。
次世代投機的デコーディング：DFlashとSpec V2
Modal、Z Lab、SGLangチームが共同でDFlash投機的デコーディングモデルを発表し、SGLangの新デフォルトエンジンSpec V2と組み合わせることでLLM推論サービスの最適レイテンシを実現する。新たに公開されたQwen 3
SGLang-OmniがMOSS-TTS Local Transformer v1.5をデプロイ：ネイティブ48kHzストリーミング音声サービス
MOSI・OpenMOSSチームとSGLang-Omniチームが共同で、オープンソースTTSシステム「MOSS-TTS-Local-Transformer-v1.5」のSGLang-Omni上でのエンドツーエンドサービス実現を発表した。同モ
SGLang-JAXがTPU上でLing-2.6-1Tを最適化：単一Pallasカーネルでおよそ MoEのデータ移動を隠蔽
SGLang-JAXがTPU v7x上でLing-2.6-1Tの効率的なデプロイをサポートし、新たなFused MoE V2 Pallasカーネルによりscatter・expert FFN・gatherを融合してTPUの計算とデータ移動を同
SGLangにおけるWaterfillとLPLBによるDeepEP MoE負荷分散の最適化
SGLangにおいて、MoEモデルのExpert Parallelism環境下でのトークンルーティング不均衡を解消するため、WaterfillとLPLBという2つのスケジューリング時負荷分散手法が導入された。2ノードHopper GPU上で
1Tパラメータを秒単位で更新：大規模分散RLにおけるP2P重み転送
SGLangのRLワークロード向けに、従来のNCCLブロードキャスト方式を補完するRDMAベースのポイントツーポイント重み更新メカニズムを導入。1TパラメータのKimi-K2モデルの重み転送時間を53秒から7.2秒へと7倍高速化した。
DeepSeek-V4：初日で推論と強化学習をサポート
DeepSeek-V4はリリース初日に推論と強化学習のトレーニングをサポートし、SGLangとMilesが初のオープンソース技術スタックとしてこのモデルを支援しています。特に混合稀疏注意力アーキテクチャ、流形制約ハイパーコネクション（mHC
HiSparse：階層化メモリシステムによるスパースアテンションの加速
自己注意機構の計算およびメモリのコストが大規模言語モデル（LLMs）の拡張の主要なボトルネックとなっている中で、HiSparseは階層的なメモリシステムを用いてこの制約を克服し、スパースアテンションのスループットを向上させる。
SGLangがNVIDIA GTC 2026で輝いた瞬間
SGLangチームがNVIDIA GTC 2026に参加し、パネルディスカッション、Happy Hour、200人規模のMeetup、ハンズオントレーニングラボなど5つのイベントを3日間で開催。LLMエコシステムの中心で大きな成果を収めた。
SGLangにおけるElastic EP：DeepSeek MoEデプロイメントの部分故障耐性
SGLangがElastic EPを統合し、大規模MoEモデルの推論における部分故障耐性を実現。従来の2-3分のダウンタイムを10秒以下に短縮し、性能を損なうことなく信頼性を大幅に向上させた。
ROCmがMilesをサポート：AMD GPU上での大規模RL後学習
MilesはオープンソースのRL（強化学習）フレームワークで、AMD GPUのROCm環境での大規模な言語・マルチモーダルモデルの後学習を可能にします。
SGLang が NVIDIA Nemotron 3 Super に Day-0 対応、効率的なマルチエージェントシステムを実現
SGLangがNVIDIA Nemotron 3 Superに即日対応し、1M tokenのコンテキスト長と高効率なMoEアーキテクチャを活用したマルチエージェントシステムの構築を可能にしました。
SGLang、NVIDIA GB300 NVL72で25倍の推論性能向上を実現
SGLangチームとNVIDIAの協力により、GB300 NVL72上でDeepSeek R1の推論性能がH200比で最大25倍向上し、大規模MoEモデルの展開コストを大幅に削減しました。
GB300 NVL72のDeepSeek展開：長いコンテキスト推論の大幅な向上
GB300 NVL72は、長いコンテキストでのLLM推論における最強のプラットフォームです。新たな技術的進展により、DeepSeek R1-NVFP4の128K/8K ISL/OSL長いコンテキストサービスが最適化され、GB200と比較して
SGLang-Diffusion：プロダクショングレードのビデオ生成のための高度な最適化
SGLang-Diffusionがプロダクショングレードのビデオ生成フレームワークとして、トークンレベルのシーケンス分割、分散VAE、融合カーネルなどの深層最適化を実装し、大規模な拡散モデルのデプロイメントを実現。
計算能力の解放：AMD MI300X上でのQwen3とQwen3-VLの究極レイテンシ最適化
Qwen C端インフラエンジニアリングチームとAMD AIフレームワークチームが協力し、AMD Instinct™ MI300X GPUプラットフォーム上でQwen3-235BとQwen3-VL-235Bの極限レイテンシ最適化を実施し、TT