SGLangがNVIDIA GTC 2026で輝いた瞬間
SGLangチームがNVIDIA GTC 2026に参加し、パネルディスカッション、Happy Hour、200人規模のMeetup、ハンズオントレーニングラボなど5つのイベントを3日間で開催。LLMエコシステムの中心で大きな成果を収めた。
SGLangチームがNVIDIA GTC 2026に参加し、パネルディスカッション、Happy Hour、200人規模のMeetup、ハンズオントレーニングラボなど5つのイベントを3日間で開催。LLMエコシステムの中心で大きな成果を収めた。
SGLangがElastic EPを統合し、大規模MoEモデルの推論における部分故障耐性を実現。従来の2-3分のダウンタイムを10秒以下に短縮し、性能を損なうことなく信頼性を大幅に向上させた。
SGLangがNVIDIA Nemotron 3 Superに即日対応し、1M tokenのコンテキスト長と高効率なMoEアーキテクチャを活用したマルチエージェントシステムの構築を可能にしました。
SGLangチームとNVIDIAの協力により、GB300 NVL72上でDeepSeek R1の推論性能がH200比で最大25倍向上し、大規模MoEモデルの展開コストを大幅に削減しました。
GB300 NVL72は、長いコンテキストでのLLM推論における最強のプラットフォームです。新たな技術的進展により、DeepSeek R1-NVFP4の128K/8K ISL/OSL長いコンテキストサービスが最適化され、GB200と比較して
Qwen C端インフラエンジニアリングチームとAMD AIフレームワークチームが協力し、AMD Instinct™ MI300X GPUプラットフォーム上でQwen3-235BとQwen3-VL-235Bの極限レイテンシ最適化を実施し、TT
LMSYS OrgがAAAI 2025大会でChatbot Arenaの最新ベンチマーク結果を発表し、グローバルAIチャットボットランキングを更新すると共に、開発者に貴重なモデル最適化の洞察を提供した。
MLCommonsがAutoML分野の権威あるベンチマークテスト「MLPerf Auto v0.5」の最新結果を発表し、大規模言語モデル(LLM)の自動化調整においてLMSYS Orgがトップの成績を収めた。
LMSYS Orgの最新報告によると、DeepSeek Inference 5.1がMLCommons 2025年9月の推論ベンチマークで傑出した性能を示し、オープンソース推論エンジンの新たなマイルストーンを達成した。
MLCommonsとLMSYS Orgが共同で、隔離推論シナリオ向けに設計された革新的なAIモデル評価フレームワーク「ISO-AUS」ベンチマークテストを発表した。