SGLangがNVIDIA GTC 2026で輝いた瞬間
SGLangチームがNVIDIA GTC 2026に参加し、パネルディスカッション、Happy Hour、200人規模のMeetup、ハンズオントレーニングラボなど5つのイベントを3日間で開催。LLMエコシステムの中心で大きな成果を収めた。
LLM推理 に関するニュース
Groq LPUがLLM推理速度記録を更新：毎秒500トークンでGPUを大幅に上回る
米国スタートアップGroqが独自開発したLPU（Language Processing Unit）が、大規模言語モデル（LLM）の推理タスクにおいて毎秒500トークンという新記録を達成し、主流のGPUソリューションを大幅に上回る性能を示した
AutoRoundとSGLangが連携：効率的な量子化モデル推論の新時代
SGLangとAutoRoundが正式に連携し、低ビット量子化による効率的なLLM推論をサポート。開発者はAutoRoundの符号勾配最適化技術でモデルを量子化し、SGLangの効率的なランタイムで直接デプロイできるようになりました。
Mini-SGLang：軽量かつ高効率なLLM推論エンジンの全解析
Mini-SGLangは、わずか5000行のPythonコードで最先端の性能を実現する軽量なLLM推論フレームワークで、教育用途と研究プロトタイピングの両方に最適化されています。
SpecBundleとSpecForge v0.2：本番環境対応の推測デコーディングモデルとフレームワークが重大リリース
SpecForgeチームが複数の業界パートナーと協力し、大規模データセットで訓練された本番環境対応のEAGLE-3モデルチェックポイント集「SpecBundle（Phase 1）」と、全面的に再構築されたSpecForge v0.2を発表。