SGLangがMuse GlimmerのDay-0サポートを実現、ローカルAgentic推論を最適化
SGLangは30Bパラメータのマルチモーダルモデル「Muse Glimmer」のDay-0サポートを実装し、NVIDIA GeForce RTX 5090上でNVFP4とDFlash技術を活用して最大1452 tok/sの総出力スループッ
SGLangは30Bパラメータのマルチモーダルモデル「Muse Glimmer」のDay-0サポートを実装し、NVIDIA GeForce RTX 5090上でNVFP4とDFlash技術を活用して最大1452 tok/sの総出力スループッ
SGLang Team と Thinking Machines Lab は、975Bパラメータのマルチモーダルモデル Inkling を SGLang と Miles で初日からサポートすると発表した。推論サービス、カーネル最適化、投機的デ