SGLang SSDエキスパートパック：コンシューマー向けハードウェアでDeepSeek-V4-FlashとKimi-K3を実行
SGLangのSSD Expert Pack機能を活用し、未使用のエキスパートの重みをNVMe SSD上に保持することで、DeepSeek-V4-FlashやKimi-K3といった大規模MoEモデルをコンシューマー向けGPUで動作させること
SGLangのSSD Expert Pack機能を活用し、未使用のエキスパートの重みをNVMe SSD上に保持することで、DeepSeek-V4-FlashやKimi-K3といった大規模MoEモデルをコンシューマー向けGPUで動作させること
SGLang RLチームがINT4量子化認識トレーニング（QAT）のエンドツーエンドソリューションを実現し、約1TB規模のモデルを単一H200 GPUでのデプロイを可能にしました。