MoE推理に関するニュース

SGLang SSDエキスパートパック：コンシューマー向けハードウェアでDeepSeek-V4-FlashとKimi-K3を実行

SGLangのSSD Expert Pack機能を活用し、未使用のエキスパートの重みをNVMe SSD上に保持することで、DeepSeek-V4-FlashやKimi-K3といった大規模MoEモデルをコンシューマー向けGPUで動作させること