H200でGLM-5.3-Flashを高速化：高スループット分離型サービスの実践
Ant International AI InfraチームがSGLangを用いてH200上でGLM-5.3-Flashの分離型推論サービスを構築し、混合キャッシュ再利用・高速投機的実行・カーネルチューニング・FP8通信によって大幅なスループ
Ant International AI InfraチームがSGLangを用いてH200上でGLM-5.3-Flashの分離型推論サービスを構築し、混合キャッシュ再利用・高速投機的実行・カーネルチューニング・FP8通信によって大幅なスループ
SGLangのSSD Expert Pack機能を活用し、未使用のエキスパートの重みをNVMe SSD上に保持することで、DeepSeek-V4-FlashやKimi-K3といった大規模MoEモデルをコンシューマー向けGPUで動作させること