H200でGLM-5.3-Flashを高速化：高スループット分離型サービスの実践
Ant International AI InfraチームがSGLangを用いてH200上でGLM-5.3-Flashの分離型推論サービスを構築し、混合キャッシュ再利用・高速投機的実行・カーネルチューニング・FP8通信によって大幅なスループ
Ant International AI InfraチームがSGLangを用いてH200上でGLM-5.3-Flashの分離型推論サービスを構築し、混合キャッシュ再利用・高速投機的実行・カーネルチューニング・FP8通信によって大幅なスループ
SGLangとMLインフラがメガカーネル（megakernel）へと移行する中、CUDA C++とPTXを用いてBlackwell GPU上のシングルリクエストデコード速度を517 tok/sから1109 tok/sへと向上させた取り組みを