レビュー HPC-Ops × SGLang：テンセント混元の高性能Attention、Router GEMM、MoEカーネル テンセントが開発したLLM推論向けオープンソース演算子ライブラリ「HPC-Ops」がSGLangのメインブランチに統合され、H20 GPU上でHy3モデルのTPOTを最大48.8%削減するなど、MoEモデルの推論性能を大幅に向上させることが LMSYS AI推理优化 MoE算子 SGLang集成 6時間前 39
