HPC-Ops × SGLang：テンセント混元の高性能Attention、Router GEMM、MoEカーネル

HPC-Ops × SGLang：テンセント混元の高性能Attention、Router GEMM、MoEカーネル

HPC-Ops（https://github.com/Tencent/hpc-ops）はLLM推論に特化して設計されたオープンソース演算子ライブラリであり、テンセント混元の大規模本番サービスに既に導入されている。その中核演算子であるDynamic AttentionとFused MoEは混元のオンライン推論において重要な役割を担っており、Hy3モデルのTPOTを最大48.8%削減することができる。現在、HPC-OpsのAttention、Router GEMM、MoE演算子はSGLangのメインブランチに統合されており、本番環境で検証済みのこれらの最適化をオープンソースサービスコミュニティに提供している。

本記事では、HPC-Ops三大演算子の設計思想とSGLangとの統合方法を紹介するとともに、H20上での演算子ベンチマークおよびサービス結果を示す。また、H200での検証データも含まれている。これらの最適化はNVIDIA Hopper GPU（SM90）を対象としており、Qwen3、Hy3、LongCatのワークロードで動作が確認されている。

主なハイライト

• Attention：H20上において、HPC-Opsの動的スケジューリングは静的split-KV方式と比べて2.95倍高速であり、FlashInferとFlashAttentionの最良の方式と比較して平均2.25倍高速である。H200上では、FP8 KV cacheを組み合わせたHy3-FP8パスの統合により、出力スループットが3.7〜5.9%向上する。
• Router GEMM：H20上において、HPC-OpsはFP32 cuBLASと比べて1.30〜3.22倍高速であり、最大絶対誤差はわずか0.00177と、TF32 cuBLASの0.06464を大幅に下回る。H200 LongCat-Flash検証では、4.31倍の速度向上を達成している。
• MoE：H20上において、HPC-OpsはTP8/EP1構成で平均1.08倍、TP1/EP8構成で1.21倍の高速化を実現する。Qwen3/H200テストでは、Tritonと比べて最大4.21倍高速となる。
• エンドツーエンドサービス：8×H20 + Hy3-FP8構成でHPC-Ops AttentionとMoEを同時に有効化した場合、バッチサイズ4〜64においてTPOTが15.1〜48.8%低下し、バッチサイズ4〜16においてTTFTが3.3〜6.0%低下する。

MoEモデルサービスにおける三大ホットパス

本番グレードのMoEサービスは通常、混合長Attention、精度に敏感なルーティング、および負荷分布が不均一なスパース専門家実行を含む。HPC-Opsは各フェーズに専用演算子を提供している：負荷を考慮したAttentionスケジューリング、精度を考慮したRouter GEMM、およびgatherオーバーヘッドを削減するFused MoEパイプラインである。

Attention：混合長decodeの負荷分散

decodeフェーズでは、各新規トークンが完全なKV cacheを参照する必要があり、処理量はシーケンス長に比例して線形に増大する。静的なsplit-KVスケジューリングは混合長バッチへの対応が難しいが、HPC-Opsはパーシステントカーネルを採用し、実際のKV長に基づいてタスクを動的に割り当てることで、ほぼ完全な負荷分散を実現する。

Router GEMM：精度とスループットのバランス

ルーターの精度はMoEモデルの品質に直接影響する。HPC-OpsはFP32の重みを2つのBF16成分に分解し、2回のBF16 GEMMを通じて下位の仮数精度を回復させると同時に、Tensor Coreによる高速化を活用することで、TF32 cuBLASを大幅に下回る誤差を実現する。

MoE：小規模専門家GEMM周辺のオーバーヘッド削減

decode時には各専門家が処理するトークン数が少なく、従来のMoEパスでは大量のgather、カーネル起動、HBMの往復オーバーヘッドが発生する。HPC-Opsはfusedパイプラインによってこれらのオーバーヘッドを大幅に削減する。

エンドツーエンドの性能検証

8×H20上でHPC-Ops AttentionとMoEを有効化した後、Hy3-FP8モデルのTPOTは大幅に低下し、LongCat-Flash-Lite-FP8モデルの入力スループットは5.5〜6.1%向上した。