Qwen3.8-Flash-Next：SGLangによるDay-0サポートの実現

はじめに

本日、QwenチームはQwen3.8-Flash-Nextをオープンソースとして公開した。これはマルチモーダルMoEモデルであり、Qwen4アーキテクチャの早期プレビューでもある。Qwen4における本モデルの位置づけは、Qwen3.5におけるQwen3-Nextの位置づけに相当する。Qwen3.5からQwen3.8にかけて、いずれもGated DeltaNet + Gated Attentionのハイブリッド設計が採用されている。SGLangはQwen・NVIDIA・AMDの各チームと協力し、本モデルに対するDay-0サポートを提供している。

Qwen3.8-Flash-Nextはアーキテクチャ面で複数の強化が施されており、GDN + QSAハイブリッドアテンション、Gated Residual、およびN-gram Embeddingなどが含まれる。

モデルアーキテクチャ

本モデルのバックボーンは1250億パラメータで構成され、追加で510億パラメータのN-gram Embeddingを備え、1トークンあたり60億パラメータを活性化する。全48層（36層のGDN線形アテンション + 12層のQSAスパースアテンション）で構成され、MoE層は512専門家（エキスパート）とtop-10ルーティングを使用する。SGLangはN-gram Embeddingのホストメモリオフロード・非同期プリフェッチ、およびFlashInferによって最適化されたGated Residual演算子をサポートしている。

Qwen Sparse Attention：粗検索と精密アテンション

Qwen3.8-Flash-Nextは圧縮比4のQSAを採用している。各QSA層は、アテンション対象位置を選択する軽量インデクサーと、選択されたK/Vキャッシュを読み取るスパースGQAで構成される。インデクサーは圧縮ブロックにスコアリングを行い、上位512ブロックを保持することで、最終的なアテンション処理はおよそ2051トークン位置のみに限定され、長文コンテキストにおける計算量とメモリオーバーヘッドを大幅に削減する。

IndexShare MTPとHyperConnectionの最適化

IndexShare MTPはQSAのインデックス選択を再利用し、推測的デコード時のdraftインデクサー呼び出し回数をN回から1回に削減する。TP4 B200環境において、NVFP4量化チェックポイントとMTPを組み合わせることで、受理長3.3で540 tok/sを達成する。HyperConnectionはMix/Combine演算子により4分岐の残差ストリームを実現し、カーネルレベルで2.05倍の高速化を達成する。

完全な起動コマンドおよび設定ガイドはSGLang Cookbookを参照されたい。