SGLang と Miles が Inkling を初日からサポート：975Bのマルチモーダル最先端モデルが公開

SGLang Team と Thinking Machines Lab は協業を発表し、次世代の最先端マルチモーダルモデル Inkling に対して、SGLang と Miles で Day-0 サポートを提供する。今回のサポートは推論サービスだけでなく、Inkling の新アーキテクチャに特化したカーネル最適化、投機的デコード、分離型デプロイ、LoRA サービス、さらに Miles におけるテキストおよび視覚言語タスク向けの全パラメータ強化学習訓練と LoRA 強化学習訓練も含む。

同時に、チームは Modal とも協力し、Inkling 向けに専用の DFlash draft model を訓練した。これは speculative decoding の効率を高めるために用いられる。SGLang の起動例は公式 Cookbook を、Miles の起動方法はその Documentation と miles#1683 PR を参照できる。

主なハイライト

• Inkling は 975B パラメータのマルチモーダルモデルで、最大コンテキストウィンドウは 1M tokens に達する。
• モデルアーキテクチャには ShortConv、相対位置バイアス付き attention、そして shared-expert sink を備えた新型 MoE が導入されている。
• SGLang は Nvidia Blackwell GPU 上で、最高 71.7k tok/s の入力スループットと、171.0 tok/s の単一ユーザー decode 速度を実現した。
• SGLang は speculative decoding、PD disaggregation、NVIDIA GPU 上の bf16 + NVFP4 checkpoint、AMD GPU 上の bf16 checkpoint、multi-LoRA serving、HiCache をサポートする。
• Miles はカスタム Megatron backend をベースに Inkling を実装し、DP/PP/TP/SP/EP/CP の並列組み合わせをサポートする。テキストおよび視覚言語タスクで full-parameter RL と LoRA RL を実行できる。

Inkling のモデルアーキテクチャ：標準 Decoder-only Transformer に対する3つの重要な改造

Inkling は単にパラメータ規模を拡大したものではなく、標準的な decoder-only Transformer をベースに、ShortConv、相対位置埋め込み付き attention、MoE における shared-expert sink という3つの構造的変化を加えている。

図に示すように、Inkling の attention と MoE サブモジュールはいずれも、residual connection の前に ShortConv を追加している。Attention 部分ではさらに、Q/K normalization の前に K と V に対して ShortConv を行い、RelLogitsProj を通じて、学習された query-conditioned relative-position bias を attention logits に直接加える。これにより従来の位置埋め込みを置き換えている。

ShortConv：4カ所に現れる短距離因果畳み込み

ShortConv は、token 次元に沿って実行されるチャネルごとの短い因果畳み込みである。位置 t、チャネル c の hidden state に対して、現在の token と、その前の W-1 個の位置にある同一チャネルの情報を読み取る。現在の Inkling 設定では W = 4 である。

各 decoder layer において、ShortConv は4つの位置に現れる。

• K stream ShortConv：K projection の後、Q/K normalization の前。
• V stream ShortConv：V projection の後。
• Attention-output ShortConv：attention 出力の後。
• MLP/MoE-output ShortConv：MLP または MoE 出力の後。

相対位置バイアス付き Attention

Inkling の各 attention layer は、softmax の前に、学習された head ごとの relative-position bias を logits に加える。各 query token は q、k、v に加えて相対位置特徴 r も保持し、さらに学習行列 P によって、causal distance bucket でインデックス付けされた relative logits に投影される。

query i、key j、head h について、attention logit は scaled dot product に、相対距離 i-j によって選択される相対位置バイアスを加えたものとして理解できる。rel_extent を超える距離は、full attention では追加 bias に寄与せず、未来位置は引き続き causal mask によって遮蔽される。

attention の配置において、Inkling は sliding-window attention と full attention を混合して積み重ねる。デフォルトのパターンでは、6層ごとに前の5層が sliding-window を使用し、6層目が full attention を使用する。すなわち layer_id mod 6 = 5 である。この設計により、モデルは局所層では低コストを維持しつつ、周期的にグローバルなコンテキスト情報を導入できる。full attention 層は、長さに応じて変化する log-scaling factor もサポートし、コンテキストが伸びる際に logits の振幅を調整するために用いられる。

Shared Expert Sink を備えた MoE

Inkling のフィードフォワードモジュールは、sigmoid-gated top-k MoE を採用している。router がスコアを付け、top-k の routed experts を選択し、選択された expert の重みを再正規化する。違いは、2つの shared experts の扱い方にある。

従来の shared-expert MoE では、多くの場合、router の外側に常時オンの dense path を追加し、shared experts は routed experts と確率質量を競合しない。これに対し Inkling は、routed experts と shared experts をまとめてスコアリングする。top-k は引き続き routed pool からのみ選択されるが、選択後に routed scores と shared-expert scores を連結し、まとめて正規化する。そのため、shared experts と routed experts は同一の重み予算を共有し、最終的にそれぞれの出力を共通の枠組みでスケーリングして合計する。

SGLang の最適化：Inkling の新構造に合わせて実行経路を再設計

Inkling の3つのアーキテクチャ変更はいずれも、標準的な decoder-only serving システムにおける一般的な前提を崩す。モデルを SGLang 上で効率的に動作させるため、チームは ShortConv、relative attention、MoE shared-expert sink それぞれに対して、新しい kernel と実行戦略を設計した。

ShortConv 最適化：融合、グラフキャプチャ、シャーディング

K/V stream ShortConv は、Q/K normalization と KV-cache 書き込みの前に位置する。SGLang は K/V convolution、Q/K RMSNorm、KV-cache write を1つの attention-prologue kernel に融合し、複数回の kernel launch と中間書き戻しを回避している。

Attention-output と MLP-output ShortConv は residual stream 上にあり、ちょうど tensor-parallel all-reduce のクリティカルパス上に位置する。そのため SGLang は一連のカスタム all-reduce kernels を構築し、PyTorch の multimem_all_reduce_ と比べて最大 2.1× 高速化した。ShortConv は all-reduce の直後に続くため、SGLang はさらにそれを all-reduce kernel に直接融合した。decode 段階では、RMSNorm と residual add もあわせて折り込んでいる。融合後は、未融合の処理経路と比べて速度が 2.08–3.60× 向上し、入力長の違いに応じてエンドツーエンドのスループットが 5–8% 向上した。

prefill 段階では、一般的な Breakable CUDA Graph と Piecewise CUDA Graph によって CPU launch overhead を削減できるが、リアルタイムのリクエストメタデータを必要とする演算子に遭遇すると、依然として eager execution にフォールバックする必要がある。Inkling では各層に4つの ShortConv 位置があり、attention 自体も加わるため、大量の Python/Triton 呼び出しスタックが残る。約66層分が蓄積すると、明らかな CUDA bubbles、すなわち GPU が CPU のスケジューリングを待つアイドル時間が発生する。

このため、SGLang は Full CUDA Graph prefill を導入した。ShortConv を含む forward 全体を1つのグラフにキャプチャし、full_prefill_max_req によってリクエストスロットを制限する。再生時には buffer の内容だけを更新し、Python 呼び出しを再ディスパッチしない。大きな形状では Full CUDA Graph と BCG の性能は近いが、launch-bound なシナリオでは、prefill スループットが BCG と比べて約 14–17% 向上する。

さらに、SGLang は Sharded ShortConv も提供する。attention-output と MLP-output ShortConv について、シャーディングしない場合、各 tensor-parallel rank が完全な hidden width を重複して計算し、キャッシュする。シャーディング戦略では、まず partial sums を reduce-scatter し、各 rank が hidden-dim shard だけを保持するようにする。その後、ローカルでシャード化された cache に対して ShortConv を実行し、最後に all-gather で完全な幅に戻す。この戦略は GPU メモリを解放できるが、追加の通信が発生するため、メモリ圧力が大きいデプロイでの利用に適している。

Relative Attention と FA4 経路

Inkling の relative-position bias は pre-softmax attention logits に直接加えられるため、serving runtime は attention kernel 内で追加の query-conditioned 相対位置項をサポートする必要がある。SGLang はこのために専用の attention 実行経路を適合させ、Blackwell GPU 上では低精度 checkpoint と高性能 attention kernel を組み合わせて最適化している。

その中で、FA4 は MXFP8 + sheared-bias 構成において warp-specialized schedule を採用し、相対位置 bias、低精度計算、高スループット実行を両立している。この経路は、Inkling が長コンテキストおよび高並行シナリオでサービス効率を維持するうえで重要な構成要素である。

Shared-expert Fusion：MoE の追加オーバーヘッドを削減

Inkling の shared-expert sink は、routed experts と shared experts を同一の重み予算内で正規化する必要があり、一般的な「独立した shared path」の MoE 実装とは異なる。そのため SGLang は shared-expert 計算に fusion を施し、もともと expert-batched 寄りだった実装を、より線形化された GEMM レイアウトに改造することで、スケジューリングとメモリアクセスのオーバーヘッドを削減した。

この線形化された GEMM layout により、shared experts の計算は routed experts の実行経路と連携しやすくなり、大規模な tensor parallel および expert parallel 設定でも安定したスループットを得るのに適している。

Inkling の1回の Decode Round

decode 段階では、Inkling の実行フローは KV ShortConv、Q/K normalization、relative attention、MoE routing、shared-expert sink、そして residual stream 上の ShortConv を直列につなぐ。SGLang の中核的な目標は、もともと断片化しやすいこれらの演算子を、できるだけ少数の効率的な kernels に融合し、CPU スケジューリングと GPU kernel launch の限界コストを削減することである。

これらの最適化により、Inkling は SGLang において、単に「動作する」Day-0 互換レベルにとどまらず、エンジニアリングされた本番デプロイに必要な低レイテンシと高スループットに近い性能を得られる。

Serving 性能：Blackwell 上で最高 71.7k tok/s の入力スループット

Nvidia Blackwell GPU 上で、SGLang による Inkling の推論サービス性能は、最高 71.7k tok/s の input throughput、および 171.0 tok/s の per-user decode speed に達した。チームはさらに、TP=4 と TP=8 の throughput-interactivity Pareto 曲線を比較し、異なる batch size における ITL 性能も集計した。

全体として、TP 設定はスループットとインタラクティブ性のトレードオフに影響する。より高い並列度は通常、モデルのサービス能力拡大に役立つが、実際のオンラインシナリオでより優れた Pareto 点を得るには、通信、KV-cache、演算子融合戦略との組み合わせが必要である。

DFlash 投機的デコードと機能カバレッジ

SGLang は Inkling に対して、speculative decoding、PD disaggregation、NVIDIA GPU 上の bf16 + NVFP4 checkpoints、AMD GPU 上の bf16 checkpoint、multi-LoRA serving、HiCache を含む、比較的完全な serving 機能サポートを提供している。

speculative decoding について、SGLang は Inkling に特化して適合された DFlash をサポートし、その draft model は Modal によって訓練された。この設計では、大規模モデルが出力の一貫性を維持する前提で、draft model が候補 token を事前生成し、その後メインモデルが検証することで、実際の decode 効率を高める。

Miles：訓練と RL に向けた Inkling サポート

推論サービスに加えて、Miles もカスタム Megatron backend の中で Inkling を実装しており、Data Parallelism（DP）、Pipeline Parallelism（PP）、Tensor Parallelism（TP）、Sequence Parallelism（SP）、Expert Parallelism（EP）、Context Parallelism（CP） をサポートする。これにより Miles は、テキストタスクと視覚言語タスクにおける Inkling の full-parameter RL と LoRA RL を担うことができる。

大規模 RL においては、train–inference consistency がとりわけ重要である。Miles はカスタム kernels、routing replay、runtime 間のパラメータ同期を通じて、訓練側の rollout、推論側の実行、パラメータ状態の一貫性をできるだけ確保し、MoE routing、低精度 kernel、並列分割によって生じる偏差を回避する。

full-parameter RL の過程では、train-rollout KL 曲線を用いて、訓練ポリシーと rollout 挙動の間のずれを観察する。安定した KL 制御は、モデルが強化学習において探索と分布安定性のバランスを取れることを意味する。

Raw reward 曲線は、全パラメータ RL 訓練中の報酬信号の変化を示している。結果は、Miles が Inkling 上で継続的に報酬改善を促進でき、より複雑な推論およびマルチモーダルタスクの最適化に向けた基盤を提供することを示している。

AIME25 評価は、full-parameter RL が数学および推論能力に与える影響をさらに反映している。KL、reward、benchmark 結果を組み合わせると、チームは Miles が text-only および multimodal reasoning タスクの双方で安定した向上をもたらせると考えている。

まとめ

Inkling の Day-0 サポートは、単にモデルを SGLang と Miles に接続するだけではなく、アーキテクチャ適合、kernel fusion、CUDA Graph、MoE 実行、投機的デコード、分散訓練、RL 一貫性を網羅する完全なエンジニアリング実装である。975B パラメータ、1M コンテキスト、マルチモーダル能力を併せ持つ最先端モデルにとって、この種のシステムレベル最適化は、モデルが研究用 checkpoint から、利用可能な高性能サービスおよび訓練プラットフォームへ移行できるかどうかを直接左右する。