Cerebrasが兆パラメータ規模デプロイの技術詳細を公開：59枚のウェーハで3兆パラメータモデルを稼働、毎秒1,000トークン超を達成

2026年10月22日、CerebrasはSarah Chieng氏が執筆した技術記事「Cerebras上での兆パラメータフロンティアモデルのデプロイ方法」を公式ブログに掲載した。記事ではMoonshot AIのオープンソースモデルKimi K3を事例として、約3兆パラメータのモデルを59枚のWSE-3Tウェーハに分散実行し、毎秒1,000〜2,000トークン超の推論速度を達成する手法を詳細に公開している。

1枚のWSE-3Tウェーハが持つオンチップSRAMはわずか44 GBであるのに対し、3兆パラメータモデルの重みには数TBの容量が必要となる。Cerebrasはモデルを分割して複数のウェーハに分散させ、パイプライン方式で協調推論を行うことでこの課題を解決している。

Kimi K3は約3兆パラメータ（複数のメディア報道によれば正確には2.8兆）を持ち、計93層——線形アテンション層69層、高密度アテンション層24層——で構成される。4ビット量化で保存した場合、全重みは約1.5 TBとなり、1層あたり平均約16 GBとなる。

高密度アテンション層はアクティブなリクエストに対してKVキャッシュを保持する必要があり、メモリ使用量は並行数に応じて線形に増加する。Cerebrasの方式では1枚のウェーハに高密度層を1層ずつ割り当て、24層に対して24枚のウェーハを使用する。一方、線形アテンション層は固定サイズの状態のみを維持するためKVキャッシュが不要であり、1枚のウェーハに2層を収容でき、69層に対して35枚のウェーハが必要となる。合計59枚のWSE-3Tウェーハとなる。

59枚のウェーハはパイプライン実行アーキテクチャを採用している。コンパイラがモデルの各層を各ウェーハにマッピングし、ランタイムがトークンの転送経路を計画する。ウェーハ間では活性化値のみが転送され、重みは静止したまま保存される。隣接するウェーハ間はRDMAイーサネットで接続され、シングルホップ遅延は約2マイクロ秒である。

パイプラインアーキテクチャにより、複数のリクエストを異なる段階のウェーハ上で同時処理することが可能となる。重みは移動せず、活性化値は軽量に転送される。平均リクエストサイズ256kを前提とした場合、59枚ウェーハの構成で約600〜700件の並行リクエストをサポートできる。

従来のGPUクラスターが4,050億パラメータモデルを処理する際の一般的な速度は毎秒30〜80トークンであるのに対し、WSE-3はLlama 3.1 70Bモデルで毎秒約2,100トークンを達成し、H100 SXM5はFP8精度で約550トークン毎秒となる。ただし、並行ユーザー数が8を超えると、H100ベースのvLLMの連続バッチ処理はバッチ化によってWSE-3に追いつくかそれを上回ることがある。Cerebrasはシングルリクエストかつ低遅延のシナリオで顕著な優位性を持つ。

Kimi K3はTerminal-Bench 2.1で88.3%、BrowseCompで91.2%のスコアを記録した。前者はGPT-5.6 Solの88.8%にわずかに及ばないものの、後者はGPT-5.6 Solの90.4%を上回った。オープンソースモデルは一部のエージェントタスクベンチマークにおいて、トップクラスのクローズドソースモデルと同等の水準に達している。

エージェント型AIワークフローは遅延に対して高い感度を持ち、複数ステップのタスクではモデルの逐次呼び出しが数十回に及ぶことが多い。毎秒1,000〜2,000トークンの速度により、長いコンテキストを要するタスクの待機時間は分単位から秒単位へと短縮され、コード生成、自動化リサーチ、複雑なドキュメント処理において直接的な実用的意義を持つ。

GroqはLPUアーキテクチャで推論速度を強みとし、NVIDIAはGPUクラスターのソフトウェア最適化（vLLM、TensorRT-LLMなど）を継続的に推進している。Cerebrasが3兆パラメータモデルの完全な技術的手法を公開したことで、「大規模モデルの推論速度」という次元において新たな公開基準点が設けられた。

今後の注目点としては、Cerebrasが59枚ウェーハ構成を安定したAPIサービスや第三者向けホスティング推論エンドポイントとして商業化できるか、他のオープンソースモデルが同等のハードウェア構成で同様の速度を再現できるか、またWSE-3Tウェーハの供給量が大規模展開における実質的な制約となるかどうかが挙げられる。