Cerebrasが兆パラメータ規模デプロイの技術詳細を公開：59枚のウェーハで3兆パラメータモデルを稼働、毎秒1,000トークン超を達成
CerebrasはKimi K3モデルを事例に、59枚のWSE-3Tウェーハ上に約3兆パラメータモデルを分散展開し、毎秒1,000〜2,000トークン超の推論速度を実現する技術詳細を公式ブログで公開した。パイプライン実行アーキテクチャにより
大模型部署 に関するニュース
ワークステーション1枚のGPUで753Bパラメータモデルを動作——FreeTokenがローカル推論のパラメータ上限を突破
カリフォルニア大学バークレー校とテキサス大学オースティン校の研究者が開発したFreeTokenは、単一ワークステーションGPUで7,530億パラメータのGLM-5.2を動作させることを実現し、個人マシン上でのフロンティアモデルのローカル推論
単一H200での1TBモデルデプロイ：INT4 QAT RLエンドツーエンド実践
SGLang RLチームがINT4量子化認識トレーニング（QAT）のエンドツーエンドソリューションを実現し、約1TB規模のモデルを単一H200 GPUでのデプロイを可能にしました。