MLPerf Training v6.0ベンチマーク結果発表：MoEスパース計算に焦点
MLCommonsがMLPerf Training v6.0ベンチマークの最新結果を発表した。今回はMixture-of-Expertsアーキテクチャを採用した2つの新ベンチマークが追加され、AIエコシステムの急速な変革を示している。
MoE に関するニュース
SGLangにおけるWaterfillとLPLBによるDeepEP MoE負荷分散の最適化
SGLangにおいて、MoEモデルのExpert Parallelism環境下でのトークンルーティング不均衡を解消するため、WaterfillとLPLBという2つのスケジューリング時負荷分散手法が導入された。2ノードHopper GPU上で
GPT-OSS 20B：MLPerf Training v6.0 におけるスパース MoE 事前学習の新ベンチマーク
MLPerf Training Working Group は、MoE アーキテクチャを評価する新たな事前学習ベンチマーク GPT-OSS 20B を導入。単一の 8-GPU ノードでも実行可能で、統計分散を抑える工夫により公平性と再現性を
SGLangにおけるElastic EP：DeepSeek MoEデプロイメントの部分故障耐性
SGLangがElastic EPを統合し、大規模MoEモデルの推論における部分故障耐性を実現。従来の2-3分のダウンタイムを10秒以下に短縮し、性能を損なうことなく信頼性を大幅に向上させた。