AIが各産業での導入を加速させる中、企業や政府の調達担当者が注目する問題は「チップがどれほど速いか」だけではなくなっている。実際に展開されたAIサービスがどのような性能を提供できるのか、特定のワークロードにおけるコストはいくらか、稼働中のエネルギー消費量はどれほどかを知りたいと考えるようになっている。2018年以来、MLPerfはAIシステム性能測定の重要な標準であり続けてきたが、今やAI購入者が直面するより複雑な問いに答えるべく、さらに拡張を進めている。
MLCommonsは今回、二つの重要な進展を発表した。第一に、MLPerfが欧州連合AI Gigafactories入札において訓練・推論性能を測定する基準として採用されたこと、第二に、MLPerf Endpoints v1.0の提出受付が正式に開始されたことである。これはMLPerfが従来のベンチマークテストから、実際のAIサービスの性能・コスト・エネルギー消費の標準化された評価へと歩みを進めていることを示している。
この二つの更新は同一のトレンドを指し示している。産業界、政府機関、AI調達担当者が、オープンで標準化された、ピアレビューを経た測定結果をAI採用・調達意思決定の重要な根拠として位置づけつつあるということだ。
MLPerfが欧州連合AI Gigafactories入札の性能評価基準に
今年7月、欧州連合はAI Gigafactories入札計画を開始した。最大7か所の大規模AI計算施設の建設を目標としており、欧州連合および加盟国から最大100億ユーロの資金支援を受け、300億ユーロ超の総投資を呼び込むことが見込まれている。
今回の入札はEuroHPC Joint Undertakingと各国の契約主管機関が共同で調達を行い、入札締め切りは2026年11月12日である。
入札文書にはMLPerfが入札者の技術性能を測定する基準として明記されており、提案内容はMLPerf Training v5.1およびMLPerf Inference v5.1のベンチマークに基づいて評価される。
訓練・推論の両テストにおいて、入札文書はMLPerfの標準ワークロードに含まれる複数のモデルを列挙している。
- 訓練側の大規模モデルとしてFlux.1およびLlama；
- 推論側モデルとしてLlama 3.1 405B、DeepSeek R1およびSDXL 1.0。
欧州連合が入札者に求める性能情報は、MLPerfの標準指標に直接基づいており、訓練シナリオにおけるtime-to-train、推論シナリオにおけるtime to first tokenおよびtime per output tokenが含まれる。さらに入札者はアクセラレーター利用率などの詳細も追加提供する必要がある。
注目すべき点として、入札者は第一フェーズの納入能力に関するテスト結果だけでなく、第二フェーズの拡張計画に対応する性能結果も報告しなければならない。これは欧州連合が現在の納入可能能力だけでなく、将来の拡張後における検証可能な性能にも関心を持っていることを意味する。
これほど大規模な公的資金が関わるAIインフラ調達においては、調達チームが比較可能で信頼できる性能の主張を必要とする。MLCommonsは、オープンでピアレビューを経た結果こそがこのような意思決定を支える鍵だと考えている。
「MLPerfはバイヤーがAI能力を展開する際により賢明な意思決定を行えるよう支援することを目的としています。欧州連合がAIリーダーシップを構築し、市民と企業の未来を切り拓く取り組みに、私たちの成果が貢献できることを光栄に思います。」——David Kanter、MLPerf責任者
MLPerf Endpoints v1.0の提出受付開始
もう一つの重要な進展は、MLPerf Endpoints v1.0の提出受付の正式開始である。従来のベンチマークテストとは異なり、MLPerf Endpointsが測定するのはAIが実際に使用される状態だ。アプリケーションがリアルタイムのAPI呼び出しでモデルにアクセスし、テストシステムは本質的にEndpointsクライアントが標準インターフェースを通じてアクセスするURLである。
この設計により、調達担当者はハードウェアベンダー、ハイパースケーラー、ネオクラウド、マネージドAPIサービスプロバイダーを含む異なる種類のサービスプロバイダーを同一の基準で評価できる。ベアメタル、マネージドクラウドサービス、コンテナ化されたソフトウェアスタックのいずれであっても、同一のフレームワークで比較することが可能だ。
単一のピーク値から完全な性能プロファイルへ
MLPerf Endpointsは単一のピーク性能値を提示するだけでなく、一連の負荷条件下でシステムの挙動をスキャンし、完全な性能プロファイルを出力する。結果は複数の次元をカバーする。
- concurrency：並列処理能力；
- interactivity：ユーザーあたり毎秒トークン数で測定したインタラクティブ性；
- system throughput：システム全体のスループット；
- 第90パーセンタイルにおけるtime to first token、すなわちTTFT P90。
これらの指標は、購入者が検証済みの動作点を自身のアプリケーションシナリオやサービスレベル目標と照合するのに役立つ。たとえばチャットボットにとってはTTFT P90がユーザーの知覚遅延に直接影響する可能性があり、一方バッチ生成タスクではシステムスループットとコスト構造がより重要になる場合がある。
必須設定消費電力測定の初導入
MLPerfシリーズにおいて、Endpoints 1.0は初めてmandatory provisioned power measurement（必須の設定消費電力測定）を導入した。これはMLCommonsがエネルギー効率問題を重視していることを示すとともに、購入者が異なるソリューションのエネルギー効率とコストプロファイルをより明確に比較できるようにするものだ。
各テスト結果はLoadStair visualizerにおいてpareto frontierの形式で表示され、異なる負荷下でシステムがいつ安定を保てるか、そしていつ性能が急落するかを示す。これは実際のオンラインサービスの安全な動作範囲を判断する上で特に重要である。
v1.0が生成AIおよびAgentic Codingワークロードをカバー
MLPerf Endpoints v1.0は今年7月にリリースされたv0.7ベース版を基盤として構築されており、DeepSeek-R1、GPT-OSS 120B、Llamaシリーズモデルを含む複数の生成AIワークロードをカバーしている。
さらにv1.0ではagentic codingワークロードが新たに追加され、使用するモデルにはDeepSeek v4 Pro、Kimi K3、Qwen 3.6が含まれる。これはAI評価が純粋なテキスト生成から、より複雑なエージェント型プログラミングやツール使用のシナリオへと拡張していることを反映している。
ローリング提出メカニズム：新チップや最適化に固定サイクルを待つ必要なし
MLPerf Endpointsは現在rolling submissionsをサポートしている。これにより、メンバー組織は新しいチップや新たなソフトウェア最適化をリリースした後、固定ラウンドを待つことなく即座にピアレビューを経た結果を提出・公開できる。
ただし、すべての結果は結果の信頼性と比較可能性を保証するため、MLPerfのピアレビューおよび監査プロセスを経なければならない。MLCommonsは、Endpoints v1.0の最初の結果が11月に公開される見込みだとしている。
提出を準備しているメンバーに向けて、MLCommonsはmlcommons.org/benchmarks/endpointsに提出ガイドラインとルールを公開している。まだメンバーでない機関も、MLCommonsを通じて関連活動に参加できる。
まとめ
欧州連合AI GigafactoriesがMLPerfを入札評価基準として採用したことから、MLPerf Endpoints v1.0が実際のAPIサービスに向けた提出受付を開始したことまで、AIインフラの評価は実際の展開性能、エネルギー消費、コスト、監査可能な結果をより重視する新たな段階に入りつつある。AI購入者にとって、このようなオープンなベンチマークは調達の不確実性を低減する可能性があり、サプライヤーにとっても自社の技術力を証明する重要な共通言語となるだろう。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接