MLPerf Endpoints v0.7：AI推論ベンチマークの基盤リリース

MLPerfは2018年の開始以来、AIシステム性能を測る業界標準として機能してきた。この間、MLPerfは大規模言語モデルの推論における電力効率が100倍以上、学習速度が50倍以上向上したことを記録している。過去8年間でAI業界は急速に成熟し、AIサービスは世界中の企業および一般消費者に日常的に利用されるようになった。

MLPerf Endpoints導入の背景

MLPerfはもともと、少数のクラウドサービス事業者やシステム構築者がAIハードウェアの調達判断を行う際の支援を目的としていた。現在では、推論算出リソースの調達はあらゆる規模の企業にとって重要なビジネス上の意思決定となっており、新興クラウド、クラウドサービス事業者、マネージドサービスを横断した評価が求められている。こうした購買者には、信頼性が高く、比較可能で、独立した性能ベンチマークが必要であり、さらにそのベンチマークは毎週のように新モデルがリリースされる業界のペースに動的に追随しなければならない。

4つのコア原則

MLPerf Endpointsはこうした多様かつ複雑なニーズに応えるべく設計されており、購買者志向の4つの原則に基づいて開発されている。

• Current（最新性）：結果は市場と同期している必要があり、購買者が新しいハードウェアやモデルを評価に組み込むために数か月待つ必要はない。
• Comprehensive（網羅性）：多数の競合する推論プロバイダー、システム、ワークロードをカバーする。
• Comparable（比較可能性）：ベンダーをまたいだ公平な比較を提供し、コストまたは消費電力による正規化をサポートする。
• Commentary（洞察性）：可視化、データフィルタリング、分析を通じて意思決定に役立つ付加的なコンテキストを提供する。

v0.7の主な特徴

MLPerf Endpoints v0.7は基盤バージョンとして、Coreweave、Google、Intel、KRAI、NVIDIAの初期結果を公開しており、3つのベンチマークにわたって複数桁に及ぶ性能差をカバーしている。本バージョンは自動化された提出パイプライン、継続的なレビューツール、動的な結果の可視化をサポートしており、mlcommons.endpoints.comで確認できる。ルールは購買者中心の方向へと進化している。

今後の計画と参加方法

今年後半にはv1.0がリリースされる予定で、より多くの購買者志向のルール、正規化処理、拡張されたベンチマーク（エージェントワークロードを含む）が導入され、より広範なメンバーに対してローリング提出プロセスが開放される。MLCommonsは、AMD、Argonne National Laboratory、Broadcomなど30社以上の支援者に謝意を示している。システムまたはサービスプロバイダーは今すぐルール策定への参加と結果の提出が可能であり、企業購買者はメールで要望をフィードバックできる。