MLPerf Endpoints：AI推論システム購入者にとって重要なベンチマークとなる理由

MLPerf Endpointsが測定するもの

MLPerf® Endpointsは、生産環境における推論システムの実際の提供能力を評価することに特化しています。単一のチューニング構成を単独でテストするのではなく、モデル・ハードウェア・サービングソフトウェア・ネットワークを一つの統合されたエンドポイントとして捉え、実際の負荷のもとで測定します。これは、顧客が日常的に推論サービスを利用する方法を忠実に再現したものです。

購入者が得られるもの

単一データポイントではなく、最先端を網羅した完全な動作結果。各Endpointsの結果は、並列処理レベル全体にわたるパレートフロンティアとして示されます。これにより、購入者は低並列数のインタラクティブなアプリケーションから高並列数のサービスシナリオまで、さまざまな負荷条件におけるスループットとレスポンス性能を明確に把握できます。

意思決定に直結する指標。5つの主要指標として、並列数（システムが同時に処理するクエリ数）・先頭トークン遅延P90・システムスループット（tokens/s）・ワットあたりシステムスループット（TCOの代理指標）・ユーザーインタラクション性（tokens/s/user）が含まれます。

市場の動向に同期した結果。Endpointsはローリング提出方式を採用しており、数週間ごとに結果を公開します。これにより、ベンチマークが最新のモデルやソフトウェアに常に追従することが保証されます。

信頼性の高いピアレビュープロセス。結果は「検証済み」「暫定」「未検証」の3つのステータスに分類されており、購入者はこれをもとに信頼性を評価できます。

Endpointsと他のベンチマークとの違い

従来のMLPerf Inferenceが固定されたシナリオと事前設定されたポイントで単一推論をテストするのに対し、Endpointsは実際に販売・使用されているエンドポイントを測定します。全範囲の並列数、および単回と複数回のエージェンティックタスクを対象とし、完全なフロンティア曲線の表示・完全なサービングスタックの組み込み・スループットとユーザー体験のトレードオフの明示・ローリング更新への対応といった特徴を備えています。

Endpointsの結果の読み方

購入者は次の4ステップで活用できます。ワークロードに対応する並列数の領域を特定する。SLA（TTFT P90およびインタラクション性）を設定する。SLAを満たすシステム間でスループットを比較する。プロビジョニング電力で正規化比較を行う。

MLCommonsがEndpointsへ移行した理由

この進化は、企業におけるAIの調達・展開・利用形態の現実的な変化を反映しています。現代の購入者が求めるのは裸のハードウェアではなく、完全に統合されたサービングスタックです。Endpointsは、動的かつ複数ターンにわたる実際の生産負荷における真の運用パフォーマンスをより正確に予測することができます。