MLPerf Client v2.0リリース：画像生成とエージェントAIベンチマークを新たに追加

MLCommonsは先日、PC向けAI性能に関する業界標準ベンチマークの最新版「MLPerf Client v2.0」のリリースを発表した。このツールは、ノートPC・デスクトップ・ワークステーションがAIワークロードをローカルで実行する性能を評価するために使用される。

新規追加ワークロードのハイライト

今回のアップデートでは、AIハードウェアとソフトウェアの急速な発展に対応するため、複数の新機能が導入された。

画像生成カテゴリ

新たに画像生成カテゴリが追加され、Flux.2 klein 4Bモデルを実験的テストとして採用することで、生成的視覚能力の評価機能が大幅に向上した。

エージェントAIカテゴリ

新たにエージェントAIカテゴリが追加され、ソフトウェアエンジニアリング（SWE）エージェントおよびデータアナリストエージェントのシナリオによるテストを実施する。エンドツーエンドの性能を報告し、LLM推論とツール実行時間を分解して計測する。

LLM推論テストのアップグレード

必須ワークロードがPhi 3.5 mini instructからPhi 4 Mini Instructへアップグレードされ、同時にQwen 3 8Bが実験的テストとして導入された。基本タスクには、入力プロンプト約4Kトークンの中間要約タスクが新たに追加された。

MLPerf Client v2.0は、AMD・Intel・Microsoft・NVIDIAおよび複数のPC OEMメーカーの協力のもと完成し、GitHubでオープンソース公開されており、開発者は無償でダウンロードおよびコードへの貢献が可能だ。