MLCommonsがNSF助成を獲得、エージェントAIベンチマーク「MLPerf Agents」を開発へ

MLCommonsは、STRIDE Ventures AI Efficiency Challengeのベンチマークチームに選出された。このプロジェクトは米国国家科学財団の技術・イノベーション・パートナーシップ局（NSF TIP）が支援しており、350万ドル・2年間の助成を通じて、MLCommonsはMLPerf Agentsを開発する。これはエージェントAIシステムが実際の業務をこなす効率を測定するための全く新しいベンチマークである。

エージェントAIに新たなベンチマークが必要な理由

既存のベンチマークは主に1回の推論にかかる時間・コスト・エネルギー消費を測定するものだが、エージェントAIの実際の動作を十分に反映するには限界がある。エージェントシステムは多数回のインタラクション、ツール呼び出し、情報検索、コンテキストの拡張、障害回復、自己検証といったプロセスを経る必要があり、単一モデルがプロンプトに応答するのとは本質的に異なる。

MLPerfの既存推論ベンチマークは一部の領域でこうした複雑性を捉えているが、MLPerf Agentsはさらにエージェントフレームワーク、モデル選択、検索、ツール実行、オーケストレーション、状態管理、障害回復、検証を含む完全なワークフローへと拡張し、エンドツーエンドの効率を包括的に評価する。

MLPerf Agentsの4つの革新

• 効率と成功の連動評価：タスクを正常に完了した場合のみを対象にコスト・エネルギー消費・レイテンシ・スループットを計測し、検証方法はMLCommons AI Risk and Reliabilityワーキンググループの基準を参照する。
• フルスタック計測範囲：リソース計測はエージェント技術スタック全体をカバーし、非効率な箇所を正確に特定できる。
• アーキテクチャ横断での比較可能な結果：ワークロード・追跡ルール・検証基準を統一することで、購買者が完全なソリューションを横断的に比較できる。
• 信頼性の高い検証メカニズム：非公開の検証データセットにMLPerfのピアレビュー・監査プロセスを組み合わせることで、ベンチマーク不正リスクを低減する。

8年間のMLPerf実績を基盤に

MLPerf AgentsはMLPerf InferenceやMLPerf Powerなどの成熟したベンチマークを基盤とし、オープンな協働プロセスに従い、MLCommonsコミュニティが共同でワークロード・ルール・リファレンス実装を策定する。David KanterとVijay Janapa Reddiが主導し、Qualcomm、NVIDIA、Intelなど複数機関が参加・支援する。

AI Efficiency Challengeについて

本チャレンジはSTRIDE Venturesが運営し、米国国家科学財団とStart2 Groupが共同で展開する国家レベルのイノベーションプラットフォームである。詳細はstride-ventures.com/ai-efficiency-challengeを参照。