MLPerfが欧州連合AIスーパーファクトリー入札の評価基準に採用、Endpoints v1.0の提出受付が開始
MLCommonsは、MLPerfが欧州連合のAI Gigafactories入札における訓練・推論性能の評価基準として採用されたことと、MLPerf Endpoints v1.0の提出受付正式開始を発表した。これにより、AIインフラの評価
AI基准测试 に関するニュース
MLCommonsがミッションを刷新：AI測定の標準化により的確な意思決定を支援
MLCommonsは過去8年間のAI業界の成長と変革を経て、ミッションを「AIの測定を標準化し、的確な意思決定を可能にする」と正式に刷新した。工業グレードのベンチマークテストの開発・運用を核心事業として位置付け、組織体制の改革と新分野への拡
DLRMv4：MLPerfの推薦システム訓練ベンチマークがシーケンス化時代へ
MLPerf Trainingの推薦システムベンチマークが従来のDLRMv2からDLRMv4へと刷新され、HSTUアーキテクチャとYambda-5Bデータセットを採用することで、シーケンシャルなユーザー行動モデリングと約560GBの大規模E
MLPerf Inference v6.1ベンチマーク、参加機関数が過去最高を更新
MLCommonsがMLPerf Inference v6.1ベンチマークの最新結果を発表。参加機関数が過去最高を記録し、2つの新テストを導入するとともに、1年前比で最大5.7倍の性能向上を達成した。
MLPerf Inference v6.1：業界のエンジニアリング投資の新動向
MLPerf Inference v6.1は提出者数が過去最高を記録し、業界がエージェント型・エンドツーエンドベンチマークへの移行を進めていることを明確に示している。新型ハードウェアの大量登場とともに、推論性能の大幅な向上が報告された。
MLCommonsがEUのAIRISプロジェクトに参加――生物医学AIベンチマークテストを推進
MLCommonsが欧州連合のHorizon Europe計画が資金提供するAIRISプロジェクトのコンソーシアムメンバーに正式加入した。同プロジェクトは21機関が参加し、4年間で1,690万ユーロの助成を受ける。
a16zが出資するVals：AIベンチマークの「黄金標準」を定めるのは誰か
a16zから出資を受けたスタートアップVals AIが、AIモデルの評価を「中立・再現可能・信頼性の高い公共インフラ」として提供しようとしている。ベンチマークの信頼性が問われる時代に、評価そのものをビジネスとして成立させる試みだ。
AIベンチマークテストの信頼性を見極める方法
AIベンチマークのスコアが重要な意思決定に使われる際、そのスコアが本当に信頼できるかどうかを判断するための7つの核心的な問いを解説する。データ汚染や不正行為、評価の陳腐化など、ベンチマークに潜む落とし穴を具体的な事例とともに示す。
MLPerf Client v2.0リリース：画像生成とエージェントAIベンチマークを新たに追加
MLCommonsがPC向けAI性能ベンチマークの最新版「MLPerf Client v2.0」をリリースした。画像生成カテゴリとエージェントAIカテゴリが新たに追加され、AIハードウェアおよびソフトウェアの急速な発展に対応している。
MLPerf Endpoints v0.7：AI推論ベンチマークの基盤リリース
MLCommonsは、企業向けAI推論サービスの性能評価を目的とした新ベンチマーク「MLPerf Endpoints v0.7」を公開した。Coreweave、Google、Intel、KRAI、NVIDIAの初期結果が掲載され、今後のv1
MLPerf Tiny：超低消費電力AIの重要なベンチマーク
MLPerf Tinyは、マイクロコントローラーなどの超低消費電力デバイス上での機械学習性能を公平に比較するためのベンチマークスイートであり、精度・レイテンシ・推論あたりエネルギー消費量を統一された条件で評価する。TinyMLの普及に伴い、
Chakraの成熟へ：AI システムベンチマークテスト標準化エコシステム
MLCommonsのChakraワーキンググループがMLSys 2026産業フォーラムで画期的な論文を発表し、AI システムのベンチマークテストを標準化するオープンな実行トレースエコシステムの構築に向けた取り組みを示した。40社以上のメンバ
GPT-OSS 20B：MLPerf Training v6.0 におけるスパース MoE 事前学習の新ベンチマーク
MLPerf Training Working Group は、MoE アーキテクチャを評価する新たな事前学習ベンチマーク GPT-OSS 20B を導入。単一の 8-GPU ノードでも実行可能で、統計分散を抑える工夫により公平性と再現性を
MLCommons、MLPerf Client v1.6を発表：性能最適化とユーザーエクスペリエンスの向上
MLCommonsは、個人用コンピュータのAI性能を評価するための最新バージョンであるMLPerf Client v1.6を発表しました。このバージョンでは、基準テストの体験を最適化し、重要なソフトウェアコンポーネントを更新し、利用性と性能
ダウンロードコラム：ギグワーカーが自宅で人型ロボットを訓練、より優れたAI基準テスト
グローバルなギグワーカーが遠隔操作で人型ロボットの訓練データ生成に従事する新たな労働形態と、AI評価基準の革新的アップグレードについて探る。
MLCommonsがMLPerf Inference v6.0ベンチマークテストの最新結果を発表
MLCommons®が業界標準のMLPerf® Inference v6.0ベンチマークテスト結果を発表し、現在のAI展開の実際のシナリオをカバーする複数の重要なアップデートを導入しました。
AIベンチマークテストが失効、代替案は何が必要か？
従来のAIベンチマークテストは飽和状態に達し、データ汚染やタスクの孤立性などの問題により、AIの真の能力を評価できなくなっている。システムレベル、マルチモーダル、安全性・アライメントを重視した新たな評価基準への転換が急務である。
MLPerf Client v1.0発表：初のクライアントAI推論ベンチマークテスト結果
MLCommonsがMLPerf Client v1.0ベンチマークテストの初回結果を発表。これはクライアントおよびエッジデバイス向けに設計された初のAI推論性能ベンチマークで、モバイルデバイス上の生成AIと従来型AIタスクの性能を評価する