MLPerfが欧州連合AIスーパーファクトリー入札の評価基準に採用、Endpoints v1.0の提出受付が開始
MLCommonsは、MLPerfが欧州連合のAI Gigafactories入札における訓練・推論性能の評価基準として採用されたことと、MLPerf Endpoints v1.0の提出受付正式開始を発表した。これにより、AIインフラの評価
MLCommonsは、MLPerfが欧州連合のAI Gigafactories入札における訓練・推論性能の評価基準として採用されたことと、MLPerf Endpoints v1.0の提出受付正式開始を発表した。これにより、AIインフラの評価
MLCommonsは過去8年間のAI業界の成長と変革を経て、ミッションを「AIの測定を標準化し、的確な意思決定を可能にする」と正式に刷新した。工業グレードのベンチマークテストの開発・運用を核心事業として位置付け、組織体制の改革と新分野への拡
MLPerf Endpointsは、AIシステムを導入する際に購入者が参考にすべき推論性能ベンチマークであり、実際の生産環境における総合的なパフォーマンスを評価する。従来のMLPerf Inferenceとは異なり、完全なサービング・スタッ
MLCommonsがNSF TIPの350万ドル助成を受け、エージェントAIシステムの実効率を測定する新ベンチマーク「MLPerf Agents」を開発する。既存ベンチマークでは捉えきれないマルチステップの自律型AIワークフローを包括的に評
MLPerf Trainingの推薦システムベンチマークが従来のDLRMv2からDLRMv4へと刷新され、HSTUアーキテクチャとYambda-5Bデータセットを採用することで、シーケンシャルなユーザー行動モデリングと約560GBの大規模E
AIガバナンスの価値は、リスク管理をビジネス優先事項・企業価値観・監査可能なエビデンスと結びつける点にある。MLCommonsは、AIリスクが航空・金融などと同様に識別・価格付け・管理できると主張している。
MLCommons AI Risk & Reliability(AIRR)ワーキンググループが、AIエージェント特有のプライバシーリスクを整理した分類法v0.1を公開した。チャットボットをはるかに上回るエージェントのデータ保護リスクを5つの
MLCommonsの金融サービスワーキンググループが開発した「Agent Reliability Profile」フレームワークが、C:>DIRグローバル「Agentic Regulator」ハッカソンの決勝に進出した。AIエージェントの権
MLCommonsがMLPerf Inference v6.1ベンチマークの最新結果を発表。参加機関数が過去最高を記録し、2つの新テストを導入するとともに、1年前比で最大5.7倍の性能向上を達成した。
MLPerf Inference v6.1は提出者数が過去最高を記録し、業界がエージェント型・エンドツーエンドベンチマークへの移行を進めていることを明確に示している。新型ハードウェアの大量登場とともに、推論性能の大幅な向上が報告された。
MLCommonsが欧州連合のHorizon Europe計画が資金提供するAIRISプロジェクトのコンソーシアムメンバーに正式加入した。同プロジェクトは21機関が参加し、4年間で1,690万ユーロの助成を受ける。
MLPerf Trainingは2026年10月のv6.1提出ラウンドより、LLM後学習(ポストトレーニング)ベンチマークを新たに追加する。同ベンチマークはRLVR手法を採用し、強化学習によるコーディングエージェントのソフトウェアエンジニア
MLCommonsが業界標準のMLPerf Storage v3.0ベンチマークスイートの結果を発表した。機械学習ワークロードにおけるストレージシステムの性能を、アーキテクチャ中立かつ再現可能な方法で評価するものである。
MLCommonsのMLPerf Inferenceワーキンググループが、初のエンドツーエンド検索拡張生成(RAG)推論ベンチマークを公開した。複数コンポーネントで構成されるRAGパイプライン全体を計測対象とし、2つのワークロードを含む。
MLCommonsはGoogle DeepMind、OpenMined、AVERIと協力し、暗号技術を用いた初の閉源モデルダブルブラインド評価の概念実証を実施した。この手法により、モデル権重と評価データの双方を保護しながら、信頼性の高いAI
AIベンチマークのスコアが重要な意思決定に使われる際、そのスコアが本当に信頼できるかどうかを判断するための7つの核心的な問いを解説する。データ汚染や不正行為、評価の陳腐化など、ベンチマークに潜む落とし穴を具体的な事例とともに示す。
MLCommonsがPC向けAI性能ベンチマークの最新版「MLPerf Client v2.0」をリリースした。画像生成カテゴリとエージェントAIカテゴリが新たに追加され、AIハードウェアおよびソフトウェアの急速な発展に対応している。
MLCommonsは、企業向けAI推論サービスの性能評価を目的とした新ベンチマーク「MLPerf Endpoints v0.7」を公開した。Coreweave、Google、Intel、KRAI、NVIDIAの初期結果が掲載され、今後のv1
MLPerf Tinyは、マイクロコントローラーなどの超低消費電力デバイス上での機械学習性能を公平に比較するためのベンチマークスイートであり、精度・レイテンシ・推論あたりエネルギー消費量を統一された条件で評価する。TinyMLの普及に伴い、
MLPerf Inferenceベンチマークスイートが、LLMの実運用における最も急成長する利用形態であるマルチターンAgentic Inferenceに対応するため、新たなベンチマークを追加した。コーディングエージェントとワークフローエー