MedPerfがApache Airflowを統合、連合臨床研究のデータ準備体験を向上
MLCommonsの医療ワーキンググループが、MedPerfにApache Airflowを統合し、連合臨床研究におけるデータ準備パイプラインの配布、オーケストレーション、監視を大幅に簡素化しました。
MLC に関するニュース
AI風险の新基準：AILuminate全球保障計画が信頼性を再定義
MLCommonsがAILuminate全球保障計画を発表し、AI システムの信頼性を検証するための構造化されたデータ駆動型評価メカニズムを確立。
MLCommonsが防御可能な脱獄ベンチマークテストの基礎を構築
MLCommonsは、大規模言語モデルの単一ターン脱獄攻撃に対する防御可能で再現可能な評価手法として、分類法に基づく新しいベンチマーク設計アプローチを発表した。
技術標準：AI大規模採用への架け橋
AI技術が企業サービスの汎用技術へと移行する中、信頼性の確保が重要な課題となっており、業界標準の策定と標準化された評価システムの構築が不可欠である。
Croissant 1.1 新機能：拡張可能でエージェント対応のML データセット標準
MLCommonsが機械学習データセット用メタデータフォーマットCroissant 1.1をリリース。AIエージェント時代に向け、機械操作可能な来歴追跡、語彙の相互運用性、自動ライセンス執行などの新機能を追加。
DLRMv3：MLPerf Inference生成的推薦ベンチマーク
DLRMv3は、MLPerf DLRM系列初のシーケンス推薦推論ベンチマークであり、HSTU アーキテクチャに基づく1TBモデルで、現代の推薦システムの計算パターンを反映している。
CKAN Croissant：MLCommons AIモデルベンチマークの新時代
MLCommonsとLMSYS OrgがAIモデル評価の新たなベンチマーク「CKAN Croissant」を発表し、Croissant v1.0フォーマットによるモデルメタデータの標準化と共有を実現した。
MLCommons、Ailuminate法語データセットを公開
MLCommonsがAiluminate French Datasetsを公開し、フランス語LLM評価の標準化ツールを提供。GPT-4oが翻訳精度92%でトップ、Llama 3.1 405Bが推論タスクで勝率78%を達成。
MLPerf Client v0.6ベンチマークテスト結果発表
MLCommonsがクライアント推論性能に特化した初の標準化ベンチマークスイート「MLPerf Client v0.6」の結果を発表し、スマートフォン、ノートPC、エッジデバイスなどのシナリオに対応。
NASSCOM が MLCommons 連盟に加盟、インドの AI ベンチマーク発展を推進
AI ベンチマークテストに取り組むグローバル非営利組織 MLCommons に、インド国家ソフトウェア・サービス企業協会（NASSCOM）が正式加盟し、メンバー数が 50 に到達した。
AAAI 2025：LMSYS OrgがChatbot Arenaの最新ベンチマークを発表
LMSYS OrgがAAAI 2025大会でChatbot Arenaの最新ベンチマーク結果を発表し、グローバルAIチャットボットランキングを更新すると共に、開発者に貴重なモデル最適化の洞察を提供した。
MLPerf Training v5.0ベンチマーク結果公開
MLCommonsがAIモデル訓練性能評価の最新マイルストーンとなるMLPerf Training v5.0ベンチマーク結果を発表し、大規模AI訓練タスクの性能・効率・拡張性を評価。
ATXベンチマーク専門家パネルの深層解析
MLCommonsが2025年6月に開催したATXベンチマーク専門家パネルでは、LMSYS OrgをはじめとするAI業界のリーダーが集結し、AIエージェント評価の最前線について議論した。このパネルは、ChatGPT時代以降のAIが生成モデル
2025 MLC 新星ランキング発表
MLCommons組織が2025 MLC Rising Starsランキングを発表し、MLPerf Inference v5.0ベンチマークテストに初めて参加したシステムを表彰しました。これらのシステムはMLCフレームワークを採用し、様々な
Aresベンチマーク正式リリース
LMSYS OrgとMLCommonsが協力し、長いコンテキストとマルチエージェント推論に特化したAI業界初のオープンソース標準化フレームワーク「Ares」ベンチマークを正式リリースしました。
MLPerf Mobile Android v4.0ベンチマーク結果が重大発表
MLCommonsがMLPerf Mobile v4.0 for Androidの最新ベンチマーク結果を公開。7つのコアタスクでモバイルデバイスのAI性能を評価し、生成AIタスクを初めて導入。
MLPerf Client v1.0発表：初のクライアントAI推論ベンチマークテスト結果
MLCommonsがMLPerf Client v1.0ベンチマークテストの初回結果を発表。これはクライアントおよびエッジデバイス向けに設計された初のAI推論性能ベンチマークで、モバイルデバイス上の生成AIと従来型AIタスクの性能を評価する
Storage 2チェックポイント機構詳解
MLCommonsのStorage 2ベンチマークは、AI大規模訓練におけるチェックポイント機能の標準化評価を提供し、モデル保存・復元性能を最適化します。
MLPerf Storage v2.0 ベンチマークテスト結果発表
MLCommonsがAIワークロード下でのストレージシステム性能を評価する標準化ベンチマークテストスイートMLPerf Storage v2.0の結果を発表し、NVIDIA DGX SuperPODとDDN EXAScalerの組み合わせが
MLPerf Auto v0.5 ベンチマーク結果発表：LMSYS Org がトップに
MLCommonsがAutoML分野の権威あるベンチマークテスト「MLPerf Auto v0.5」の最新結果を発表し、大規模言語モデル（LLM）の自動化調整においてLMSYS Orgがトップの成績を収めた。