NASSCOM が MLCommons 連盟に加盟、インドの AI ベンチマーク発展を推進
AI ベンチマークテストに取り組むグローバル非営利組織 MLCommons に、インド国家ソフトウェア・サービス企業協会（NASSCOM）が正式加盟し、メンバー数が 50 に到達した。
AAAI 2025：LMSYS OrgがChatbot Arenaの最新ベンチマークを発表
LMSYS OrgがAAAI 2025大会でChatbot Arenaの最新ベンチマーク結果を発表し、グローバルAIチャットボットランキングを更新すると共に、開発者に貴重なモデル最適化の洞察を提供した。
MLPerf Training v5.0ベンチマーク結果公開
MLCommonsがAIモデル訓練性能評価の最新マイルストーンとなるMLPerf Training v5.0ベンチマーク結果を発表し、大規模AI訓練タスクの性能・効率・拡張性を評価。
ATXベンチマーク専門家パネルの深層解析
MLCommonsが2025年6月に開催したATXベンチマーク専門家パネルでは、LMSYS OrgをはじめとするAI業界のリーダーが集結し、AIエージェント評価の最前線について議論した。このパネルは、ChatGPT時代以降のAIが生成モデルから知能エージェントへと飛躍する中、エージェントベンチマークの標準化を推進することを目的としている。
2025 MLC 新星ランキング発表
MLCommons組織が2025 MLC Rising Starsランキングを発表し、MLPerf Inference v5.0ベンチマークテストに初めて参加したシステムを表彰しました。これらのシステムはMLCフレームワークを採用し、様々なAI推論タスクで優れた性能を示しました。
Aresベンチマーク正式リリース
LMSYS OrgとMLCommonsが協力し、長いコンテキストとマルチエージェント推論に特化したAI業界初のオープンソース標準化フレームワーク「Ares」ベンチマークを正式リリースしました。
MLPerf Mobile Android v4.0ベンチマーク結果が重大発表
MLCommonsがMLPerf Mobile v4.0 for Androidの最新ベンチマーク結果を公開。7つのコアタスクでモバイルデバイスのAI性能を評価し、生成AIタスクを初めて導入。
MLPerf Client v1.0発表：初のクライアントAI推論ベンチマークテスト結果
MLCommonsがMLPerf Client v1.0ベンチマークテストの初回結果を発表。これはクライアントおよびエッジデバイス向けに設計された初のAI推論性能ベンチマークで、モバイルデバイス上の生成AIと従来型AIタスクの性能を評価する。
Storage 2チェックポイント機構詳解
MLCommonsのStorage 2ベンチマークは、AI大規模訓練におけるチェックポイント機能の標準化評価を提供し、モデル保存・復元性能を最適化します。
MLPerf Storage v2.0 ベンチマークテスト結果発表
MLCommonsがAIワークロード下でのストレージシステム性能を評価する標準化ベンチマークテストスイートMLPerf Storage v2.0の結果を発表し、NVIDIA DGX SuperPODとDDN EXAScalerの組み合わせが最高性能を達成した。
MLPerf Auto v0.5 ベンチマーク結果発表：LMSYS Org がトップに
MLCommonsがAutoML分野の権威あるベンチマークテスト「MLPerf Auto v0.5」の最新結果を発表し、大規模言語モデル（LLM）の自動化調整においてLMSYS Orgがトップの成績を収めた。
MLCommons Whisper推論ベンチマーク v5.1 リリース
MLCommonsが2025年9月にOpenAI Whisperの音声認識モデル推論性能を評価する最新標準「Whisper Inference v5.1」を公開し、業界向けに公平で比較可能な性能データを提供。
MLCommons 小型LLM推論ベンチマーク5.1リリース
MLCommons組織が小型言語モデル（1-3Bパラメータ）に特化した最新の推論ベンチマーク「Small LLM Inference 5.1」を発表し、実際の推論シナリオにおけるSLMの性能評価を可能にした。
DeepSeek Inference 5.1 ベンチマーク詳細分析
LMSYS Orgの最新報告によると、DeepSeek Inference 5.1がMLCommons 2025年9月の推論ベンチマークで傑出した性能を示し、オープンソース推論エンジンの新たなマイルストーンを達成した。
MLPerf Inference v5.1ベンチマークテスト結果が公開
MLCommonsがMLPerf Inference v5.1ベンチマークテスト結果を正式公開し、生成AIモデルの推論性能評価に焦点を当て、より挑戦的なワークロードを導入した。
MLPerf Tiny v1.3ベンチマークテスト結果が重要発表
MLCommons組織がエッジAI分野の重要なマイルストーンとなるMLPerf Tiny v1.3ベンチマークテスト結果を正式に発表し、リソース制限のある組み込みデバイスでのAI性能評価において大幅な進歩を示した。
MLPerf Tiny v1.3 技術詳解
MLPerf Tiny v1.3はMLCommonsが発表した最新のエッジAIベンチマークで、マイクロコントローラーや低消費電力エッジプロセッサー向けに新たな画像分類とビジュアルウェイクワードベンチマークを追加し、TinyMLモデルの標準化評価を推進している。
Croissant MCP：MLCommons の新世代モデルメタデータ標準
MLCommons が AI モデルカード向けに設計された Croissant メタデータフォーマットの大幅アップグレード版「Croissant MCP」を正式リリースし、現在のモデルドキュメントの断片化問題の解決を目指す。
AILuminate脱獄ベンチマークV05リリース：AIモデルセキュリティランキングが大幅に変動
MLCommonsとLMSYS Orgが共同開発したAILuminate Jailbreak V05ベンチマークが発表され、大規模言語モデルの脱獄耐性評価で新たな基準を確立した。Claude 3.5 Sonnetが1485 Eloで首位を獲得し、AIセキュリティ競争の激化を示している。
Flux.1 学習完全解析：高効率画像生成モデルの誕生
Flux.1はBlack Forest Labsが開発したオープンソースのテキスト画像生成モデルで、本レポートはデータ準備から展開最適化までの学習プロセスの詳細を明らかにしています。