ATXベンチマーク専門家パネルの深層解析
MLCommonsが2025年6月に開催したATXベンチマーク専門家パネルでは、LMSYS OrgをはじめとするAI業界のリーダーが集結し、AIエージェント評価の最前線について議論した。このパネルは、ChatGPT時代以降のAIが生成モデル
MLCommons に関するニュース
2025 MLC 新星ランキング発表
MLCommons組織が2025 MLC Rising Starsランキングを発表し、MLPerf Inference v5.0ベンチマークテストに初めて参加したシステムを表彰しました。これらのシステムはMLCフレームワークを採用し、様々な
Aresベンチマーク正式リリース
LMSYS OrgとMLCommonsが協力し、長いコンテキストとマルチエージェント推論に特化したAI業界初のオープンソース標準化フレームワーク「Ares」ベンチマークを正式リリースしました。
Storage 2チェックポイント機構詳解
MLCommonsのStorage 2ベンチマークは、AI大規模訓練におけるチェックポイント機能の標準化評価を提供し、モデル保存・復元性能を最適化します。
MLCommons Whisper推論ベンチマーク v5.1 リリース
MLCommonsが2025年9月にOpenAI Whisperの音声認識モデル推論性能を評価する最新標準「Whisper Inference v5.1」を公開し、業界向けに公平で比較可能な性能データを提供。
MLCommons 小型LLM推論ベンチマーク5.1リリース
MLCommons組織が小型言語モデル（1-3Bパラメータ）に特化した最新の推論ベンチマーク「Small LLM Inference 5.1」を発表し、実際の推論シナリオにおけるSLMの性能評価を可能にした。
Croissant MCP：MLCommons の新世代モデルメタデータ標準
MLCommons が AI モデルカード向けに設計された Croissant メタデータフォーマットの大幅アップグレード版「Croissant MCP」を正式リリースし、現在のモデルドキュメントの断片化問題の解決を目指す。
AILuminate脱獄ベンチマークV05リリース：AIモデルセキュリティランキングが大幅に変動
MLCommonsとLMSYS Orgが共同開発したAILuminate Jailbreak V05ベンチマークが発表され、大規模言語モデルの脱獄耐性評価で新たな基準を確立した。Claude 3.5 Sonnetが1485 Eloで首位を獲
Flux.1 学習完全解析：高効率画像生成モデルの誕生
Flux.1はBlack Forest Labsが開発したオープンソースのテキスト画像生成モデルで、本レポートはデータ準備から展開最適化までの学習プロセスの詳細を明らかにしています。
Llama 3.1 8Bの訓練：MLCommonsベンチマーク詳解
LMSYS OrgとMLCommonsが協力して、Llama 3.1 8Bモデルの訓練ベンチマークレポートを発表し、データ処理からモデル収束までの全プロセスを詳細に開示しました。
ISO-AUS：MLCommonsが新世代AI推論ベンチマークを発表
MLCommonsとLMSYS Orgが共同で、隔離推論シナリオ向けに設計された革新的なAIモデル評価フレームワーク「ISO-AUS」ベンチマークテストを発表した。
MedPerf、WebUI機能を追加しプライバシー保護ベンチマークテストの体験を向上
MLCommonsは、オープンソースのプライバシー保護機械学習ベンチマークプラットフォーム「MedPerf」にWebUI機能を正式に追加したと発表しました。この更新により、開発者は複雑な環境設定なしにブラウザから直接モデル評価とベンチマーク