MLCommonsがミッションを刷新：AI測定の標準化により的確な意思決定を支援

過去8年間、AI業界とMLCommonsはともに大きな成長と変革を経験してきた。これはすべてのメンバーの支援によるものである。

ミッションの刷新：AI測定の標準化

本日、MLCommonsはミッションを正式に刷新し、核心となる重点事項を明確にした：Standardize AI measurement and enable informed decisions（AI測定を標準化し、的確な意思決定を可能にする）。

測定は、AIの巨大な可能性を責任ある形で解放するための礎石である。AIシステムはまさに究極のブラックボックスであり、数十億のパラメータに依存して複雑な挙動を生成する。現時点では、そのメカニズムに関する説明は依然として曖昧かつ不十分であり、システムの複雑性は増し続けている。AIのトレーニングと運用にはコストがかかりエネルギー消費も膨大であるため、より優れた測定によってシステムの挙動と運用コストを実証的に把握することが可能になる。

測定の対象と価値

AIのハードウェア、ソフトウェア、またはデータの価値に影響を与えるあらゆる特性——速度、消費電力、信頼性、品質——を測定対象としている。これにより、現行のAIシステムに関する的確な意思決定、コストと効果のトレードオフ、イノベーションの方向付け、そしてリスク管理（セーフガードや保険など）が支援される。この活動は、学術研究者、ハードウェア・ソフトウェアベンダー、デプロイヤー、エンドユーザー、さらには政策立案者にも恩恵をもたらす。

私たちがこれを行う目的は、AI市場のリスクを低減し、その成長を促進することにある。

工業グレードのベンチマークテストの構築と運用

MLCommonsは標準化された測定、すなわち工業グレードのベンチマークテストの開発と運用に特化している。これらのテストは、詳細なプロトコルとテストツール、保存済みデータセット、評価モデルなどの成果物と組み合わせて構成される。AIテストの複雑性と主観性ゆえに、論文レベルの標準を複数の実装で再現するだけでは、比較可能な測定結果を得ることは難しい。成果物は過学習を防ぐために技術的・法的に保護される必要があり、測定は技術の進化に合わせて更新される必要があることから、信頼性が高く持続的に運営できる組織が不可欠である。

私たちの活動には、ベンチマークの定義・構築・運用・検証・説明・進化・連携が含まれる：

• Defining（定義）：測定対象と指標を明確にし、透明性のあるコミュニティプロセスを通じて厳格なプロトコルを策定する。
• Building（構築）：実際のユースケースを厳格なテストシナリオへと転換し、AIの進歩に合わせて評価を維持・更新する。
• Operating（運用）：Candelaなどのインフラを活用し、高い完全性を備えたサービスを提供する。
• Validating（検証）：サードパーティによる結果の確認を提供し、調達・保険・コンプライアンスを支援する。
• Explaining（説明）：ユーザーが結果を理解できるよう支援し、標準化団体と協力する。
• Evolving（進化）：技術の進歩を反映させるために継続的に改善する。
• Connecting（連携）：グローバルな標準・政策フレームワークと接続する。

組織の変革と今後の計画

MLCommonsは複数の変革を実施する予定である：ウェブサイトとリソースの最適化、プロダクトマーケティング思考の導入、パフォーマンスと信頼性のトレードオフへの対応、デプロイヤーの参加を促すための会費体系の見直し、医療や金融サービスなどの新領域への展開などが含まれる。

私たちはフィードバックを歓迎しており、AIデータサイエンスなどの分野の発展に合わせて進化し続ける。メンバーの皆様のご支援に感謝申し上げる。