ダブルブラインド設計：信頼できるAI評価を構築するための核心的保障

AIを導入するすべての企業は、自社のユースケースとデータにおいてシステムが信頼性・安全性を持って動作するかどうかを確認したいと考えている。しかし、単純に接続してテストを実行するだけでは不十分だ。

プライバシーと整合性の二重課題

銀行などの導入者は機密データを保護する必要があり、最先端のラボはモデルの重みを厳重に守っている。さらに重要なのは、ベンチマーク提供者がモデルによるベンチマーク汚染を防ぐための技術的・法的措置を同時に備えなければならない点だ。評価内容を単に秘密にするだけでは不十分であり、ベンチマーク管理の適切な手順が必要となる。

初のダブルブラインド評価の概念実証

最高水準のベンチマーク整合性を示すため、MLCommonsはGoogle DeepMind、OpenMined、AVERIと協力し、初の閉源モデルダブルブラインド評価を実施した。この手法は暗号技術を基盤とし、評価コンポーネントを利用可能な状態に保ちながらベンチマークを汚染しないことを保証する。

今回の検証にはAILuminate™安全ベンチマークの保留サブセットが使用され、Google DeepMindのモデルがこれまでその評価セットに接触したことがないことが確保された。AVERIはOpenMinedのセキュアコンピューティングを活用し、コンテナ化環境内でプロンプトを実行しながら、モデルの重みと評価の両方に対して証明可能な保護を提供した。

各関係者の利益を構造的に保護

今回の概念実証において、AILuminateはテストデータを開発者に開示することなく、またモデルの重みをMLCommonsやAVERIに開示することなく、AIシステムの信頼性の特性評価を完了した。

業界標準への前進

MLCommonsはすでに同様の手法を最も機密性の高い健康情報学分野に適用しており、MedPerfプロジェクトを通じて信頼実行環境（TEE）を構築し、情報を漏洩させることなく複数者の暗号化データを用いた共同評価を実現している。

将来的には、AI導入者が特定の展開環境に向けた信頼性の高い評価を迅速に実施できるようになる。モデル、データ、テストの機密性保護と、独立機関が提供する新たなプロンプトにより、AIの採用・展開・信頼性ある運用に向けた最も明確な意思決定根拠が提供されるだろう。