Google DeepMindがダブルブラインド評価パイロットを公開――暗号技術によるブラックボックスでモデルと問題集を隔離

Google DeepMindは2026年8月27日、世界初のフロンティアAIモデル向けダブルブラインド評価パイロットレポートを発表した。レポートによると、外部機関がプライベートな問題集を提供し、GoogleがGemini Flash Liteのモデルウェイトを提供する形で、双方のデータをGoogle Cloud Confidential SpaceとNVIDIA H100に基づく信頼実行環境（TEE）に封入した。

事実の整理

今回のパイロットには、シンガポールAI安全研究院、MLCommons、OpenMined、AVERIが参加した。評価機関はGemini Flash Liteのモデルウェイトを参照できず、GoogleはGemini Flash Liteは外部機関のテスト問題を参照できない。両者は暗号技術による「ブラックボックス」を介して隔離され、モデルが事前に問題に接触することによるベンチマーク汚染を防止する。

仕組みの解説

従来のハイリスク外部評価には常にトレードオフが存在した。評価側がテストプロンプトを提出すれば、モデル提供者が事前に問題を入手するリスクがあり、モデル提供者がウェイトを提出すれば、知的財産が漏洩するリスクがある。ダブルブラインド評価はConfidential Spaceを通じた暗号技術的検証により、双方のデータをプライベートに保つ。評価プロセスは信頼実行環境内で実行され、出力結果から元の入力が漏洩しない仕組みとなっている。

この手法により、外部評価を暗号技術的な「ブラックボックス」内に限定し、モデルがテスト問題を後から性能最適化に利用することを防ぐ。

産業への影響

AIモデルの能力向上に伴い、モデルが事前にテスト問題を参照するとスコアが人為的に引き上げられ、ベンチマークの信頼性が損なわれる。ダブルブラインド評価は、政策立案者・研究者・企業に対してより信頼性の高い能力・安全性評価を提供するものであり、特にサイバーセキュリティや政府関連の機密性の高いテストに適している。また、ゼロログプロトコルや契約上の保護措置を超えた技術的な脆弱性を低減する効果も持つ。

戦略的評価

【分析】このパイロットが業界に採用されれば、既存のリーダーボード方法論を変革し、評価の独立性を維持するために暗号技術的隔離方式への移行を促す動きが広がる可能性がある。ただし、実際の普及は他のモデル提供者が同様の環境を開放する意向を持つかどうか、および実行環境が計算効率に与える影響に左右される。

今回の協力体制は、Googleが外部評価において技術的な保護措置を導入し、モデルの保護と評価の透明性のバランスを図る姿勢を示している。今後、同様のフレームワークがより多くのフロンティアモデル評価シナリオへと拡張される可能性がある。