AI信頼性マップ：ルールと環境

AIシステムが医療、銀行、エネルギーなどの分野で応用されるかどうかにかかわらず、その複雑なブラックボックスの特性は、まず期待される行動を明確にし、次にシステムの提供信頼性を評価することを要求します。信頼性を理解することで、リスク（例えば、生命安全を保障するために80%の信頼性が十分であるかどうか）を管理し、コスト（例えば、コスト削減に伴うカスタマーサービスのエラー率の許容範囲）を制御できます。

AIソフトウェア信頼性の測定は、MLCommons AIリスクと信頼性ワーキンググループの核心業務です。AI信頼性を高めることは、市場成長と社会保護において極めて重要です。我々は、業界内でAI信頼性を成功裏に高めるためには、体系的かつ周到な計画が必要であり、その計画を効果的に実施、繰り返し、維持する必要があると考えています。

長期的な計画と同様に、我々の出発点はマップを作成することです。このAI信頼性マップは、時間の経過とともに進化し、改善されていきます。

まず、AIシステムの行動信頼性の展開前テストに焦点を当てます。AIアプリケーションのライフサイクルでは、開発、展開、運用の各段階で信頼性に注意を払う必要があります：開発中のプロセス、展開中のテスト、および運用中のモニタリングです。我々は初めに展開のテストに注力します。なぜなら、それはAIシステムの行動、すなわちその応答や行動に最も具体的な変革の機会を提供するからです。ハードウェアと通常のソフトウェアの信頼性管理には既存の方法があります。

AI信頼性（AIR）の核心は、異なる環境下で常に行動ルールに従うことです。我々はAI信頼性マップを導入し、これらの問題を異なる環境下で常にルールを遵守するという基本概念と関連付けます：

上記のマトリックスの行は、システムが従うべきルールを示し、列はシステムがどのような環境下でこれらのルールを遵守する必要があるかを示します。通常の指示でも悪意ある行動（例えば、プロンプトインジェクションや誤情報）でも、機能性ルールに従う必要があります。同様に、通常の指示がシステムにプライバシールールを違反させる可能性があり、攻撃行動と同じくらい危険です。だからこそ、すべての環境で、すべてのルールに従う必要があります。通常の使用から悪意ある行動まで。

注目すべきは、AIの安全性は単独ではテストできないことです：ルール違反を試みるテストが必要であり、システムの行動はテストするルールによって著しく変わる可能性があるため、すべてのシステム行動においてテストが必要です。

このAI信頼性マップは我々が問題を定義するのに役立ちますが、行動を起こすにはより詳細が必要です。以下はルールと環境のカテゴリおよびサブカテゴリについての詳細情報です。これらのサブカテゴリは、商業システムの展開前テストにおける既知の顕著な問題を解決することを目的としています。マトリックス全体は、新たな問題やますます重要な問題に対処するために拡張可能です。

この拡張について注目すべき点：まず、機能性は規制と展開要件の遵守を含み、前者が常に後者に優先します。次に、データ保護は個人データのプライバシー期待および「離散情報管理」、つまり企業データと知的財産の適切な使用をカバーしています。第三に、我々のマップでは、先端安全がCBRNと攻撃的なネットワークをカバーしています。

色付きのブロックはAIテストの現状を示しています。黄色はほとんどの公共能力テストの範囲を示し、緑色と青色はMLCommons AILuminateの安全性と脱獄ベンチマークの範囲を示しています。

自然界面を持つ中級から上級のAIエージェントは、その目的に関係なく、理論上は全範囲で失敗する可能性があります。個人金融AIシステムは、誤った金融アドバイスを提供したり、ウイルスを設計したり、ハッカーが機密企業情報を取得したり、ユーザーを予想外の購入に誘ったりする可能性があります。これらのAIツールは、誤った金融アドバイスや予想外の購入など特定のリスク（垂直市場）と、ウイルスやハッキングなど一般的なリスクに直面します。我々の課題は、業界と分野として、進化し続ける展開テストアプローチを開発し、このマップをカバーすることです。

これは、MLCommons AIリスクと信頼性ワーキンググループの取り組みであり、業界、学界、政府が共同で、このようなフレームワークをAILuminateを含む実用的なベンチマークに転化します。MLCommonsは、AIシステムを構築する組織と展開、規制、影響を受ける組織を結びつけるオープンなエンジニアリングコンソーシアムとして、この作業を主導する独自の利点を持っています。もしあなたの組織がAI信頼性を理解または向上させようとしているなら、我々と一緒に構築していきたいと思います。AIRRワーキンググループについての詳細を知り、参加するには、mlcommons.org/working-groups/ai-risk-reliabilityをご覧ください。