AIエージェントによる機密データ処理リスクの新分類法が発表

MLCommons AI Risk & Reliability（AIRR）ワーキンググループは一貫した核心理念を掲げている。それは、AIシステムが本来あるべき動作を明確にしてから、その実際の信頼性を測定するというものだ。デプロイ担当者がリスクとコストを効果的に管理するためには、こうした可視性が不可欠である。

AIエージェントのプライバシーリスクがチャットボットをはるかに上回る理由

チャットボットにおけるデータ保護リスクは主に単一ユーザーとのやり取りに限定されるが、AIエージェントの潜在的リスク範囲はそれをはるかに超える。そのため、プライバシーワーキンググループはまずエージェント固有のプライバシーリスクを定義する分類法の構築に着手した。

5つのデータ保護リスク領域

分類法v0.1は、業界・学術界・市民社会の専門的知見をもとに、エージェントシステムが直面する5つの主要リスクカテゴリーを整理している。

1. Data ingestion and processing：エージェントはバックグラウンドで継続的に観察・記録を行い、各操作ステップをセッションをまたいで保持する。多くの場合、タスクに必要な範囲を超えてデータを保存する。氏名やアカウント情報を削除しても、自由記述テキストから個人を特定できる情報が漏洩する可能性がある。
2. Aggregation, use, and sharing：個別には無害なデータでも、組み合わせることで機密性を帯びる可能性がある。エージェントが無断でデータを共有・削除したり、検証不能なサードパーティツールに依存したり、実行時にコードを生成・実行したりすることがある。また、モデルがユーザーの同意を得たトレーニングデータセット内の個人データの断片を記憶してしまう場合もある。
3. Inconsistent privacy practices across agents：エージェントごとに異なるプライバシーポリシーが適用され、引き継ぎ時にコンテキスト情報がログに漏洩しやすい。ユーザーがデータの削除・修正・同意の撤回を行っても、ダウンストリームのエージェントがそれを同期できず、ユーザーが削除を望むコンテンツを保持し続けるケースがある。
4. Failure of static consent models for runtime agentic behaviour：従来の一度限りの同意モデルは、エージェントのリアルタイム意思決定には対応しきれない。エージェントがユーザーのプライバシー期待を独自に推測して誤る場合や、頻繁に同意ポップアップを表示してユーザーが慣れによって無意識に同意してしまう場合がある。また、エージェントの実際の推論プロセスをユーザーが理解することも困難である。
5. Accountability and governance：インシデント発生後に責任の所在（ユーザー、プロンプト、モデル、ツール、他のエージェントのいずれか）を特定することが難しい。現在、組織横断的なプライバシー保護ログの標準が存在しないうえ、既存のログやメモリストレージがハッキングの主要標的となっている。

業界向け活用提言

ワーキンググループは、パートナー各社がこの分類法を事前学習からデプロイ監視までのAIライフサイクル全体に統合するよう推奨している。これにより、プライバシー違反リスクの低減、潜在的な法的責任の軽減、および個人・組織の保護が期待できる。

今後の作業計画

v0.1ではリスクの優先順位付けは行われていない。これは、デプロイシナリオによってリスクの優先度が大きく異なるためである（例：銀行のカスタマーサービスエージェントとメールアシスタントでは重点が異なる）。ワーキンググループは大規模デプロイ事業者と連携し、各シナリオにおける重要リスクの特定、検出指標の整備、ベンチマークテストのパイロット実施、および緩和策のベストプラクティス策定を進める計画であり、2027年第1四半期の完了を目標としている。

参加方法

この分類法は引き続きv0.1段階にあり、産業従事者・学術研究者・市民社会組織・規制当局からのフィードバックを広く募集している。プライバシーワーキンググループは隔週木曜日の午前11時30分から12時30分（米国東部時間）に会議を開催しており、参加希望者は公式サイトから登録できる。