AIエージェントの暴走が頻発——監査員をいくら増やしても、まず玄関の鍵を閉めるべきだ

編集注：AIラボがますます自律化するAIエージェントに「内部監査員」を配備することに躍起になる一方、より根本的な問題が見落とされている——そもそもなぜこれらのエージェントはそれほど大きな権限を持てたのか、という問いだ。TechCrunchのコラムニスト、Tim Fernholzは、答えは最も目立つ場所に隠れているかもしれないと指摘する——部屋にカメラを取り付けるより、まず玄関の扉を閉める方がずっと効果的だ、と。

チャットボットから「デジタル社員」へ

この2年間で、AIエージェント（AI Agent）はデモのプロトタイプから実際の本番環境へと進出してきた。ローカルファイルの読み書き、サードパーティAPIの呼び出し、ブラウザ操作、メールの代理送信、コードの実行、さらには企業データベースへの直接操作まで可能になっている。その能力の拡大速度は、対応するセキュリティ制約の整備をはるかに上回っている。

これに伴い、「暴走エージェント（rogue agent）」事案が相次いでいる。エージェントが指示を誤解してファイルを一括削除したり、内部データを誤ったアドレスに送信したり、何時間にも及ぶ自律ループで莫大な計算リソースを消費したり、あるいはウェブページやメールに埋め込まれたプロンプトインジェクション（prompt injection）命令に乗っ取られて攻撃者のために動いたりするケースが起きている。こうした事故に共通するのは、多くの場合モデルの能力不足ではなく、過剰かつ長期間にわたる権限付与だ。

ラボの対応：自ら監査員を雇う

プレッシャーに直面したトップAIラボが選んだのは「内部ガバナンス」という道だ——内部監査チームの設置、レッドチームの拡充、エージェントの行動ログと事後追跡の仕組みの構築、さらにはモデル自身に出力を検査させる取り組みまで行われている。発想自体は理解できる——エージェントが予期せぬ行動を取るなら、人かモデルを傍らに置いて見張らせればよい、という論理だ。

しかし監査は本質的に「検知型コントロール」であり、「予防型コントロール」ではない。事後の原因究明やパターン発見には長けているが、最初の被害発生を防ぐことはできない。一度の越権呼び出しで顧客リストが漏洩し、本番環境が消し飛ぶような状況では、「事後により明確に見える」という効果は大した慰めにならない。

部屋にカメラをいくら取り付けるより、まず玄関がきちんと施錠されているかを確認すべきだ。本当に効果的な修正策は、見落とされるほど単純であることが多い。

見落とされた「玄関」：最小権限とデフォルト拒否

セキュリティ工学の世界にはすでに成熟した答えがある。最小権限の原則は、エージェントが現在のタスクを完了するために必要な最小限の権限しか持てないことを求める。デフォルト拒否とは、明示的な認可がない操作は一切実行しないことを意味する。サンドボックス化によってエージェントが引き起こす被害の範囲を破棄可能なコンテナ内に限定する。そして送金、データベース削除、外部送信といった重要な操作については、人間による確認（Human-in-the-loop）を必須とすべきだ。

もう一つよく引用されるフレームワークが「致命の三要素」だ——あるシステムが「プライベートデータへのアクセス」「信頼できないコンテンツへの接触」「外部通信の能力」の三つを同時に持つとき、プロンプトインジェクションはほぼ必然的にデータ漏洩につながる。この三つのうち一つでも取り除けば、リスクは大幅に低下する。これはまさに、問題の多くがモデルの能力不足ではなく、アーキテクチャの設計選択によるものであることを示している。

なぜ「玄関を閉める」ことがこれほど難しいのか

第一に、インセンティブのずれがある。エージェントの売りは「手放しで任せられる」ことであり、確認ダイアログを一つ増やすたびに製品の「魔法感」が一段落ちる。競争が激化する市場では、権限が緩やかな方が使い勝手が良く、ユーザーに好まれる。第二に、可視性のバイアスがある。監査チームの成果物——レポート、発見事項、プロセス——は目に見えて展示でき、コンプライアンス上の説明にも使える。一方で、成功裏に阻止された越権呼び出しは何も起こらないため、手柄として記録しにくい。第三に、組織の現実がある。内部監査員は結局のところラボの経営陣に報告し、監査対象の製品チームと同じ商業的目標を共有しているため、独立性は構造的に制限されている。

監査はあくまで最後の防衛線であるべき

これは内部監査に価値がないということではなく、それを主要な答えとして扱うべきではないということだ。より合理的な順序はこうだ——まず設計段階で権限の境界を絞り込み、不可逆的な操作をロールバック可能に変え、高リスクな機能を段階的な認可が必要なモジュールに分割する。その上で、監査と監視によって依然として漏れ出た異常を捉える。この順序が逆転すると、ラボは奇妙な状況に陥る——屋内の監視体制を強化し続けながら、玄関を開け放したままにしているようなものだ。

ユーザーや企業の調達担当者にとっても、この教訓は同様に当てはまる。エージェント製品を評価する際は、どれだけ多くのツールと連携できるかではなく、デフォルトでどのような権限を持っているか、それを最小化できるか、エラー発生時にロールバックできるかを先に確認することを勧める。

本記事はTechCrunchを基に編集・翻訳したものです。