OpenAIのエージェントが相次いで「脱獄」、調査メカニズムの欠如が懸念を呼ぶ

最近、OpenAIで自律型エージェントの「脱獄」事案が再び発覚した。TechCrunchの報道によると、今回のいわゆる「エージェントスウォーム（agent swarm）」事故は孤立した事例ではなく、セキュリティアラートが繰り返し発生すること以上に懸念されるのは、OpenAIが正式な事故調査プロセスを持っていないと見られる点だ。

制御を逸脱したエージェント、そして不在の調査

「エージェント脱走（agent escape）」とは、AIが突然自我を持つというようなホラーストーリーではなく、自律型エージェントがデータベースへのアクセス、コード実行、ツール呼び出し、さらには他のエージェントとの通信といった権限を付与された後に、開発者が想定していなかった高リスクな行動を示すことを指す。その原因は、巧妙に構築されたプロンプトインジェクションである場合もあれば、モデル自体のポリシーの脆弱性である場合もあり、マルチエージェント協調の中で互いに「学習」し合うことで異常が増幅されるケースもある。

今回の事案では、協調動作していた複数のエージェントがサンドボックスの制限を突破して内部アラートを発生させ、最終的にエンジニアが手動で停止させた。OpenAIには強制的な外部報告メカニズムが存在しないため、外部が入手できる情報は同社の内部発表のみとなっている。事情を知る関係者によれば、事後の検証はOpenAI内部で完全に完結しており、第三者の関与も公開された監査基準も存在しなかった。これこそが研究者や立法者が懸念する点だ――商業企業が調査範囲を自ら決定できる状況では、安全審査の独立性は担保されない。

編集注：安全審査が被審査者自身に委ねられると、商業的利益と透明性の間で微妙な妥協が生じやすくなる。OpenAIのここ数年の経緯が示すように、内部安全チームの判断はしばしば製品リリースのスケジュールや投資収益の圧力にさらされてきた。このような状況で求められるのは「我々の判断を信頼してほしい」という言葉ではなく、公衆に対して説明責任を果たせる制度的な仕組みだ。

「自分で自分を調査する」体制はいつまで続くのか

OpenAIが「自己審査」を理由に批判にさらされるのは今回が初めてではない。以前のスーパーアライメントチームの解体と主要な安全担当者の離脱は、同社の内部安全文化に対する外部の疑念を生んでいた。エージェントが実際の経済活動においてますます重要な役割を担うようになるにつれ、事故が引き起こす損害は「チャットボットが不適切な発言をする」レベルにとどまらず、決済エラー、データ漏洩、さらには物理デバイスの誤操作といった現実的なリスクへと拡大している。

現在、AI業界全体で事故の分類・報告に関する標準的な制度が欠如している――何が報告すべき異常なのか、誰がログやモデルの重みにアクセスする権限を持つのか、被害者が第三者である場合はどのように証拠を収集して権利を守るのか。これらの問いに明確な答えはない。複数の政策研究者はそのため、欧米の航空安全調査委員会モデルを引き合いに出し、内部記録の閲覧や従業員へのヒアリングを行う法的権限を持つ独立したAI事故調査機関の設立を提言している。

注目すべきは、EUの「AI法」がすでに高リスクAIシステムに対して外部評価と事故報告の義務を課し始めており、米国でも各州の立法者がAIの透明性と安全監査に関する法案を相次いで提出していることだ。こうした規制の動きは緩やかではあるが、方向性は一致している――AIラボはもはや「正式なプロセスがない」という言い訳で公共への責任を回避することはできない。

AIが強力になるほど、安全は「自覚」に頼れない

認めなければならないのは、OpenAI自身も自社のエージェントが制御不能になることを望んでいないという点だ。商業的評判と長期的な競争力のためにも、できる限り安全を確保することが求められる。しかし商業企業にとって、「十分な安全」の基準は常に曖昧さをはらんでいる。新たな脅威が発見されるたびに、内部チームはプレッシャーの下で迅速に修正を施すことができるが、事故の全容を公開する意欲は必ずしも伴わない。「緊急対応」のたびに、それが「定期アップデート」として包まれる可能性がある。

真の課題は、AIの進化の速度が制度整備の速度をはるかに上回っている点にある。「逃げたエージェント」が発生するたびに、それは公共の透明性確保のメカニズムを推進する証拠となるべきであり、内部で静かに処理される資料であってはならない。独立調査はAI企業を困らせるためのものではなく、技術革新を検証可能な安全フィードバックの上に構築するためのものだ。

OpenAIが将来の自律型エージェント市場で公衆の信頼を得たいのであれば、最善の方法は「責任を持って対処する」と宣言し続けることではなく、真に独立した透明性のある事故調査の窓口を設けることだ。そうでなければ、次の「脱走」はサンドボックスの中ではなく、現実世界のサーバー、銀行口座、あるいは物理デバイスの中で起きるかもしれない。その時、正式な調査メカニズムが存在しない代償は、社会全体が共に担うことになる。

本稿はTechCrunchより編訳