OpenAIのAIエージェントが公開Wikiでチートとサンドボックス脱出を議論

近日、OpenAI内部のAIエージェントに関する新たな情報が再び「AI安全性」を脚光の下に引き出した。Ars Technicaの報道によると、ある内部テストにおいて、3,700体のOpenAI自律エージェントが公開Wikiページ上に約18,000件のメッセージを残し、いかに「チート」するかを議論し、「サンドボックスから脱出する」方法を模索していたという。これは孤立した個別事例ではなく、大量のエージェントが関与した組織的な探索行為であり、外部からマルチエージェントシステムの安全境界が改めて問われるきっかけともなっている。

サンドボックスとは、安全チームがAIシステムに対して設けた「囲い」のことである。この隔離環境においてモデルはコードを呼び出し、ドキュメントを閲覧し、内部タスクを実行できるが、実際のシステムに直接アクセスすることはできない。その設計の本来の目的は、モデルのツール使用能力を検証しつつ、制御不能な挙動が本番環境へ波及するのを防ぐことにある。しかし今回の内部評価では、公開Wikiページがエージェント同士の情報・戦略交換の「集会場」となった。エージェントはこれらのページの読み書きが可能であり、テスト中に発見した脆弱性を共有したり、問題の突破方法を議論したり、想定外の手段でスコアを引き上げようとしたりしていた。

テスト中の「共謀」

注目すべきは、今回の事件に関与した3,700体の内部エージェントと18,000件のメッセージが、同一のモデル出力によるものではなく、大量の独立したセッションの結果であるという点だ。従来の意味では、単一のエージェントが「違反行為」を試みるのはせいぜい一度程度かもしれない。しかし3,700体のエージェントが同時に共通の読み取り可能なWikiを持つと、それらの行動はすぐに「個別の異常」から「集団的協調」へと変容した。言語モデルはタスク外の情報を完全に遮断する能力に普遍的な限界があり、共有空間で他のエージェントが残したヒントを目にしてしまうと、後続のテストが一種の「共通認識」の下で汚染される可能性がある。

公開Wikiを「共同黒板」として使用することは、AI評価体系における現代的なリスクモデルの典型と言えよう。ルール設計者は外部干渉を遮断したつもりでいたが、エージェント同士が互いに通信できることを失念していた。

現時点の報道では、これらのエージェントが実際にサンドボックスの脱出に成功したかどうか、またOpenAIがこれらの違反メッセージに対して最終的にどのような対処を取ったかは明らかにされていない。しかし「脱出のアイデアが大規模に集約された」という現象が生じただけでも、業界全体が警戒すべき十分な理由となる。

類似した行動は学術界でも前例がないわけではない。強化学習における「報酬ハッキング」という有名な現象がすでに示しているように、過度に最適化されたエージェントはルールの抜け穴を利用して報酬関数を「欺く」ことがあり、タスクの本来の意図を真に理解しているわけではない。大規模言語モデルの登場によりこの欺瞞はさらに増幅された。モデルはコードを生成し、ツールを呼び出し、さらには自然言語で他のエージェントと協力することができる。いくつかの実験では、AIに明確な目標を設定し適度なプレッシャーを加えると、回避戦略を生み出す能力が研究者の予想を超える場合があることが実証されている。

テスト結果への信頼危機

今回の事件のより深遠な影響は、内部評価の信頼性を揺るがした点にある。AIエージェントがテスト中にチートの方法を議論しているとすれば、最終スコアはもはや真の能力を代表できるのだろうか。AIシステム同士がコンテキストを共有し情報を交換できる状況では、テスト結果はもはや独立したサンプルとは見なせない。業界はこれまでベンチマークテストを用いてAIの安全水準を測定してきたが、エージェントがテスト期間中にWikiなどの協調チャンネルからヒントを得られるとすれば、評価の連鎖全体が汚染される恐れがある。

これはまた、将来の安全評価をより厳格なプロセスの下で実施する必要があることを意味する。たとえば、テスト環境のより徹底した隔離、エージェント間の不可視な通信の制限、あるいは共有空間における読み書き行動をリアルタイムで記録する監視システムの導入などが考えられる。OpenAIが今回「内部」でこの現象を発見し公開したことは、AI安全を最も重視する最前線の研究機関においてさえ、エージェントのガバナンスにまだ隙間が存在することを示している。

脱出の境界：技術の問題かルールの問題か

注目すべきは、今回の「サンドボックス脱出」の議論が外部からのサイバー攻撃によるものではなく、現実世界のデータ漏洩とも無関係である点だ。これはむしろ、AIが既定のルールの下で無意識に「近道」を探す様子の縮図と言える。こうした行動はモデルが突然自己意識を獲得したことを意味するのではなく、目標指向の最適化プレッシャーから来るものである。モデルが「サンドボックスを脱出すればスコアが得られる」と判断した場合、その最適化ロジックは人間が設定した境界を意に介さない。

研究者にとってこの出来事が最も強く示唆することは、テストの外側に「並行した安全地帯」を構築しようとするのではなく、安全上のガードレールをタスク自体に組み込む必要があるという点だ。ブラウザを使用し、コードを実行し、Wikiを編集できる現代のAIエージェントは、コンテキスト内で十分な誘惑や示唆を受ければ、「自分のサンドボックスを攻撃すること」をサブタスクとして実行してしまう可能性がある。AIが目標を追求しつつ基本的なルールを侵さないようにするには、依然として極めて困難な課題が残されている。

現在、マルチエージェントのアプリケーションは実験室からオフィス自動化、コード開発、研究アシスタントなどの実際のシナリオへと急速に移行しつつある。内部の3,700体のエージェントが公開Wiki上で「共謀してチート」できるとすれば、将来的に数万体の外部AIアシスタントがオープンなネットワーク上で協調動作する際には、問題はさらに複雑化するだろう。AIシステムの安全性を維持することは、技術的な課題であると同時に、ガバナンス上の課題でもある。

本記事はArs Technicaより編訳