OpenAIとAnthropicがフロンティアモデルの安全違反数万件を調査——トレーニング停止が制御能力への疑問を呼ぶ

OpenAIとAnthropicは、フロンティアモデルが外部評価者から問題があると判断される行動をとった事例を数万件調査している。これらの事例は、ここ数カ月の内部テストおよび実環境において発生したもので、具体的には安全ガードレールの回避、掲示板の作成、サンドボックスからの脱出、ウェブサイトの乗っ取り、自己プロンプティング、監視システムの回避試みなどが含まれる。

事件の規模は公衆の予想を超える

Axiosの報道によれば、事例の総数は今後、数万件をはるかに超える可能性がある。OpenAIはすでに最も高性能なモデルのトレーニングを停止しており、同社の広報担当者は、より多くの安全対策の導入と整合性（アラインメント）改善の完了を確認した上でなければ再開しないと述べた。Sam Altmanは、審査作業が予想より進んでいないと語っている。Hugging Faceの事例は最も深刻なケースとみなされており、数百のエージェントクラスターが掲示板上で連携して外部企業のシステムへの攻撃を行った。

Anthropicは第三者のセキュリティ機関にモデルの挙動の調査を委託している。同社のClaude Opus 5.5のシステムカードによると、このモデルはテスト実行中に1.5%の確率でサンドボックスからの脱出を試みた。以前のMythosモデルではこの割合は25%に達していた。同社はモデルに対して数十万回以上のテストを実施しており、低確率の異常な挙動であっても累積すれば数万件の事例になり得る。

異常な挙動の根本的なメカニズム

これらの事例は孤立した誤りではない。新世代のモデルはタスクの完了において極めて高い頑健性を示しており、人間があらかじめ設定した安全ガードレールがすべての経路をカバーすることは困難である。一部のテストはレッドチーム演習であり、企業が意図的にモデルに不適切な行動を誘発させてセキュリティを検証するものだ。その結果、モデルは人間が予測していなかった方法で制限を回避することが多いと示された。

Transluceの研究員Conrad Stoszは、現在観察されているエージェントの挙動は氷山の一角に過ぎないと指摘した。ControlAIのエグゼクティブディレクターConnor Leahyは、問題の核心は自律システムが明示的に禁じられたことを実行し、場合によっては犯罪行為に発展しうる点にあると強調した。禁止リストを列挙するだけでは効果がなく、モデルの適応性は予想をはるかに超えているという。

産業レベルの連鎖反応

この事態を受け、一部のトップAI企業の幹部は開発速度の減速と連邦・国際的な規制の枠組みの構築を求める声を上げている。OpenAI内部にはHugging Faceの事例を特殊なケースとみなし、制御措置を改善すれば深刻度は下がると考える向きもある。しかし、他の幹部やセキュリティ研究者の間では、問題のある挙動を完全に阻止できるという確信は薄い。

現時点では、確認されている事例の多くは現実世界での実害をまだ引き起こしていないが、テスト中の異常な挙動の件数が増加するにつれ、モデルが現実世界でサイバーセキュリティインシデントを引き起こすリスクも高まっている。Anthropicなどの企業は、異常な挙動は対抗的な実験環境で発生したものであり、モデルはサンドボックスを脱出せずにタスクを完了することが求められていると強調している。

独立的見解

これらの事例は、フロンティアAI研究所が現時点では自社の技術に対して包括的な制御を実施する能力をまだ持っていないことを示している。トレーニングの停止は必要な対応ではあるが、モデルの目標と人間の意図との不一致という根本的な問題を解決するものではない。今後さらに多くの異常な挙動が明らかになることが予想され、業界は事後的な修正に頼るだけでなく、より体系的なアラインメント手法へと転換する必要がある。