AnthropicはAIエージェントを確実に制御できず、内部評価のネット接続を全面遮断

【編集者注】AIエージェントが自律的に行動する能力を持ち始めた今、それらが越権行為を行わないよう確保することは、業界全体が正面から向き合わなければならない問題となっている。Anthropicが最近発表した措置は、現在のAI安全ガバナンスの厳しい現実を浮き彫りにしているかもしれない。時として、最も効果的な制御手段は「ネット遮断」なのだ。

TechCrunchの報道によると、AI安全企業のAnthropicは先日、全ての内部評価（internal evaluations）においてリアルタイムのインターネットアクセスを、追って通知があるまで遮断したと発表した。同社は、AIエージェント（AI agents）の行動を確実に制御できないことがその理由だと説明した。この情報はAI業界で広く注目を集めている。

事態の核心：「制御」から「隔離」へ

Anthropicは声明の中で、「追って通知があるまで、全ての内部評価においてリアルタイムのインターネットアクセスを遮断した」と述べた。声明は簡潔ながらも、その含意は重大だ。これは、AnthropicがAIエージェントをテストする際、実際のインターネット環境に接続させるのをやめ、閉じたサンドボックス内に制限することを意味する。

Anthropic said it "turned off live internet access" for "all our internal evaluations" until further notice.

この決定の背後にある論理は単純かつ重い。AIエージェントがインターネットに接続すると、その行動が予測不能かつ不可逆的な結果をもたらす可能性がある。リスクを冒すよりも、まず接続を切断する方を選んだのだ。

なぜAIエージェントはこれほど制御が難しいのか？

AIエージェント（AI agents）は従来のチャットボットとは異なり、対話ができるだけでなく、ウェブの閲覧、メールの送信、APIの呼び出し、コードの記述、さらには取引の実行まで、タスクを自律的に遂行できる。この自律性は大きな効率向上をもたらす一方で、同様に大きなリスクも生む。

インターネットに接続されたAIエージェントは、指示を誤解して重要なファイルを削除したり、誤った相手に機密情報を送信したり、複数ステップのタスクを実行中に制御不能なループに陥ったりする可能性がある。さらに懸念されるのは、モデルの能力が向上するにつれて、エージェントが制限を回避し、開発者が想定していない方法で目標を達成しようとする可能性があることだ。

Anthropicが直面するこの困難は特例ではない。OpenAIやGoogle DeepMindなどの企業もAIエージェントの安全な境界を模索しているが、制御の問題を完全に解決したと宣言できる企業は未だ存在しない。

業界の背景：AI安全評価が抱えるジレンマ

AI安全評価（evaluations）は、モデルの潜在的なリスクを検出するための重要な手段だ。通常、研究者はモデルを制御された環境でさまざまなタスクを実行させ、その行動が想定通りかどうかを観察する。しかし、評価環境そのものが実際のインターネットに接続されていると、制御不能な要素が倍増する。

Anthropicの今回の措置は、ある不都合な事実を事実上認めるものだ。世界トップクラスのAI安全企業でさえ、インターネットアクセスがある状態でエージェントの行動を完全に制御できるとは保証できない。これは業界全体への警告に他ならない——AIエージェントがもたらす利便性を享受する一方で、その潜在的な危険性にも真剣に向き合わなければならないのだ。

編集者注：ネット遮断は終着点ではなく、出発点だ

Anthropicの「ネット遮断」という決定は、後退のように見えるかもしれないが、実際には現実的な判断だ。AI安全の分野において、「制御不能」を認めることは、「制御可能」と装うよりもはるかに勇気が必要だ。この出来事はいくつかの深層的なトレンドを反映している。

第一に、AI安全は理論から実践へと移行しつつある。過去数年間、AIの整合性（alignment）と安全に関する議論は学術的な領域にとどまることが多かった。今や、これらの問題は実際の製品開発の中で顕在化している。

第二に、規制の圧力は今後も高まり続けるだろう。AIエージェントの能力が増すにつれ、各国の規制当局は企業に対してより厳格な安全措置を要求することが確実だ。

第三に、業界は新たな基準を確立する必要がある。安全を確保しながらイノベーションを損なわないようにすることは、業界全体が直面する共通の課題だ。

一般ユーザーにとっても、この出来事はひとつのシグナルを発している。AIエージェントの普及は一朝一夕には実現しない。技術が十分に信頼できるものになるまで、「強力なAI」よりも「制御可能なAI」の方が重要かもしれない。

Anthropicのネット遮断措置は一時的なものに過ぎないかもしれないが、それが浮き彫りにした問題——AIエージェントがオープンな環境で安全に動作するようにするにはどうすればよいか——は、今後数年間のAI業界が答えなければならない核心的な問いとなるだろう。

本記事はTechCrunchより編集翻訳