Anthropic安全研究員が辞職「自己改善型AIは命を賭けた博打」

「私たちは自分たちの命を賭けた博打をしている」――これはAnthropicの安全研究員Jacob Coxonが辞職声明の中で残した最後の警告だ。「安全最優先」を看板に掲げるAI企業として、Anthropicは2021年の設立以来、業界における「慎重派」の代表として見られてきた。しかしそのような同社の内部においてさえ、業界全体が制御不能の崖縁へ滑り落ちつつあると感じる人物が現れた。

Coxonが懸念する核心は「自己改善型AI」にある。端的に言えば、AIシステム自身がアルゴリズムを修正し、アーキテクチャを調整し、さらには「自己アップグレード」を完遂する仕組みだ。現在、複数の主要研究機関がこれを汎用人工知能への必経路と捉えている。DeepMindはモデルが自己対局を通じて継続進化する手法を模索し、OpenAIも次世代知能の鍵は自己進化できるシステムの構築にあると繰り返し示唆してきた。しかしCoxonの目には、この潜在性が非現実的な楽観論で解釈されているように映る。彼は辞職声明の中で、制御を失った自己改善を「絶滅級リスク」と呼んだ。

モデルが自身の「アップグレード」を習得した場合、人類が現在保有するリスク評価ツールはほぼ機能不全に陥る可能性が高い。現行の安全テストの大半は固定されたベンチマークと人間によるフィードバックの上に成り立っており、その暗黙の前提は「人間がリスクを識別するスピードがAIの能力成長速度を上回らなければならない」というものだ。しかし自己改善の水門が一度開かれれば、モデルの能力曲線は指数関数的に急上昇する可能性があり、最も慎重な研究機関でさえ事故発生前に停止ボタンを押す間がないかもしれない。安全テストとは、高速で走る列車に取り付けられた「バックミラー」に過ぎなくなるのだ。

「ペーシング協定」：AIレースにブレーキを

このためCoxonは、主要AI研究機関間での「ペーシング協定（pacing agreements）」の締結を呼びかけている。これは軍備管理に類似した多国間の取り決めだ。各機関が一定規模以上のモデル訓練に「冷却期間」を設けること、一定割合の計算リソースを安全評価に充てること、そして自己改善関連研究を十分に開示することを相互に約束するものだ。彼は、各企業が自発的に良心に目覚めることを期待しているわけではなく、制度的な拘束によってすべてのプレイヤーを同じスタートラインに立たせることでのみ、安全コストが商業競争における「余分な負担」にならずに済むと強調する。

こうした声はAI業界で孤立したものではない。よく聞かれる批判の一つは、「技術楽観主義者はリスクを引き受けようとするが、そのリスクを実際に負うのは社会全体だ」というものだ。多くの観察者の目には、競合他社が新世代モデルを発表した途端に訓練時間を急遽削減し、アラインメントプロセスを圧縮することが、ほぼ公然の秘密となっているように映る。研究機関間の競争論理が、安全基準をウェブページ上には記載されるが、訓練プロセスには刻まれないものにしてしまっているのだ。

人材の「足による投票」：安全文化は自己懐疑を許容すべき

AnthropicはAI安全基準の重要な推進者であり、その「責任ある拡張ポリシー」も業界では希少な公開された安全プロセスだ。しかし、一見整備された制度も現場研究員の不安を拭い去ることはできなかった。Coxonの離脱は人々に想起させる。安全文化が自己懐疑を許さないのであれば、それは保護メカニズムから別の形の盲目的服従へと変質してしまうということを。

さらに象徴的なのは、彼が辞職後に公開の場で声を上げることを選んだ点だ。「内部の安全研究者」から「公開内部告発者」へのアイデンティティの転換は、ここ数年で欧米のAI研究機関において相次いで見られるようになった。離職後に規制研究に転じた者もいれば、オープンソースコミュニティに移り、透明なコードで非公開の巨大企業の圧倒的優位を牽制しようとする者もいる。AIの能力がさらに飛躍するにつれ、こうした人材の流動はより頻繁になり、テクノロジー企業の真の安全に対する姿勢を観察する重要な窓口となっていくことが予想される。

編集後記：これらの研究者が去るのは技術を恐れているからではなく、技術が離陸する前に、制度が同時に離陸する兆しを見出せないからだ。真に責任あるAI開発は、「自己改善」を誰もブレーキを踏もうとしないレースにしてはならない。能力の跳躍の前に、人類はまず制度の跳躍を成し遂げなければならない。

Coxonの離脱後、Anthropicが方向性を修正するかどうかは現時点では不明だ。しかしこの出来事は少なくとも一つのシグナルを発している。最も安全文化を重視する研究機関でさえ「終末の警告者」を引き止めることができないとすれば、AIの業界における自律的な規制メカニズムは、技術から制度に至る全面的な再考を本当に必要としているのかもしれない。

本記事はTechCrunchから編訳したものです