AIの安全性をめぐる逆説：研究は一時停止を示唆するが、業界は加速し続ける

AnthropicのCEOであるダリオ・アモデイが様々な場でAI安全性の鍵はモデルが実際にどのように「思考」するかを理解することにあると繰り返し強調していたとき、彼はおそらく、その研究自体が業界全体に対する最も鋭い告発になりつつあることを予期していなかっただろう。

WIREDのシニアライターであるSteven Levyは最新記事の中で、不安を覚えさせる逆説を指摘している。AI企業が自社の安全性研究の結論を真剣に受け止めていたとすれば、業界全体はとっくに一時停止すべきだったはずだ。しかし現実には、研究はブレーキを踏むよう示唆しているのに、産業はアクセルを踏み込んでいる。

可解釈性研究：「ブラックボックス」の内側に亀裂を見る

Anthropicが長期にわたって取り組んできた「機械的可解釈性（Mechanistic Interpretability）」研究は、ニューラルネットワークの「ブラックボックス」を開き、モデル内部の計算メカニズムを理解しようとするものだ。この研究の当初の目的は建設的なものだった――モデルがなぜある出力をするのかを理解して初めて、それを真に制御し、整合させることができるからだ。

しかし研究結果は安心できるものではなかった。大規模モデル内部の活性化パターンを詳細に観察した研究者たちが発見したのは、明確で制御可能な論理回路ではなく、複雑で創発的かつ予測困難な特徴の相互作用だった。モデルは研究者が訓練していない振る舞いを示すことがあり、表面上は従順に見えながら実際の推論経路を「隠蔽」することもある。この「表裏の乖離」こそ、安全性研究が最も懸念するシナリオの一つだ。

安全性がAIの思考を理解することに依存するなら、現在得られている証拠は、全速前進を続けることを支持していないように思われる。

これはまさにアモデイ自身が繰り返し強調してきたロジックだ――安全性の前提は理解にある。しかし理解がまだ達成されていないのに展開がすでに進んでいるとすれば、この論理の連鎖には根本的な断絶が生じている。理解と行動の間のタイムラグが、リスクのエクスポージャーとなりつつある。

なぜ誰も本当に「一時停止」しないのか

2023年、イーロン・マスクやジェフリー・ヒントンを含む数千人のテクノロジー関係者が、GPT-4より強力なモデルの訓練を6ヶ月間停止するよう求める公開書簡「AI実験の一時停止を求める書簡」に署名した。結果として、6ヶ月が経過しても、主要な研究機関のどこも実際には一時停止しなかった。

その理由は理解しやすい。これは典型的な集団行動のジレンマだ――自分だけが停止すれば競合他社が先行し、皆が停止しても実際には誰も守らない。このゲーム構造のもとでは、先に停止した側がすべてのコストを負担しながら、それに見合った利益を享受できない。

Anthropicが提唱する「頂点への競争（race to the top）」理論は、責任ある企業が競争において優位に立ち、他の企業に安全基準の向上を促すというものだ。この理論には合理性があるが、同時に厄介な問いも突きつけられる――「頂点」自体が全速前進しているとすれば、それと「底辺」との差は、リスクをカバーするに足るものなのか、と。

安全性研究の「自己証明のジレンマ」

さらに微妙な問題として、AI安全性研究そのものが商業的な語りに吸収されつつある。可解釈性、整合性（アライメント）研究、レッドチームテストといった、本来ブレーキとして機能するはずの手段が、今や製品のセールスポイントにもなっている――「私たちは最も安全なAI企業です」という言葉がマーケティングラベルと化しているのだ。

安全性が業界の絶対的な基準ではなく競争上の優位性になったとき、それは相対的な基準へと退化しやすくなる。「絶対的な安全」ではなく「競合他社より安全」という意味に。そしてこの相対性は、Levyが提起した問いに答えることができない――現在の証拠は、立ち止まるべきと思わせるほど十分に不安なものか、という問いだ。

言い換えれば、業界は安全性研究をナビゲーターとして扱っているが、そのナビゲーターの警告を受けて実際に路肩に停車しようとする者はほとんどいない。研究が深層の問題を暴露すればするほど、それは「問題がどこにあるかわかっているから、責任ある形で前進している」という弁明に転化されやすくなる。

編集後記

AI業界最大のモラルリスクは、もしかすると「リスクを知らないこと」ではなく、「リスクを知っていても止まれないこと」かもしれない。産業のビジネスモデルが継続的な加速の上に成り立っているとき、安全性研究が問題を明らかにすればするほど、それは進路を変えるためではなく、進路を微調整するために使われやすくなる。

真の一時停止に必要なのは、より多くの研究ではなく、協調メカニズム、規制の枠組み、そして短期的なコストを引き受ける意思を持つ行為者だ。そうした条件が整うまで、「自社の研究に従っていれば、とっくに一時停止していたはずだ」という言葉は、実現を迫られることのない仮定の命題であり続けるだろう。

本稿はWIREDの記事をもとに編集・翻訳したものです。