AIの安全性をめぐる議論は的外れ？10人の専門家が語る「本当の悪夢」

編集者注：AI安全性をめぐる議論は近年「超知能による絶滅論」に占領されているが、リスクの高低を実際に左右するのは、すでに存在しており自動化によって加速されるだけの旧来の問題であることが多い。本稿はWIREDの専門家インタビューをもとに整理したもので、議論の焦点をSFから現実に引き戻すことを試みる。

ここ数年、人工知能の安全性をめぐる公開議論はほぼ一つの物語に独占されてきた。予測不可能なある瞬間に機械が「目覚め」、人類は終わりを迎えるというシナリオだ。この筋書きはドラマチックで映画向きではあるが、政策立案の指針としてはますます不適切になっている。なぜなら、リスクを遠い未来の単一の出来事として想像させるからだ。現実のリスクは、現在進行形で起きており、互いに積み重なっていく一連の障害である。

WIREDの記者ローレン・グッド（Lauren Goode）は、この問いを携えて、安全保障研究、地政学、生物リスク、重要インフラの各分野から10人の専門家に取材した。返ってきた答えは、いくぶん直感に反するものだった。リスク一覧の上位に並んでいるのは「スカイネット」ではなく、核の誤判断、生物安全上の脆弱性、大国間競争における情報機関の浸透、脆弱な電力網と金融システム、そして緩やかに進行しながら取り返しのつかない認知と権力の不均衡だった。

「最も危険なシナリオは、超知能を必要としないことが多い。すでに存在するシステムに、少しの自動化が加わるだけでいい」——これは複数の専門家が共通して下した判断である。

一、核リスク：AIは加速装置であり、原因ではない

核災害が繰り返し取り上げられるのは、それが典型的な「低確率・高被害」のリスクだからだ。専門家たちが懸念するのは、AIが発射ボタンを押すことではなく、意思決定の時間が人間が慎重に判断できないほど圧縮されることだ。早期警戒システム、衛星情報、指揮系統に自動化の要素が組み込まれれば、誤報や誤読の余地は数分にまで縮まる。歴史上、人間のためらいと懐疑心が幾度も災害を防いできた。しかし効率を追求するシステムは、まさにこの「ためらい」を排除する方向に向かう。

二、生物安全：参入障壁が引き下げられつつある

核よりも技術者を不安にさせるのが生物分野だ。タンパク質設計や実験プロトコルの生成におけるモデルの能力向上は、かつて専門的な訓練を要した参入障壁を、プロンプト一つで突破できるものに変えつつある。真の問題はモデル自体にあるのではなく、DNA合成のスクリーニング、実験室へのアクセス管理、論文やデータの公開に関するガバナンス体制が追いついているかどうかにある。技術能力の拡散速度は、安全規範の更新速度をはるかに上回っている。

三、米中競争：スパイ活動、算力、サプライチェーン

「（やあ、スパイ諸君）」という一言は冗談ではない。専門家たちは米中の覇権争いを現実のリスク源とみなしている。モデルの重みや研究成果が情報機関の標的となり、半導体と計算資源のサプライチェーンが武器化され、輸出規制が技術エコシステムの分断を促進している。この競争の副作用は、安全保障協力の空間が縮小することだ。各国が最強のモデルを戦略的資産とみなすとき、リスク情報の共有や評価基準の共同構築は著しく困難になる。しかしAIのリスクは、国境を越えた性質を持つ。

四、インフラ：攻撃対象が拡大している

電力網、水道、病院、金融決済システム——これらに共通するのは「止めてはならない」という性格だ。AIは攻撃の参入障壁を下げ、速度を高める。同時に防御側も、同様に自動化されているが必ずしも信頼できるとは言えないツールに頼らざるを得なくなっている。専門家が警告するのは、本当の危機は巧妙なハッキング一件ではなく、高度に結合したシステムの中で連鎖増幅する一連の小さな障害であることが多いという点だ。

五、認知と権力：最も静かな悪夢

上記のリスクが「爆発型」だとすれば、情報エコシステムの汚染と権力の集中は「慢性疾患」である。合成コンテンツは公的議論における事実的基盤を高コストなものにし、最先端モデルの学習コストは能力を少数の企業と国家に集中させる。専門家はこの非対称性そのものが安全保障上のリスクだと指摘する。それは「安全」とは何かを定義できる者と、審査を免れる者を決定するからだ。

六、なぜ「終末論的物語」がかえって有害なのか

AIの安全性を「スカイネットを止めること」と同一視すると、二つの結果をもたらす。一つは、議論が具体的な工学的・制度的問題から離れ、意識や意図をめぐる哲学的論争になってしまうことだ。もう一つは、偽りの安心感を与えることだ——究極のリスクさえ見張っていれば、ほかの問題は自動的に解決されるかのような錯覚である。取材に応じた専門家たちの共通見解は、真の安全は地道な作業から生まれるというものだ。評価基準の整備、インシデント報告、責任の明確化、レッドチーム演習、国際対話の仕組みがそれにあたる。

これは超知能のリスクを無視してよいということではなく、それが唯一の物語であってはならないということだ。公衆と政策立案者の注意がSFに占領されている間、最も修復されるべきインターフェース、プロトコル、制度は開いたままであり続ける。

リスクとは今にも迫りくる怪物ではなく、私たちがすでに建て、まだ点検していない部屋のことだ。

本稿はWIREDより編訳