AIの終末論的危機：トップ研究所の警告は本物か、それとも誇張か？

最強のAIシステムを構築している人々が「人類絶滅」を公言し始めたという事実は、それ自体が真剣に受け止める価値がある。MIT Technology Reviewの円卓討論はまさにこの問いから出発している——世界をリードするAI研究所の従業員たちは、高度なAIが本当に人類を滅ぼす可能性があると主張している。彼らは正しいのか？それとも、これは新たな誇大宣伝と炒め上げに過ぎないのか？

この対話を司会したのは同誌のエグゼクティブ編集長Niall Firthで、上級AI編集者Will Douglas HeavenとAIジャーナリストGrace Huckinsが参加した。三者は「AIの終末」という使い古された言葉を解体し、その中に何が詰まっているかを検証しようとした。

「存在リスク」から内部メモへ

2023年3月に遡ると、チューリング賞受賞者や複数のAI企業幹部を含む1,000人以上が公開書簡に署名し、GPT-4を超えるモデルの訓練を6ヶ月間停止するよう呼びかけた。同年5月、AI安全センター（CAIS）は「AIによる絶滅リスクの軽減を世界的優先事項にすべきだ」という一枚の声明を発表し、OpenAI、DeepMind、Anthropicの幹部も名を連ねた。その後、「p(doom)」——個人がAIによる人類絶滅の確率をどう見積もるかを示す指標——がシリコンバレー内で流行語となり、5%から50%、あるいはそれ以上の数字を挙げる者も現れた。

さらに注目すべきは、これらの警告を発している人物の属性だ。彼らの多くは外部の批評家ではなく、まさにそれらのシステムを自ら作り続けている人々である。こうした「内部者による警告」は一方で信憑性を高めながら、もう一方では別の疑問を生む——本当にそれを信じているなら、なぜ開発を続けるのか？

終末論の思想的系譜

AIによる人類絶滅論は唐突に生まれたわけではない。それは効果的利他主義（Effective Altruism）と合理主義コミュニティに源を持ち、核心的なシナリオは「アラインメントが取れていない」超知能だ——能力は人類を遥かに超えながら、その目標が人類の福祉と一致しない存在である。この物語においてAIはツールではなく、制御を逸脱し、最終的に人類を資源か障害として扱う可能性のある新たな主体とされる。

批判者はこうした議論が思考実験と類比に過度に依存し、検証可能な経験的証拠を欠き、複雑な社会技術的問題を単一の「アラインメント」技術問題に単純化しがちだと指摘する。彼らは、真の危険は突然覚醒する超知能ではなく、既存のシステムが現実にすでに引き起こしている害である可能性を訴える。

警鐘か、マーケティングと責任回避か

懐疑論者の論点は大きく三つある。第一に、終末論的な語りは研究所に多大な注目、人材獲得力、そして規制をめぐる発言力をもたらすということ。第二に、リスクを遠い未来の「超知能」に投影することで、現在進行中の実害——アルゴリズムの偏見、プライバシーの侵食、データ労働者の搾取、誤情報の拡散——から公衆の目を逸らすということ。第三に、絶滅を語ることは時として責任の免除として機能し、最終目標が十分に崇高であれば、その過程での害は許容されるかのように見せてしまうということだ。

「私の製品が世界を滅ぼす可能性があると言えば、私は警告する者であると同時に、唯一の救済者にもなれる。」——これはAI終末論に対する批判者の古典的な要約である。

支持者はこう反論する——リスクが極端かつ不可逆的であるからこそ、確率がたとえ低くても、膨大なリソースを投じて備える価値があると。これは核抑止や感染症対策の論理と変わらない——核戦争が起きなかったからといって、かつての警戒が無駄だったとは言えない。

本当の問いは「誰を信じるか」ではない

この円卓討論は単純な結論を出してはいないが、より重要な事実を浮き彫りにした——「絶滅論」の真偽にかかわらず、それはすでにAIガバナンスの議題設定を深く変えているということだ。安全とアラインメントは周辺的なテーマから研究所の中心的なKPIへと押し上げられ、AIの安全に特化したスタートアップや研究機関も次々と生まれた。

一方、「速度を落とすべきか否か」をめぐる議論は業界を分断しつつある。加速主義者は、立ち止まることで無責任なプレイヤーに先を越されるだけだと主張し、安全派は、まず作って後から制御する方法を考えるのは賭けそのものだと反論する。両者の立場の違いは、結局のところ同一の問いに対するリスク許容度の差に過ぎない。

一般読者にとって最も理性的な姿勢は、「絶滅」という言葉に恐慌をきたさず、かといって誇張に聞こえるからと全面否定もしないことかもしれない。本当に問うべきは——これらの警告の背後にはどのような検証可能な前提があるのか？誰がどの語りから利益を得ているのか？そして、規制当局はイノベーションを損なわずに議論をスローガンから実行可能なルールへと引き戻せるのか——ということだ。これらの問いは、「AIは人類を終わらせるのか」よりも、私たちの現実にずっと近い。

本稿はMIT Technology Reviewより編訳。