教皇のAI顧問が警告する：大手ラボの「カルテル」化に注意せよ

バチカンにおいて、パオロ・ベナンティ（Paolo Benanti）は異色の存在だ。フランシスコ会修道士・神学者であると同時に、ローマ教皇庁グレゴリアン大学の教授として技術倫理・神経科学・人工知能を専門とする。ここ数年、彼はAI問題に関して教皇フランシスコが最もよく言及する声となり、メディアから「教皇のAI担当」と呼ばれるようになった。しかし彼自身は、自分を「提醒者」——技術は決して中立ではなく、誰が恩恵を受け、誰が排除されるかという価値の選択を帯びていることを人類に思い起こさせる者——として捉えている。

「ローマ・コール」から国連諮問機関の席へ

ベナンティの影響力は教廷における肩書きからではなく、「技術―倫理―政策」という三角地帯を長年にわたり往来してきた実績から生まれている。2020年、教皇庁生命科学アカデミーは「AI倫理に関するローマ・コール（Rome Call for AI Ethics）」を発表し、透明性・包摂性・責任・公正・信頼性・プライバシー・安全などの原則を提唱した。IBMやマイクロソフトなどのテクノロジー大手や複数国政府が相次いで署名し、ベナンティはこのプロセスの重要な推進者だった。2023年には国連事務総長のAIに関するハイレベル諮問機関のメンバーに任命され、同時期にはイタリア政府のAI委員会を主宰し、このEU加盟国向けのAI産業・規制提言をとりまとめた。2025年1月には、バチカンが発表したAIと人間の知性に関する文書『Antiqua et Nova』の策定にも携わった。

つまり彼は、演壇の上でAIリスクを語るのではなく、ルール起草の席に実際に座ってきた人物だ。だからこそ、彼が『WIRED』のインタビューで示した見解は、特に注目に値する。

「神のようなAI」をめぐるパニックが、真の公共的議論を圧迫している

ベナンティは『WIRED』に対し、「神のようなAIが出現して人類を滅ぼすかどうか」をめぐるヒステリーが人々の注意を分散させており、本当に必要なのは「この技術をいかに統治するか」についての公共的議論だと語った。彼の見方では、この議論はSF的な物語に乗っ取られている。一方には終末の預言があり、他方には救世主の約束があり、両端ともに最も根本的な問いを回避している——この技術は誰のために作られ、誰が決定し、誰が責任を負うのか、という問いを。

「『神のようなAI』が出現して人類を滅ぼすかどうかをめぐるパニックが、真に重要な公共的議論のスペースを圧迫している。この技術は誰によって統治され、誰のために機能し、誰が結果を引き受けるのか、という議論を。」

この立場はAI倫理の世界では孤立した見解ではないが、ノイズに埋もれがちだ。ここ数年、最も注目を集めた議論のほぼすべてが「アライメント」「超知性」「実存的リスク」を軸に展開され、トップラボの研究者やシリコンバレーの資金がそこに集中してきた。一方で、データセンターが電力と水を大量消費していること、モデルの学習が低賃金のデータアノテーション労働に依存していること、生成AIがコンテンツ制作者の生計を脅かしていること、医療や司法システムにおいてアルゴリズムによる差別が繰り返し発生していること——こうした「現在の害」は、同等の規模の見出しになることはほとんどない。

「カルテル」：共謀ではなく、事実上のクラブ

ベナンティが真に懸念しているのは、大手ラボ間の「カルテル」的な行動だ。厳密には、これは法的意味での価格カルテルではないかもしれないが、構造的な権力集中という現実がある。最先端モデルの学習には極めて高いハードルがあり、数十億ドルの資本、数百万基規模のGPUクラスター、長期電力契約、希少な人材が必要だ。その結果、世界で最前線に立てる企業は一握りに絞られ、それらの企業はサプライヤー、人材プール、そして「AGIとは何か」「責任あるAIとは何か」についての言説体系を共有している。

この言説体系が規制当局に受け入れられると、微妙な逆転が起きる。本来は企業を制限するはずのルールが、競争の参入障壁を高める道具に変わりうる。コンプライアンスコスト、監査基準、安全評価プロセスは、大手にとっては限界的な支出に過ぎないが、スタートアップやオープンソースコミュニティにとっては生死の境となりうる。これがまさに、学界が長年警告してきた「規制の虜（レギュラトリー・キャプチャー）」のAI版だ——ルールが被規制者の参加によって定義され、最終的に既存の支配者に奉仕する。

さらに警戒すべきは、地政学的な不均衡だ。最先端の算力、データ、人材は一部の国と一部の企業に高度に集中している一方、AIの影響を最も強く受けるグローバル・サウスは、ガバナンス交渉の席でほとんど発言権を持っていない。ベナンティが繰り返し強調する「包摂性」が指しているのは、まさにこの沈黙する多数だ。

なぜ宗教がAIガバナンスの場に現れるのか

多くの人は疑問を抱くかもしれない——修道士がなぜAIガバナンスで発言権を持つのか、と。答えはおそらく、AI倫理の議論が最終的には価値の優先順位をめぐる問いに行き着くところにある。そして価値の優先順位は、まさに宗教的伝統が長年取り扱ってきたテーマだ。テクノロジー企業が「安全」を自己正当化の言語として用いようとするとき、バチカンのような機関が提供するのは別の座標軸だ——人間の尊厳、共通善、弱者への優先的配慮。

バチカンがテクノロジー問題に介入するのはこれが初めてではない。教皇フランシスコは2024年のG7サミットで人工知能についてスピーチを行い、「人間の制御なき機械」の危険性を警告した。またAIを平和・貧困・労働の尊厳と繰り返し結びつけてきた。この観点から見ると、ベナンティの発言は宗教による科学への越境ではなく、ある越境的な倫理機関が技術的議題を再び政治化しようとする試み——それをラボや取締役会の閉じたループから引き出し、公共的な審議の場に戻そうとする試み——として理解できる。

編集後記：議論の重心が移りつつある

注目すべきは、ベナンティの懸念と規制の潮流の変化が合流しつつある点だ。ここ2年、反独占が再びAI議題のキーワードになっている。米国司法省と連邦取引委員会は算力とモデル市場における競争状況の調査を開始し、EUの「AI法（AI Act）」と「デジタル市場法（Digital Markets Act）」が相次いで施行され、英国の競争・市場庁（CMA）も基盤モデル市場の評価報告書を発表した。規制当局が追い始めた問いは、もはや「AIが人類を滅ぼすか」ではなく、「誰がこの市場に参入でき、誰がルールを決め、誰が利益を得るか」へと変わっている。

この重心の移行は決して容易ではない。一方では、AIを「次の独占問題」として単純化することは、AI固有のリスクを過小評価することになる。他方、実存的リスクのみを語ることは、ガバナンスを哲学的な次元に留め置き、なかなか実装に至らないという問題を招く。ベナンティが示すのは中間的な道だ——技術の能力の限界を認めつつ、ガバナンスは民主的であり、説明責任を伴い、影響を受ける人々が参加するものでなければならないと主張する。

彼の警告は穏やかに見えて、実は鋭い。人類の未来についての議論が少数の企業だけによって主導されるなら、たとえその企業がどれほど善意を持っていても、最終的に決定されるのはモデルのパラメーターだけではなく、私たちが共に生きる方式そのものだ。

本稿はWIREDの記事をもとに編集・翻訳したものです