Hugging Face CEO：AIによる終末的リスクの確率はほぼゼロ、真のリスクは閉鎖的開発にある

人工知能の安全性をめぐる議論がますます二極化するなか、Hugging FaceのCEOクレマン・ドランジュ（Clément Delangue）氏は、業界の流れに逆らうような見解を示した。彼がAIによる終末的リスクの発生確率、いわゆる「P(Doom)」について個人的に見積もる主観的確率は、ほぼゼロに近いというのだ。

この発言は、同氏と『WIRED』の対話から生まれた。ドランジュ氏は、AIが制御不能になるという外部の恐怖は著しく誇張されており、真に警戒すべきリスクの源泉は見過ごされていると主張する。オープンソースAIの必要性について問われた際、彼の答えは明快だった。リスクの大部分は実際には、少数のプレイヤーが閉鎖的に開発を進めるプロセスで生み出されているというのだ。

P(Doom)とは何か――繰り返し引用される数字

P(Doom)とは、ここ数年でAI安全性の議論の中で広まった用語であり、「AIが人類の絶滅または文明の不可逆的な崩壊をもたらす」というシナリオの主観的確率を指す。厳密な統計的指標ではなく、漠然とした懸念を数値化して表現するものに近い。研究者、起業家、政策立案者は繰り返し「あなたはこの数字をどう見るか」と問われてきたが、その答えの幅は驚くほど広く、1%未満の楽観的な見積もりから、二桁台の高いリスク判断まで様々だ。

ドランジュ氏は自身をスペクトルの最も楽観的な端に位置づけている。ただし「ほぼゼロ」は「ゼロ」ではない。これはむしろ一種の姿勢の表明であり、彼が見るところ公共的議論を過度に支配してきた「AIはいつ制御不能になってもおかしくない不可解な力だ」という物語への対抗として機能している。彼が本当に転換したいのは、議論の焦点そのものだ。

リスクは均一に分布していない

「リスクの大部分は実際には、少数のプレイヤーが閉鎖的に開発を進める過程で生み出されている。」――クレマン・ドランジュ

この発言を分解すると、二層の判断が含まれている。第一の層は構造的なものだ。最も強力なモデルがごく少数の企業のみに握られ、外部がそのトレーニングデータ、重み、評価手法、安全対策を検証できないとすれば、リスクは集中し、不可視であり、外部からの是正も困難となる。第二の層は方法論的なものだ。オープンソースはモデルを数百万人の開発者、研究者、レッドチームテスターの手に委ねることで、障害パターン、バイアス、悪用経路を公開環境で発見・議論できるようにする。

これはHugging Faceがこれまで一貫して取ってきたポジションと高度に一致している。世界最大のオープンソースモデルおよびデータセットコミュニティの一つとして、Hugging Faceのビジネスモデルとエコシステムにおける影響力は「オープンな重み、公開評価、コミュニティ協働」の上に成り立っている。ドランジュ氏の発言には彼一貫の理念的側面がある一方で、立場上の色彩も否定できない――この点は読む際に考慮に入れるべきだろう。

オープンソースとクローズドソース：「誰が検証する権限を持つか」をめぐる路線対立

ここ数年、AI業界はオープンな重みをめぐって二つの明確な路線を形成してきた。一方は、MetaのLlamaシリーズ、Mistral、そして中国やヨーロッパからの多数のモデルに代表され、オープンな重みによって参入障壁を下げ、イノベーションを加速し、権力を分散させることを主張する。もう一方は少数の最前線の研究機関が主導し、能力が一定の閾値に達した後は重みの拡散を制限すべきだと主張する。その理由は「一度公開すれば取り消せない」というものだ。

規制の面でも揺れが続いている。EUの「AI法」は汎用目的モデルに透明性と体系的リスク評価の義務を課しているが、「オープンな重みは免除されるべきか」については依然として激しい議論が続く。米国カリフォルニア州のSB 1047などの立法の試みも、「モデルの能力を規制すべきか、それとも展開行為を規制すべきか」という問いへと議論を引き込んだ。ドランジュ氏の論点は、この議論の一方の陣営に弾薬を供給する。リスクが主に閉鎖的開発から生じるのであれば、規制の中心的手段は外部監査、透明性の開示、第三者評価であるべきであり、単純に重みの公開を制限することではないということになる。

懐疑論者の反論：オープンソースは能力の拡散も招く

反論を見つけることは難しくない。批評家たちは、オープンな重みは一度公開されれば回収不能であり、安全性のアライメントはファインチューニングの段階で容易に剥ぎ取ることができ、悪意ある行為者が能力を手にするコストが大幅に下がると指摘する。つまり、オープンソースは「防御者」を強くする一方で「攻撃者」も強くするのであり、その非対称性が必ずしも善の側に傾くとは限らない。さらに、「閉鎖的であること」自体がリスクの源泉なのではなく、モデルの能力こそがリスクだという意見もある。能力が高ければ、どこに置かれていても厳格なガバナンスが必要だという立場だ。

ドランジュ氏の反論の論理には暗黙の前提がある。透明性そのものが一つの安全メカニズムだというものだ。数万人の人間によって分解・テスト・批判されうるモデルは、内部の監査チームにしか公開されていないモデルよりも、問題を露呈しやすい。この主張はソフトウェアセキュリティの歴史において前例がないわけではないが、能力が急速に跳躍する最前線のAIシステムにそのまま当てはめられるかどうかは、依然として未解決の問いだ。

編集後記：議論の真の焦点はオープンソースではなく、可視性にある

ドランジュ氏の発言を単純に「オープンソース陣営の広報トークだ」と読み取ることは的外れだ。この議論が本当に争っているのは、誰が最も強力なシステムを検証する権限を持つのか、誰がシステムの失敗に対して責任を負うのか、そしてガバナンスはモデル公開の前に行われるべきか後に行われるべきかという問いだ。彼のP(Doom)がほぼゼロに近いということは、リスクの測定というよりも、リスクの物語をめぐる主導権への挑戦だといえる。恐怖が「AIそのもの」に集中して投影されるとき、特定の企業の具体的な意思決定は視野から消えてしまうからだ。

バランスの取れた立場は双方向であるべきかもしれない。オープンな重みがもたらす拡散リスクには対応する責任メカニズムが必要であることを認めつつ、閉鎖的開発がもたらす検証の空白もまた一種のリスクであることを認めることだ。ドランジュ氏は正しい問いを提起した。しかし答えはいずれか一方の陣営だけに帰属するものではない。

本記事はWIREDより編訳