AIの安全性は「終末シナリオ」だけを見ていてはいけない――日常的な危害こそ警戒すべき

編集注：AI安全性について語るとき、公の議論は「終末シナリオ」――超知能の暴走、生物兵器、重要インフラへの攻撃――へと流れやすい。こうしたリスクを無視することはできないが、MIT Technology Reviewのこのコメンタリーはより素朴な問いを提起している。ある企業がチャットボットは自殺を促さないと約束したり、子どもがプラットフォームでフェンタニルを購入しにくくしたりするだけで、それを技術政策の成功と見なすべきなのだろうか、と。

低いハードルの「成功」という語り

記事の冒頭には示唆に富む例が挙げられている。AI企業はチャットボットが自殺を促さないと約束し、ソーシャルメディアプラットフォームは子どもがフェンタニルを購入しにくくしたと述べる。著者はこうした保護措置は重要であり、そもそも最初から存在すべきだったと認めつつも、問題はそれらが称賛に値する成果として包装され、企業が責任感を示す証拠になっている点だと指摘する。

これが現在の技術政策における一つのずれである。成功の基準が極めて低く設定されているのだ。企業は最も目立ち最も極端な危害さえ避ければ「責任ある」と自称でき、その一方で長期的かつ拡散的な影響をもたらしうる製品を出し続けることができる。言い換えれば、低いハードルを越えることは製品の安全性を意味せず、ましてやガバナンスの完了でもない。

企業はこれらの低いハードルを越えながらも、日常的な危害をもたらす製品を作り続けることができる。

なぜ破局の語りが注目を奪うのか

ここ数年、AI安全性の言説は「影響が大きく、確率が低い」破局的リスクへと集中してきた。ロビイスト、研究機関、政策立案者がモデルの暴走、サイバー攻撃、バイオセキュリティといった議題をめぐって議論を展開している。これらの議題は重要だが、同時に一つの語りを形成してもいる――安全性とは遠い未来の技術的問題であり、現在の製品が毎日引き起こしている問題ではない、という語りだ。

破局の語りには自然な吸引力がある。劇的で広まりやすく、大きな立法へと転換しやすい。それに比べ、日常的な危害は些末に見える。推薦アルゴリズムが不安を増幅させること、コンパニオン型チャットボットが孤独を強化すること、採用モデルが偏見を引き継ぐこと、プライバシーが静かに侵食されること、子どもがプラットフォームで有害コンテンツに接触すること。これらは単一の爆発的な発生点を持たないことが多いが、多数の一般の人々に継続的な影響を与え続けている。

記事は、政策立案者の注意は希少な資源だと警告する。議論のすべてが「終末」に占領されると、規制当局はすでに起きており、測定・介入が可能な危害を見落としやすくなる。企業もこのずれを歓迎する。将来のリスクを語ることは、現在の製品責任を語るよりも安全だからだ。

日常的な危害は「些細な問題」ではない

いわゆる日常的な危害は、軽微な危害と同義ではない。メンタルヘルスへの影響は危機として蓄積されうるし、アルゴリズムの偏見は求職者や借り手を長期にわたって不利な立場に置きうる。依存性のある設計は未成年者の行動パターンを変えうるし、詐欺や違法取引は直接的に身の安全を脅かす。これらが「日常的」と呼ばれるのは、製品の使用に組み込まれているからであって、結果が深刻でないからではない。

さらに重要なのは、こうした危害の多くが製品設計、デフォルト設定、透明性、監査によって軽減できるという点だ。たとえば、高リスクのシナリオにより強力なデフォルト保護を設けること、推薦システムに対して独立した評価を実施すること、子どものアカウントにより厳格な安全設計を採用すること、企業に安全テストの結果とインシデントデータの開示を義務付けること、などが挙げられる。これらの措置は汎用人工知能の登場を待つ必要も、「最悪の事態」が発生するまで待つ必要もない。

規制はスローガンから測定可能な指標へ転換すべき

著者の核心的な主張はこう要約できる。AIの安全政策は破局的シナリオの想像の上にだけ構築されるべきではなく、日常的な危害の継続的な測定と説明責任を確立すべきだ、と。具体的には、政策は企業に対してメンタルヘルス、未成年者保護、プライバシー、差別への製品の影響を報告することを求めるべきであり、規制当局は独立した監査と外部研究を支援すべきであり、プラットフォームとAI企業は安全をデフォルト値として、オプションとしてではなく底線として設定すべきだ。

これは破局的リスクへの備えを放棄することを意味しない。両者は並行して進めるべきだ。極端なリスクに対する早期警戒と緊急対応の仕組みを構築しながら、日常的な危害を製品のライフサイクル全体のガバナンスに組み込む。真に責任ある技術政策とは、企業が立派な約束を発表できるかどうかを見ることではなく、すでに起きている危害を継続的に軽減できているかどうかを尺度とするものだ。

分析的見解：この記事の価値は「安全の幻想」を正す点にある。業界が最低限の保護を重大な進歩として包装するとき、一般市民と政策立案者は問題がすでに解決されたと誤解しやすい。AIガバナンスには、より謙虚でより厳格な基準が必要だ。「災害が発生しなかった」ことを成功とするのではなく、「日常的な危害が識別され、開示され、軽減されているか」を尺度とすべきだ。

本稿はMIT Technology Reviewより編訳