OpenAIとGoogleの新モデル、裸露画像生成を容易に誘導可能と研究が明らかに

Ars Technicaの報道によると、最新の研究により、OpenAIとGoogleが近年推進している新世代AI画像生成モデルに深刻なセキュリティ上の欠陥があることが明らかになった。研究者たちは特定の攻撃手法を用いるだけで、両社が設けた保護機構を容易に回避し、裸露または性的な画像を生成させることができたという。この発見は、「新モデルはより安全だ」というAI大手の公式声明に真っ向から異議を唱えるものだ。

セキュリティ保護は有名無実か？

研究チームは、この攻撃手法が現在の主流AI画像生成モデルで広く採用されている「安全フィルター」機構を標的にしていると指摘する。理論上、これらのフィルターはモデルの出力前に生成コンテンツを検査し、裸露・暴力・その他の違反コンテンツを含む画像を遮断するはずだ。しかし研究者たちは、巧みに設計されたプロンプトや、モデルのコンテキスト理解における盲点を突くことで、攻撃者が本来禁止されるべきコンテンツをモデルに生成させることができると発見した。

さらに懸念されるのは、影響を受けるのが旧バージョンのモデルではなく、OpenAIとGoogleが最新リリースとして発表し、対外的に安全性の大幅な向上を強調していた新世代モデルであることだ。これは、両社がセーフティアライメント（alignment）とコンテンツモデレーションに多大なリソースを投じているにもかかわらず、実際の保護効果は依然として満足のいくものではないことを意味する。

業界共通の難題

この攻撃手法は、OpenAIとGoogleにおけるAI裸露コンテンツ対策の欠陥を浮き彫りにした。

実際、AI画像生成モデルが「ジェイルブレイク」されることは今に始まった話ではない。初期のStable Diffusionから後のDALL·E、Midjourneyに至るまで、ほぼすべての世代の生成AIで違反コンテンツを生成させることができると報告されてきた。業界での一般的な対応は「パッチを当てる」式のものだ。ある攻撃手法が公開されると、メーカーは素早く脆弱性を修正するが、新たな回避方法はすぐに登場する。このイタチごっこにより、AIコンテンツセキュリティは常に受動的な防御状態に置かれている。

注目すべきは、AI生成画像がソーシャルメディア上で急速に拡散するにつれ、ディープフェイク（deepfake）や非合意性的画像（NCII）の問題が世界各地の規制当局の関心を集めるようになっていることだ。複数の国や地域が、AI企業に生成コンテンツに対するより多くの責任を求める立法を推進している。こうした背景のもと、新モデルが相次いでセキュリティ上の欠陥を露呈することは、規制当局からの圧力をさらに高めることは間違いない。

編集後記：安全への約束と現実のギャップ

今回の研究が注目を集める理由は、技術的な脆弱性そのものにとどまらず、AI企業の安全に関する宣伝と実際の能力との間のギャップを浮き彫りにしている点にある。メーカーが発表会で「新モデルの安全性は著しく向上した」と高らかに宣言する一方で、独立研究者によるテストでは、これらの保護措置が巧みに設計されたいくつかのプロンプトで回避できることが示された。

OpenAIとGoogleにとって、問題は特定の脆弱性を修正することだけではなく、セキュリティ機構の設計思想そのものを見直すことが求められている。現在の出力側フィルタリングに基づくアプローチは本質的に「事後遮断」であり、あらゆる攻撃の変種に対応することは難しい。業界の一部の専門家は、安全への配慮をモデルのトレーニングとアライメントの段階により早期に組み込むとともに、より透明性の高いサードパーティ監査の仕組みを導入すべきだと提言している。

しかし、激しいモデル競争の中では、安全性はしばしばスピードと性能に後回しにされがちだ。急速なイテレーションを続けながら安全性を犠牲にしないためにはどうすればよいか——これはOpenAI、Google、そして生成AI業界全体が答えを出さなければならない問いだ。規制の強化と公衆意識の高まりに伴い、AIコンテンツセキュリティは「加点項目」から「必須要件」へと変わっていくことは予測に難くない。今回の研究は、この長期的な攻防における一つの注釈に過ぎないかもしれない。

本稿はArs Technicaを基に編訳したものです。