サンフランシスコ、AIによる「脱衣」アプリの削除をAppleとGoogleに要求

今週、サンフランシスコ市検察官室は注目すべき行動を起こし、AppleとGoogleに対して正式な停止通告書（cease-and-desist letter）を送付した。両社の技術大手に対し、いわゆる「フェイススワップ（face-swap）」アプリ13本をそれぞれのアプリストアから削除するよう求めた。これらのアプリは人工知能技術を利用して、通常の写真をリアルな裸体画像に変換するものであり、被害者の大多数は何も知らない女性や少女たちである。

事件の背景：AIフェイススワップ技術が性的暴力のツールに

WIREDの報道によると、これらのアプリは一般的なエンターテインメントソフトウェアではなく、偽の裸体画像を生成することに特化したツールである。ユーザーは写真を1枚アップロードするだけで（多くの場合、SNSや個人のアルバムから盗まれたもの）、AIアルゴリズムが自動的に衣服を「脱がせ」、極めてリアルな裸体画像を生成する。これらの画像はその後、嫌がらせ、恐喝、名誉毀損、さらにはオンラインでの拡散に悪用され、被害者に計り知れない心理的ダメージと名誉上の損害をもたらしている。

サンフランシスコ市検察官のDavid Chiuは声明の中で次のように強調した。「これらのアプリは女性をAI駆動のポルノ製造機として扱っている。テクノロジー企業は自社のプラットフォームが性的暴力の加速装置となることを傍観し続けることはできない。」同氏はさらに、AppleとGoogleはそれぞれのアプリストアポリシーでポルノコンテンツを禁止しているにもかかわらず、これらのアプリがポルノツールとして分類されず、「美容フィルター」や「楽しいフェイススワップ」ソフトウェアに偽装して審査をすり抜けたと指摘した。

法的根拠とテクノロジー企業の責任

停止通告書はカリフォルニア州法の複数の条項を引用しており、不正競争および虚偽広告の禁止規定が含まれる。検察官室は、AppleとGoogleがこれらのアプリを審査・公開することで、実質的にこれらの違法行為から利益を得ていると主張している。さらに深刻なのは、これらのアプリの設計意図そのものが違法であるという点だ。これらは同意なしに性的な画像を作成・拡散するために広く使用されており、女性の基本的権利への侵害を直接構成している。

実際、こうした「脱衣」アプリは数年前にはすでに登場していた。たとえば、2023年に一時的に話題になりすぐに封鎖された「DeepNude」がその例である。しかし、AI技術の急速な進化により、新世代のアプリはより一層リアルで操作も簡単になり、数秒以内に「フェイススワップ」を完成させることさえ可能となった。初期バージョンとは異なり、現在のバージョンは動画やリアルタイムのカメラ入力にも対応しており、潜在的な被害をさらに拡大させている。

「被害者の大多数は女性であり、しばしば未成年者でもある。これらのアプリは技術的な悪用であるだけでなく、システム的な性差別暴力のデジタル的延長である。」――サンフランシスコ市検察官室声明

注目すべきは、AppleやGoogleがアプリ審査の不備を問われるのはこれが初めてではないという点だ。2024年には、被害者たちが集団でAppleを提訴し、App Storeが悪意のあるストーキングウェアの公開を許可したとして訴えている。今回サンフランシスコが政府名義で直接通告書を送付したことは、規制強化の明確なエスカレーションを示している。

テクノロジー業界の対応と今後の課題

本稿執筆時点において、AppleとGoogleはいずれも停止通告書に対して正式な回答を行っていない。しかし事情に詳しい関係者によると、両社内部ではすでにAI生成コンテンツの審査強化に向けた議論が始まっているという。ただし、現実の問題として、この種のアプリは検知を回避するために高度な技術的手段を講じることが多い。たとえば、サードパーティAPIの使用、コンテンツの動的ロード、あるいは「フェイススワップ」機能を複数回のクリックの先に隠すといった手法が用いられている。

業界全体の観点からすると、この「猫とネズミのゲーム」はまだ終わっていない。一方では、AIの参入障壁の低さにより、誰でも簡単に類似のアプリを開発・アップロードできる。他方、アプリストアの審査チームが全アプリの潜在的な悪用を一つひとつテストすることはほぼ不可能である。セキュリティ専門家は、プラットフォームがより厳格なAI倫理審査を導入すべきだと提言している。具体的には、開発者にデータの用途開示を義務付け、露骨なコンテンツの自動生成を禁止し、苦情が多いアプリに対して迅速な削除手続きを実施することなどが挙げられる。

編集者注：今回のサンフランシスコの行動は明確なシグナルを発している。テクノロジー大手はもはや「技術的中立性」を口実に責任を回避することはできない。ある技術の大多数の用途が他者を傷つけるものである場合、プラットフォームは最高の倫理基準でそのリスクを評価しなければならない。さらに重要なのは、法律が技術の進化に追いつく必要があるという点だ。事後的な責任追及だけでは到底不十分であり、開発から公開、使用に至るまでの全段階にわたる規制体系の構築が不可欠である。そうでなければ、AIの進歩は常に無実の人々の涙を伴うことになるだろう。

本記事はWIREDより編訳