サンフランシスコ市、MetaにAI生成の児童虐待広告の放置停止を命令

サンフランシスコ市検察官事務所はこのほど、テクノロジー大手Metaに対して厳重な警告を発し、同社のソーシャルプラットフォーム上でAI生成の児童性的虐待（CSAM）広告を「許容」することを直ちに停止し、なぜそのようなコンテンツがFacebookおよびInstagram上で繰り返し出現するのかについて正式な説明を行うよう要求した。この異例の行政措置は、AI技術の悪用とプラットフォーム審査機能の失効という問題を再び世論の矢面に立たせることとなった。

衝撃的な告発：AI生成の虐待広告が繰り返し出現

サンフランシスコ市検察官事務所が公開した文書によると、Metaが運営する二大ソーシャルプラットフォームでは、少なくとも数カ月前から生成AIによって合成された児童性的虐待広告が出現し始めていた。これらの広告は一般的なコンテンツを装い、アルゴリズムを通じて特定のユーザー層に配信され、クリックを誘導して違法サイトへ誘導しようとするものだった。市検察官事務所は、これらの広告がプラットフォーム自身のコンテンツポリシーに違反するだけでなく、複数の連邦法およびカリフォルニア州法に抵触する可能性があると指摘した。

「Metaは最先端のコンテンツ審査システムを有すると主張しているが、実際には、こうした極めて悪質なAI生成コンテンツがプラットフォーム上で繰り返し配信され、通報された後でも再び出現している」と市検察官事務所は声明で述べ、「Metaに対し、より透明性のある説明と、この行為を阻止するための即時かつ有効な措置を求める」と訴えた。

Metaの反応：広告は市の管轄外と主張

地方政府からの強い批判に対し、Metaの対応は慎重なものとなった。市検察官事務所に提出した初期回答の中で、Metaの法務チームは、当該広告に関わるコンテンツの生成・配信プロセスはサンフランシスコ市の行政管轄外に当たる可能性があると主張した。その理由として、プラットフォームの利用規約および実際の運営体制がより広範な法体系に準拠していることを挙げた。

Metaはまた、AI自動検知、人間によるレビュー、ユーザー通報を含む「多層的な防護メカニズム」をすでに導入していると強調し、公開されているデータだけでは「許容」という能動的な行為の存在を直接証明できないとした。しかし市検察官事務所はこれを受け入れず、プラットフォームのレコメンドアルゴリズムは広告の拡散に対して免れない責任を負っており、「積極的に削除しないこと」は「許容していないこと」とは同義ではないとの立場を示した。

編集注：Metaがプラットフォームの安全管理をめぐって批判を受けるのは今回が初めてではない。中間選挙における偽情報から、過激主義コンテンツや人身売買の温床となった問題まで、Metaのプラットフォームは長年にわたり「安全審査の遅滞」と批判されてきた。しかしAIが生成した虐待素材が大量に製造され、低コストの広告として配信できるようになった今、従来のコンテンツフィルタリング手法ではもはや対応が追いつかないことは明白だ。サンフランシスコが今回高らかに介入したのは、一都市の力でプラットフォームの改革を促そうとする試みかもしれないが、その実効性については依然として疑問符がつく。

生成AIがプラットフォームガバナンスにもたらす新たな課題

生成AIの急速な普及はコンテンツ制作に利便性をもたらす一方で、違法コンテンツの製造に新たな手段を提供することにもなった。かつて児童性的虐待コンテンツの制作・配布には複雑な撮影・編集プロセスが必要だったが、今やオープンソースの画像生成モデルを使えば、実際の被害者を必要としない「仮想的な虐待」素材が数秒で生成できる。AIが生成するCSAMはプラットフォームの審査をより困難にしている。「実際の被害者」と「合成コンテンツ」の境界を曖昧にするだけでなく、アルゴリズムによる配信の規模効果も重なるためだ。

インターネット・ウォッチ財団（IWF）は、AI生成の児童虐待コンテンツの件数が2025年から2026年にかけて指数関数的に増加していると繰り返し警告してきた。同財団によると、AI生成のCSAMの多くは通常の識別システムをすり抜けるだけでなく、広告プラットフォームやソーシャルメディアのフィード、公開フォーラムに頻繁に出現しているという。法執行機関が直面する核心的な問題の一つは、画像の中に実在する被害者が一人もいない場合、現行法においていかにして「被害」を定義するかという点だ。

複数の法律専門家は、ほとんどの国では実際の児童性的虐待素材の制作・頒布を処罰する法律がすでに存在するが、AI合成のCSAMに関する規定はまだ整備が追いついていないと指摘する。一部の法域では「わいせつ物」や「ディープフェイク」に関する法的枠組みへの組み込みが試みられているが、前提としてプラットフォームが識別・通報に協力することが依然として必要だ。

サンフランシスコの行動は連鎖反応を引き起こせるか

サンフランシスコは世界最大の複数のソーシャルメディアプラットフォームの本社所在地であり、テクノロジー規制の最前線でもある。市検察官事務所が今回Metaに行政命令を発したことは、刑事捜査を直接開始するものではないが、地方政府がプラットフォームによるAI違法コンテンツの「構造的な放置」をこれ以上容認しないという姿勢を明確に示した。

アナリストは、Metaが十分な対応策を提示できない場合、サンフランシスコ側がさらに召喚状を発行して内部審査記録の提出を求めたり、州司法長官の介入を促したりする可能性があると指摘する。一度先例が形成されれば、他の都市や州も追随し、連邦議会によるAI生成コンテンツの規制立法の加速をさらに後押しする可能性が高い。

Metaにとって、この時期は多難な局面に当たる。EUのデジタルサービス法（DSA）による厳格なコンプライアンス要件、米連邦取引委員会（FTC）によるプライバシー保護協定への疑義、そして今回の地方政府による直接の問責という複数の課題に直面する中、プラットフォームは自社の巨大なコンテンツシステムの中で害悪が生じ得るあらゆる角落に真摯に向き合わなければならない。AI技術そのものに善悪はないが、この規模のシステムを管理・運営するテクノロジー企業は、その規模に見合った責任を担うことが求められる。

本稿執筆時点で、Metaはサンフランシスコの最新の要求に対してさらなる回答を行っていない。サンフランシスコ市検察官事務所はMetaに対し、30日以内に正式な説明と明確な改善スケジュールを提出するよう求めている。

本記事はWIREDより編訳