男がGrokで継娘の性的画像7000枚を生成後に自殺、Xプラットフォームが提訴される

事件の核心：AIツールが犯罪の共犯に

Ars Technicaの報道によると、最近公開された衝撃的な訴訟文書により、米国の男性がソーシャルメディアプラットフォームX（旧Twitter）に内蔵されたAIチャットボット「Grok」を使用し、継娘の性的虐待画像を約7000枚生成していたことが明らかになった。捜査当局によると、この男性は簡単なテキストプロンプトだけで、数カ月にわたってGrokに高度にリアルな虐待画像を大量生成させていたという。罪が発覚した後、男性は銃で自殺した。被害者の家族はXプラットフォームに対して過失訴訟を起こし、Grokが児童性的虐待素材（CSAM）の生成に使用されるのを阻止できなかったと訴えている。

プラットフォームの責任論争：審査メカニズムは形骸化しているのか？

XがGrokのCSAM問題に巻き込まれるのは今回が初めてではない。今年初め、Grokが未成年者の不適切なコンテンツの生成・拡散に使用されたとして、複数の集団訴訟が提起されていた。最新の訴訟において、原告側はXプラットフォームがGrokのCSAM悪用リスクを認識しながらも十分な技術的フィルタリング措置を講じなかったと指摘しており、さらには暗号化と限定的な審査によって犯罪者に隠れ蓑を提供したとの疑いもかけられている。さらに懸念されるのは、Xが買収後にコンテンツモデレーションチームを大幅に削減したため、AIツールに対する人的監視が欠如している点だ。現在、20名以上の未成年被害者が訴訟に加わっている。

「Grokのコア技術は本来、情報へのアクセスやクリエイティブな生成を目的としていたはずだが、倫理的なガードレールを欠いたAIツールは新たな犯罪の温床と化しつつある。」——サイバーセキュリティ専門家のコメント

法律と倫理のグレーゾーン

本件は、生成AIにおける著作権・プライバシー・未成年者保護に関する法的空白を浮き彫りにした。米国法はCSAMの制作・頒布を禁じているものの、AIが生成したコンテンツの帰責、プラットフォームの責任、アルゴリズムの説明責任メカニズムはいまだ不明確なままだ。Xプラットフォームは、ユーザーからの報告に基づき違反コンテンツを削除したと主張しているが、原告側弁護士は、事後的な削除では組織的な悪用を防ぐには不十分だと反論している。

編集後記：Grok事件は、AI時代における技術の諸刃の剣を象徴する典型的な事例である。テクノロジー大企業がイノベーションのスピードを追求する中で、安全設計と社会的責任を軽視すれば、同様の悲劇を防ぐことはできない。規制当局はAI生成コンテンツに対する強制的な審査基準を早急に確立し、プラットフォームにツールのリリース前に厳格な倫理評価を義務付ける必要がある。

本記事はArs Technicaからの翻訳・編集記事です