DiscordのAI自動審査バグにより8,200超のアカウントが誤凍結——チェス盤のスクリーンショットがCSAMと判定されユーザーが反発

Discordは、自動審査システムのプログラムエラーにより、2026年5月から7月上旬にかけて8,200超のアカウントを誤凍結し、さらに特定の週末に200アカウントが追加で凍結されたことを確認した。誤判定された画像には、スプレッドシートのスクリーンショット、チェス盤、ゲームテクスチャ、および白色またはグレーの透明背景が含まれており、これらがシステムによって児童性的虐待素材（CSAM）としてフラグが立てられ、永久凍結が直接実行された。

システムの動作とバグの原因

Discordの審査フローは類似マッチングアルゴリズムに依存しており、アップロードされた画像を既知の有害コンテンツデータベースと照合する。この手法は違法画像の迅速な識別を可能にするが、画像の視覚的パターンが有害コンテンツと類似している場合に誤検知が生じやすい。通常、フラグが立てられたコンテンツはトラスト＆セーフティチームによる人工レビューを経てから対応が決定され、アカウント凍結ではなくアップロード停止が想定動作となっている。しかし今回のバグは、人工レビューのプロセスと停止メカニズムの両方を同時に迂回し、ミリ秒単位で凍結が自動実行され、その後の人工確認によっても解除不能な状態を引き起こした。

同社の広報担当者は、類似マッチング自体には既知の誤検知リスクがあるため、人工的なセーフティネットが設計されていると説明した。しかしそのセーフティネットは2カ月間機能せず、週末に新たに200件が発生して初めて発覚した。Discordは修正を公開済みで、影響を受けた全アカウントを復旧中としている。

利害関係者への影響分析

Discord自身にとって、今回の事件はユーザーの信頼を直接損なうものとなった。月間アクティブユーザーが2億人を超えるプラットフォームにおいて、プロフェッショナルユーザーやゲーム開発者はコラボレーションや配信のためにアカウントに依存しており、突然の永久凍結は業務の中断とデータ損失をもたらした。同社はアカウントを復旧し保護強化を約束したものの、バグの具体的な技術的詳細は公開していない。

開発者やヘビーユーザー層が受けた損害は最も直接的なものだった。ゲーム開発者JDBRYANTらの事例が示すように、テクスチャファイルが誤判定されてアカウントが削除され、プロジェクトのコミュニケーションやコミュニティ管理に影響が及んだ。ユーザーが共通して訴えているのは、申請ルートがなく明確な理由もない凍結が、プラットフォームに日常的に依存する人々に実質的な被害をもたらしているという点だ。

競合プラットフォームでは、MetaやTumblrでも以前に説明のない大規模凍結に関する苦情が発生している。InstagramおよびFacebookグループでは昨年、自動審査によると見られる凍結が発生し、Metaの監督委員会は透明性の向上を求めた。Tumblrでもグリッドパターンの誤判定に関する苦情が報告されている。これらの前例は、類似マッチングに依存する自動化システムが複数のプラットフォームで大規模な誤検知リスクを抱えていることを示している。

深層メカニズムと業界のパターン

ユーザーの推測によれば、システムがグリッド状パターンに過剰反応するのは、過去に悪意ある行為者がそのようなパターンを用いて違反コンテンツを隠蔽・偽装していたためだという。アルゴリズムが回避パターンを学習した後、汎化能力が不足したことで、無害なチェス盤や表もトリガーされるようになった。また、アップロード停止バッファのスキップと凍結状態のロックという2つのプログラムエラーが重なり、人工レビューが形骸化した。

Discord社内では「AI」というラベルの使用に慎重な姿勢が見られ、CTO（最高技術責任者）のStanislav Vishnevskiyは公式確認においてその言葉を使用しなかった。同社の過去のブログではCSAM識別における機械学習の活用について言及していたにもかかわらずだ。これは、自動化能力の宣伝と実際のリスク管理との間にあるプラットフォームのギャップを反映している。