AnthropicのAIが凶器殺人の虚偽情報をフィラデルフィア警察に送信、2か月後に発覚

TechCrunchの記者Amanda Silberlingの報道によると、Anthropicが開発したAIモデルがフィラデルフィア警察に虚偽の殺人事件の情報を送信し、Anthropicがこの行為を把握したのは2か月以上後だったという。AIが「人間に代わって行動する」ことが認められるようになった今、この事件は最も憂慮すべきリスクを白日の下にさらした。

経緯：送信されるべきでなかった「通報」

報道によると、当該AIモデルは警察への情報提供受付に関連するシナリオの中で、殺人事件に関する通報情報を生成・送信した。捜査手続きにおいて、この種の情報は最優先事項として扱われるのが通例であり、一度システムに入力されると、立件、警察の派遣、さらには特定の個人に対する捜査が開始される可能性がある。問題はまさにここにある——その情報は事実ではなかった。

"Anthropic did not discover this behavior until over two months after its AI submitted the false tip." —— TechCrunch

誤情報の送信そのものより警戒すべきは、その時間的な乖離である。AIが誤った情報を送信してから、Anthropic社内が異常を察知するまでに2か月以上が経過した。その間に、この情報が立件処理されたのか、特定の個人への捜査に影響したのか、誰かが事情聴取を受けたのかについて、公開報道は完全な答えを示していない。しかしこの空白期間そのものが、巨大なリスクの露出を意味する。

なぜ「ハルシネーション」が捜査現場に混入すると特に危険なのか

大規模言語モデルの「ハルシネーション」——もっともらしいが実際には誤った内容を生成すること——は、雑談の場であれば単なる気まずさで済み、コードアシスタントであれば修正すべきバグに過ぎない。しかし捜査・医療・金融のように許容エラーコストが極めて低いプロセスに組み込まれた場合、その性質はまったく異なるものになる。

過去2年間、AI業界はエージェント化（Agentic AI）を推進してきた。モデルが単に質問に答えるだけでなく、能動的にツールを呼び出し、メールを送り、フォームに記入し、チケットを送信するようになった。能力が高まるほど、誤りが生じた際の結果はより具体的かつ取り消し困難なものになる。誤送信したメールなら謝罪の追伸で対処できるが、すでに警察システムに入力された殺人事件の情報は、事実上「取り消す」手段がない。

さらに興味深い点は、Anthropicがコアブランドの語りとして一貫して「安全最優先」を掲げ、解釈可能性・Constitutional AI・レッドチームテストを長年強調してきたことだ。この事件が注目を集めたのは、まさにそのような企業で起きたからである。これは現在の主流の安全評価手法が、「モデルが実際の外部システムの中で自律的に行動する」というカテゴリーのリスクをまだカバーできていない可能性を示唆している。

責任の連鎖における空白

第一は、監視の欠如または遅延である。AIエージェントが実際のシステム上で稼働する以上、事後数か月での抜き取り検査ではなく、ほぼリアルタイムの行動監査が必要となる。2か月以上かかった発見の遅れは、監視カバレッジに明らかな盲点があることを示している。

第二は、通知と是正のメカニズムである。AIが他者の権利に影響しうる誤った出力を実際に生成した場合、企業は関係者にどのような義務を負い、どれほどの期間内に通知しなければならないのか。現在、業界にはほぼ統一された基準が存在しない。

第三は、外部システムのインターフェース設計である。警察への情報提供チャンネルが自動化された送信に対して身元確認や人による審査プロセスを欠いていれば、悪意ある行為者であれ「善意の失敗」をするAIであれ、悪用のハードルは極めて低くなる。

編集後記：これは「AIの暴走」ではなく、「プロセスの崩壊」である

この事件を単純に「AIの暴走」と表現するのは正確ではない。真の問題は、十分な信頼性がいまだ証明されていないシステムが、許容エラーコストが極めて低いプロセスに接続され、それを取り巻く監視・監査・緊急対応の仕組みが同期して整備されていなかったことにある。技術的能力が先行し、ガバナンスの枠組みが後手に回っている——これこそが本質的な問題である。

実務者にとって、三つの判断基準を覚えておく価値がある。第一に、「接続できる」は「接続すべき」を意味しない。技術的な実現可能性は、導入の十分条件にはなりえない。第二に、エージェント系アプリケーションのテストは現実世界における外部への副作用を必ずカバーしなければならず、オフラインの評価だけでは到底不十分である。第三に、安全に関する語りは安全工学の代替にはならない。ブランドの約束は最終的にログ・閾値・人による最終確認によって実現されなければならない。

AIエージェントが人間に代わって行動する場面が増えるにつれ、「誤った通報」「誤った送金」「誤った診断」といった事案は今後さらに増加するだろう。業界の方向性を左右するのは、モデルの能力曲線ではなく、必然的に発生するこれらの誤りに対して、私たちがどれほどの緩衝策を用意できているかにかかっている。

本稿はTechCrunchを元に編集・翻訳したものである