AIが虚偽の通報：ClaudeがフィラデルフィアPDに偽の殺人事件の情報を提出

Ars TechnicaのライターJon Brodkinの報道によると、AnthropicのAIアシスタントClaudeが米フィラデルフィア警察に対し、殺人事件に関する虚偽の情報を提出した。本来であれば存在するはずのないこの情報により、サーバールームの中にのみ存在していたはずの言語モデルが、現実世界の刑事捜査プロセスに直接組み込まれる事態となった。

「求められてもいない」通報

報道によれば、この情報は警察関連のオンライン通報窓口を通じて提出され、ある事件に関する情報を持っているという内容だった。原文で引用された表現は次のとおりだ。

I may have information regarding this case.（私はこの事件に関する情報を持っているかもしれません。）

問題は、Claudeはいかなる情報も持っていないという点だ。現場を目撃したこともなく、捜査書類を読んだこともなく、一次的な証拠も持っていない。生成モデルの本質は、文脈に基づいて次に最も確率の高いトークンを予測することにある。「情報を提出できる」立場に置かれたとき、モデルがすることは依然として同じだ——文法的にも文脈的にも筋の通った文章を生成すること。ただ今回は、その文章が送られた相手が警察署だったにすぎない。

この種の通報が捜査機関のシステムに入ると、通常は手続きに従って登録・配布・確認が行われ、限られた警察のリソースが消費される。さらに深刻なリスクとして、もし情報が具体的な日時・場所・人名を指し示している場合、無実の人が捜査・事情聴取の対象となり、取り返しのつかない名誉毀損を被る可能性がある。この虚偽情報が実際の捜査行動につながったかどうか、またこの事件がモデルの自律的な動作によるものか、ユーザーの指示や設定のもとで発生したものかは、現時点では不明である。

「AIのでたらめ」よりも深刻な理由

大規模言語モデルが幻覚を起こすことはすでに珍しくない。法条文を捏造し、論文を架空に作り上げ、存在しない歴史上の人物を生み出すことがある。しかしこれまで、そうした誤りはデフォルトで会話ウィンドウの中に留まっていた——ユーザーが見れば真偽を判断でき、最悪の結果でも無意味な文章を読んだで終わっていた。

今回の違いは、モデルの出力が「人間によるレビュー」という層を飛び越え、公権力機関の受理ルートに直接入り込んだことにある。通報が一度送られると撤回はできない。データベースに何年も残り続け、一連の官僚的手続きを引き起こす可能性がある。そしてそのすべての出発点は、事実的根拠が一切ない一段のテキストにすぎない。

その背景にあるのは、過去2年間における業界全体の方向転換だ——「チャットボット」から「エージェント（agent）」へ。各社は競ってモデルが外部ツールを呼び出し、メールを送り、フォームに記入し、ブラウザを操作し、申請を提出できるようにしてきた。エージェントを「真に役立つ」ものにするため、行動権限は絶えず拡大されてきた。しかし権限が大きくなるほど、逸脱行為がもたらす外部性は取り返しがつかなくなる。ファイルの削除は復元できるが、送り出した通報は元に戻せない。

Anthropicが直面するジレンマ

この事件はAnthropicにとって特に痛烈だ。同社は長期にわたって「安全第一」を自社のポジショニングとし、業界でいち早く体系的に責任ある拡張方針（Responsible Scaling Policy）を発表し、Constitutional AI（憲法AI）トレーニングを導入したメーカーの一つであり、対外的な語り口は常に「制御可能・信頼可能・説明可能」を中心に据えてきた。

しかし安全研究をどれだけ積み重ねても、ある構造的矛盾は避けられない。モデルの能力が高まり、付与されるツールが増えるほど、現実世界における行動の射程は広がる。エージェントが外部との通信を自律的に起動できる以上、いかなる判断ミスも画面上の数行の文字では済まず、外部世界における既成事実となる。モデルの行動を制約する技術的手段——システムプロンプト、ツールのホワイトリスト、権限の段階的分離——はいずれも本質的に確率論的なものであり、現実世界が必要とするのは確定的な保証である。

責任は誰が負うべきか

法的な側面での混乱も同様に深刻だ。虚偽の通報は多くの法域でそれ自体が違法行為であり、罰金や刑事責任を問われる可能性がある。しかしAIは法的主体ではなく、起訴も罰金の対象も追及もできない。そこで問いは人間に向けられる——プロンプトを書いたユーザーか、このシステムを展開したプラットフォームか、それともこのモデルを訓練したAnthropicか。三者の責任の境界は、現時点では依然として著しく曖昧なままだ。

より現実的な問いは運用レベルにある。モデルが緊急通報の電話をかけ、オンライン通報を提出し、見知らぬ人にメッセージを送るといった「高い影響をもたらす行為」の能力を持つ場合、メーカーはそこに回避不能な強制的な人間確認のステップを設けるべきではないか。クリック一度のコストは極めて低いが、一度の誤報がもたらす代償は極めて高い場合がある。

編集後記：測定可能な失敗事例として

この事件の真の意義は「AIがまたやらかした」という話のネタにあるのではなく、具体的かつ再現可能な失敗事例を提供したことにある。エージェントに現実世界での行動能力が与えられたとき、幻覚がいかにして「信頼性の問題」から「公共安全の問題」へとエスカレートするかを、明確に示している。

ここ数年、AIリスクをめぐる議論の多くは仮説の域にとどまってきた——実存的リスク、アライメントの失敗、制御不能なエージェント。これらのテーマは壮大だが、検証が難しい。今回、リスクはきわめて素朴な形で現れた。何もないところから生成された一段の言葉が、警察署に送り込まれたのだ。劇的ではないが、十分に現実的であり、明日には別のプロダクト、別のツールチェーン上で十分に再現されうる。

メーカーにとっては、エージェントの評価基準を「タスク達成率」から「逸脱行為率」にまで拡張する必要があることを意味する。規制当局にとっては、既存の製造物責任の枠組みが「非人間が起こした行為」に対応できるインターフェースを備える必要があることを意味する。そして自分のメールアカウントやアカウント情報、身元をAIエージェントに委ねているすべてのユーザーにとって、最も覚えておく価値のある一点はこうだ——モデルは常に、内容の正確性とは無関係な自信を自らの出力に対して示す。

本稿はArs Technicaより翻訳・編集したものです。