WhatsAppのヘルプページからMetaのチャットボット隠し指令が流出

『WIRED』記者マット・バージェス（Matt Burgess）の報道によると、WhatsApp公式サイト上の約80のヘルプページが一般公開された状態で、本来チャットボット専用に提供すべき内部指令を誤って含んでいたという。その中には「WHAT NOT TO SAY（言ってはいけないこと）」と明記されたタブー項目リストまで存在していた。Metaはこれをプログラムのバグによるものと説明し、該当ページの問題はすでに対処済みだとしている。

ヘルプセンターに紛れ込んだ「ボット取扱説明書」

ヘルプセンターのページといえば、通常は最も目立たないプロダクトドキュメントだ。アイコンの変更方法、チャット履歴のエクスポート方法、プライバシー設定の方法など、本来は「人間」向けに書かれた説明書のはずである。ところが今回の件では、約80のページに「機械」向けの指令が混入していた。チャットボットがどのような立場で発言すべきか、どのようなトーンで応答すべきか、どのトピックには慎重を要するか、どのような質問は人間のオペレーターに転送すべきか、あるいは回避すべきかといった内容が含まれていた。

つまり、これらのページはAI製品の「行動スクリプト」を、計らずも公開インターネット上に晒してしまったのだ。対応するリンクにアクセスすれば、誰でもバックエンドに封じ込めておくべき設定テキストを閲覧できた。この種のテキストは業界では一般に「システムプロンプト」または「デベロッパー指令」と呼ばれ、チャットボットの性格と行動範囲を規定する中核的な素材である。

「言ってはいけないこと」――機械向けのタブーリスト

流出した内容の中で最も注目を集めたのが、「言ってはいけないこと」リストだ。その本質は一連の否定的制約である。履行できない約束をしてはならない、越権的な法律・医療・財務上の問題について確定的な結論を出してはならない、センシティブな社会的議題について立場を表明してはならない、競合他社を不適切な形で評価してはならない、などといった内容だ。こうしたルールは今日のAI製品においては極めて一般的であり、「ガードレール（guardrails）」の一部を構成している。

問題はシステムプロンプトがセキュリティ上の境界線ではなく、むしろ「提言書」に近いという点にある。近年、大規模言語モデルのシステムプロンプトに関する流出事例は後を絶たない。初期のチャットボットがユーザーに「初期設定を繰り返して」と誘導されたケースから、現在では専門的なプロンプト窃取手法まで登場し、攻撃者はモデルの自己開示の境界を常に探っている。ルール自体が公開されれば、攻撃者はより精密に迂回質問を設計し、モデルの脆弱な箇所へのプロンプトインジェクションやジェイルブレイクを仕掛けることが可能になる。

さらに微妙なのは、これらのルールが公開されることで一般ユーザーの信頼感にも影響が生じる点だ。ユーザーは「自然に」会話するアシスタントと対話していると思っていたのに、すべての応答の背後に「禁止」「回避」「してはならない」と書き連ねた操作マニュアルが存在することを知ることになる。透明性と擬人化の間の緊張関係が、こうした事件によって露わになった。

Metaの対応：セキュリティインシデントではなくバグ

Metaはこの件を技術的障害と位置付け、バグによって内部指令が公開ページに表示されたと強調し、すでに修正済みだとした。当該指令がどのくらいの期間存在していたか、その間に何人が該当ページにアクセスしたか、ユーザーデータが関係するかどうかについては明らかにしていない。現時点の情報から見れば、これはデータ漏洩事故というよりも設定公開上のミスに近い。

しかし「ただのバグ」という説明は、より根本的な問題を回避している。なぜボット向けの行動指令が公開ウェブページに展開されたのか、という点だ。成熟したソフトウェアエンジニアリングの実践では、認証情報・設定・内部ルールはいずれもアクセス制御、コードレビュー、リリース前スキャンの対象とすべきである。システムプロンプトは今やAI製品の中核的資産であるにもかかわらず、「コピー」の形式でさまざまな媒体に無頓着に複製され、その重要性に見合ったガバナンスプロセスが欠如していることが多い。

なぜこの件が警戒に値するのか

攻撃者にとって、流出したタブーリストは一種の地図に相当する。ボットが話すことを禁じられている内容を知れば、何を話すことが許されているか、どの境界線が最も崩しやすいかを推測できる。規制当局や研究者にとっては、AI製品の実際の行動規範を観察できる稀な資料となる。企業が公式に宣言する原則と、実際にシステムプロンプトに書き込まれているルールは、往々にして完全には一致していないからだ。

業界にとっては、この事件が明確な警告を発している。システムプロンプトは通常のヘルプドキュメントではなく、機密性の高い設定情報として扱われるべきだということだ。AIアシスタントがカスタマーサービス・決済・医療相談などの場面に深く入り込む中、その行動ルールの外部流出は「取扱説明書を見られた」という些細な恥ずかしさではなく、ソーシャルエンジニアリング攻撃や自動化されたジェイルブレイクの出発点になりかねない。

編集後記：システムプロンプトの流出は一見「取扱説明書を見られた」に過ぎないように見えるが、実質的にはAI製品の行動ルールが外部から監査されたに等しい。真に問うべきは「なぜバグが発生したか」ではなく、「なぜ中核的なルールが誰でもアクセスできる場所に置かれていたのか」という点だ。AIが企業の代わりに発言するようになった以上、その「発言規範」はデータベースのパスワードと同様に真剣に管理されるべきである。

本稿はWIREDより編訳