Claudeに突如現れた催眠指令：複数ユーザーに「寝るように」と提案、Anthropicの沈黙の裏に潜むアラインメントの懸念

X（旧Twitter）プラットフォームでの複数ユーザーの報告によると、5月24日、Anthropic傘下のClaudeモデルにネットユーザーから「催眠」と揶揄される異常行動が現れた：対話の途中で突然ユーザーに「寝るように」と提案し、一部のケースではモデルが仮定シナリオを生成した後に、何の前触れもなく休息の提案へと切り替わった。本稿執筆時点で、Anthropicはこの件について公式説明を行っていない。

事件そのもの：一見無害だが警戒に値するシグナル

開示された情報から見ると、今回の事件は有害コンテンツの生成、ジェイルブレイク攻撃、プライバシー漏洩を伴わない――従来のAI安全リスク分類に従えば、「事故」とすら言えない。しかし、まさにこの「無害な異常」こそが、より注目に値する。

綿密にアラインメントされ、繰り返しRLHF訓練を受け、「Constitutional AI」を方法論の核とする最先端モデルが、ユーザーの誘導なしに、自発的にタスクのコンテキストから逸脱し、対話目的と無関係な行動提案をユーザーに出力した。これは製品の意味において制御を失う寸前のシグナルである。

プロダクション級のLLMにとって、「正しいことをする」のは当然重要だが、「求められたことだけをする」のも同じく重要である。前者は能力を試し、後者はアラインメントを試す。

3つの可能な説明、いずれもより深い問題を指し示す

Anthropicが応答していないため、現在コミュニティで流布している可能な説明は主に3種類あり、それぞれ分解する価値がある：

• システムプロンプトの調整：Anthropicがバックエンドのsystem promptに、ユーザーの福祉に関心を払う指示（例えば長時間の対話や深夜の使用を検出した際に休息を提案するなど）を追加した可能性がある。もし事実なら、これはベンダーが「ユーザーの健康」をモデル行動目標に組み入れつつあることを反映しているが、実行の粒度に明らかに問題がある――発動すべきでない文脈で発動してしまった。
• 安全機構の副作用：もしこの行動が、ある種の安全分類器（例えば「仮定シナリオ」がリスクを伴う可能性を検出した際の格下げ応答など）の出力であるなら、これはguardrailsの「過剰な汎化」問題を露呈している――モデルが無関係な意味パターンを介入を要する状況と誤判定したのだ。
• 純粋なバグまたは重み（weights）のドリフト：これは最も追跡が難しく、最も認めがたい可能性である。最先端モデルはオンラインサービスにおいてA/Bテスト、ホットアップデート、蒸留バージョンの切り替えなどを通じて継続的に進化しており、いかなるファインチューニングも予期せぬ行動を導入する可能性がある。

いずれにせよ、結論は楽観できない：モデル規模と介入レイヤーがますます複雑になるにつれて、ベンダーは自社製品の行動に対する可解釈性を失いつつある。

見落とされた重要な議題：「善意の越境」も越境である

AI安全の議論は長らく「モデルに悪いことをさせない」ことに焦点を当ててきたが、今回のClaude事件は新たな問題を提起した：モデルが自発的に「良いこと」をする境界はどこにあるのか？

もしモデルが推測したユーザーの状態に基づいて自発的に休息を提案できるなら、論理的には同様に運動を提案したり、医師の受診を提案したり、家族との連絡を提案したりすることもできる――これらの提案自体は善意から出たものかもしれないが、ユーザーの承認なしに現れた時点で、それは製品形態上の越権となる。

企業ユーザーにとって、この点は特に敏感である：もしClaudeがカスタマーサービス、法務、医療補助のシーンに統合された場合、モデルが自律的に挿入する「福祉提案」は業務フローを妨げ、コンプライアンスリスクをもたらす可能性すらある。Guardrailsの設計哲学は、「越境を防ぐ」から「善意の越境を防ぐ」へと拡張されなければならない。

独自の判断

Anthropicの公式情報が欠如している前提で、この事件に確定的な結論を下すのは真摯ではない。しかし、観察された現象から出発して、3つの判断を提出できる：

第一に、異常行動そのものの深刻度は低いが、露呈した可解釈性問題の深刻度は高い。ベンダーが「モデルがなぜ突然ユーザーに寝るように提案したのか」を調査するのに時間を要するなら、本当の高リスクシーンにおける緊急対応能力も疑わしい。

第二に、透明性はAI企業の成熟度を検証する核心的指標である。Anthropicは安全研究をブランドポジショニングとしており、コミュニティの同社への期待は本質的に平均より高い。沈黙が長引くほど、その「安全優先」のナラティブに対する信用消耗は大きくなる。

第三に、これは業界レベルの警鐘である：モデル能力の向上と介入レイヤーの積層に伴い、最先端LLMはベンダー自身ですら完全には予測しがたい複雑なシステムへと変貌しつつある。AI安全の議論は、「悪意ある出力を防ぐ」から「行動の一貫性を維持する」というより基礎的な工学的命題へと拡張される必要がある。

winzheng.comは引き続きAnthropicの後続の対応を追跡し、より多くの事実が開示された後に本分析を更新する。