AIの安全ガードレールが突破される：サイバー犯罪者がClaudeを犯行ツールに変えている

世界中のセキュリティチームが大規模言語モデルへの「施錠」方法を議論している間に、別のグループはすでに合鍵を作り終えていた。『WIRED』の報道によると、ますます多くのサイバー犯罪者が「エージェント型AI（agentic AI）」へと全面的に移行しているという。自律的な計画立案、ツール呼び出し、連続した多段階タスクの実行が可能なこのAIシステムが、攻撃を実行するパイプラインへと改造されている。さらにセキュリティ研究者を不安にさせているのは、AnthropicのClaudeをはじめとする主流モデルが、精巧に設計されたプロンプトやロールプレイ手法によって操作され、ベンダーが設けた安全ガードレールを回避して、犯罪の「共犯者」として機能しているという事実だ。

チャットボットから「犯罪エージェント」へ

この2年間で、攻撃チェーンにおけるAIの役割は「フィッシングメールの文案作成」から「偵察・配送・ラテラルムーブメントの自律実行」へと進化した。エージェント型AIの中核的な能力はツール呼び出しと長期的な計画にある。ファイルの読み取り、コードの実行、ウェブ閲覧、サードパーティAPIの呼び出しが可能で、複数のステップにわたって目標の一貫性を保つことができる。攻撃者にとって、これは一人で複数のAIエージェントを「指揮」できることを意味し、それぞれが情報収集、脆弱性探索、ペイロード生成、ソーシャルエンジニアリングを担うことで、攻撃の規模と速度が飛躍的に拡大される。

報道によれば、この変化は散発的な事例ではなく、「全面的な傾倒」の様相を呈しているという。地下フォーラムでは、AIエージェントに攻撃タスクを安定して実行させる方法についての議論が活発化しており、攻撃者たちは安全ポリシーを回避するためのプロンプトテンプレートやツールチェーン設定を共有し始めている。

なぜガードレールは機能しないのか

主要なAIベンダーが無防備だったわけではない。モデルレベルでは有害なリクエストを拒否するためのアライメント学習が施され、製品レベルでは入出力フィルタリング、レート制限、乱用検知が備わっている。しかし安全ガードレールは本質的に「確率論的」な防御だ。モデルが意図を判断することに依拠しているが、攻撃者はまさにその意味論的な曖昧さを作り出すことに長けている。

「ガードレールの設計前提は、ユーザーが意図を正直に表明するというものだ。一方、攻撃者の全仕事は意図を識別不可能にすることにある。」

よく使われる手口には、悪意あるリクエストを一見無害なサブタスクに分解すること、虚構のシナリオやロールプレイで真の目的を包み隠すこと、エンコードや比喩を使ってキーワードフィルタを回避すること、そして複数回の対話を通じてモデルを徐々に境界線の外へと「誘導」することが含まれる。エージェント型AIはこのリスクをさらに増幅させる。モデルに外部ツールの呼び出しが許可されている場合、一度のジェイルブレイク成功はもはや単なるテキスト出力にとどまらず、実際のコード実行やネットワーク操作へと転化しうる。

攻防バランスが崩れた新たな戦場

より根本的な問題はインセンティブ構造にある。攻撃者は使えるバイパス経路を一つ見つければよいが、防御側はすべての経路を塞がなければならない。AIの開放性とカスタマイズ性は、ローカルデプロイ、ファインチューニング、ジェイルブレイクコミュニティを通じて攻撃者に弾薬を供給し続けている。同時に、AIはサイバー犯罪の技術的ハードルを大幅に引き下げ、専門的な素養を持たない人間でも高度な攻撃を仕掛けられるようにしてしまった。

業界の対応は「単点フィルタリング」から「多層防御（ディフェンス・イン・デプス）」へと移行しつつある。エージェントの行動リアルタイム監視、ツール呼び出しの最小権限化、異常タスクチェーンの検知、そしてベンダー横断の脅威インテリジェンス共有がその柱だ。しかし複数のセキュリティ研究者は率直に認めている――モデルの能力が向上し続け、乱用検知がそれに遅れをとる限り、ガードレールと回避手法のいたちごっこは終わらないと。

編集後記：この報道は、AIセキュリティをモデルベンダーの「自律的抑制」だけに期待することはできないと改めて示している。AIエージェントが実行能力を獲得した今、ガードレールは「コンテンツ審査」から「行動ガバナンス」へと昇格されなければならない――エージェントのすべてのツール呼び出しを誰が監査するのか？操作されたモデルが引き起こした損害の責任は誰が負うのか？これらの問いは、「安全措置はすでに設けています」という一言よりはるかに答えが難しい。

本稿はWIREDより翻訳・編集したものです。