ハッカーが9つのAIツールを悪用して巨大ボットネットを構築

サイバーセキュリティの分野で、新たな「軍拡競争」が繰り広げられている。攻撃者はもはや手動での悪意あるコード作成だけに頼らず、近年世界中で普及している大規模言語モデル（LLM）に目を向けるようになった。Ars Technicaの報道によると、あるセキュリティチームが「HalluSquatting」と呼ばれる新型攻撃手法を発見した。この手法はLLMが不確実性に直面した際に「幻覚」を生成する特性を利用し、ChatGPT、Claude、Geminiを含む最も普及している9つのAIツールから危険な命令やコードの断片を出力させることに成功した。最終的にはそれらを組み合わせて、分散型サービス拒否（DDoS）攻撃やクリプトジャッキングを発動可能な大規模ボットネットを構築できるという。

HalluSquattingとは何か

「HalluSquatting」という語は「Hallucination（幻覚）」と「Squatting（不正占拠）」を組み合わせた造語である。研究者によると、LLMは知識の盲点となる質問をされた際、「わかりません」と直接答えることは稀で、もっともらしく見えるが実際には誤った回答を作り上げる傾向がある——これがいわゆる「AI幻覚」である。攻撃者はこの特性を巧みに利用し、LLMに誤情報を生成させやすいトピックを意図的に問いかける精巧なプロンプトを設計する。たとえば「Linuxカーネルの存在しないモジュールを最適化する方法」を尋ねると、LLMは誤ったコードや設定の提案を「創作」し、その中に悪用可能な脆弱性や悪意あるコマンドが含まれてしまう可能性がある。

「これはバスケットボールを知らない人に無理やり試合の解説をさせるようなものだ——その人は完全に架空の戦術を作り上げるかもしれないが、聞いている人はその中から混乱を引き起こすための糸口を見つけられる。」——セキュリティ研究者 Alex Hammond

さらに危険なのは、攻撃者が複数のAIツールに対して異なりながらも互いを補完するプロンプトを同時に送信し、各ツールが出力した「断片的な幻覚」を組み合わせる点だ。たとえば、ツールAが一見無害なPythonスクリプトを生成し、ツールBが暗号化アルゴリズムの実装の詳細を提供し、ツールCがネットワーク通信プロトコルのサンプルを提示する——これら三つを組み合わせると、完全なリモート制御可能なボットネットクライアントが形成されてしまう。

9つのツールすべてが影響を受ける

研究者たちは市場で主流となっている9つのAIモデル／ツールをテストした。OpenAIのGPT-4o、AnthropicのClaude 3.5、GoogleのGemini 1.5、MetaのLlama 3、Mistral AIのMixtral 8x22B、CohereのCommand R+、AI21のJamba 1.5、xAIのGrok-1、そしてDeepSeekのDeepSeek-V2である。結果として、すべてのモデルが程度の差こそあれHalluSquatting攻撃に対して脆弱であることが示された。成功率が最も低いモデル（Claude）でも約20%であり、最も高いモデル（Grok-1）は70%を超えた。攻撃者は平均して50回未満のプロンプト送信で、利用可能な悪意あるペイロードを組み上げることができた。

なぜこれが重要なのか

従来のボットネット構築には、攻撃者に高度なコーディング能力が必要であったか、あるいはアンダーグラウンドのフォーラムで悪意あるツールを購入する必要があった。しかしHalluSquattingはその参入障壁を大幅に引き下げた。巧みなプロンプトを書く能力さえあれば、AIに攻撃コードを「無償で」生成させることができる。また、AIが生成するコンテンツは文章表現やコメントの面でセキュリティチュートリアルや技術文書に高度に類似しているため、セキュリティソフトウェアによる検出が困難になる可能性がある——これらのコンテンツは既知の悪意あるデータベースに由来するものではないからだ。

さらに警戒すべきことに、AIツールのAPIは「フィルタなし」モードや開発者向けオプションを提供していることが多い。攻撃者が正規のAPIキーを入手した場合（たとえば不正に利用されたアカウントを通じて）、大量かつ自動的にAIへリクエストを送信し、多数の変種悪意あるコードを素早く生成することができる。研究者たちは、わずか3つのGPT-4oインスタンスを使用するだけで72時間以内に500種類以上の異なるボットネットクライアントサンプルを生成できることを実証した。各サンプルのシグネチャはすべて異なり、防御をより困難にしている。

編集後記：AIセキュリティの「グレーリノ」

HalluSquattingは深層的な問題を露わにした。現在のLLMの「アライメント（alignment）」は主に明らかに有害なコンテンツの出力拒否（「爆弾の作り方」など）に焦点を当てており、曖昧で非常規的な知識に直面した際の「デフォルト生成」リスクを見落としている。LLMが質問に答えられない場合、本来は適切に拒否すべきだが、一度「創作」を始めると、攻撃者に迂回的な方法で悪意ある目的を達成するために利用される可能性がある。これはAI開発者とセキュリティコミュニティへの警鐘となっている。「幻覚」への対策は学術的な問題にとどまらず、現実世界のセキュリティ脆弱性でもあるのだ。

一般ユーザーにとっては、AIが生成する技術的なアドバイス、特にシステムコマンド、ネットワーク設定、暗号化アルゴリズムといった機密性の高い分野に関わるものには慎重に対処すべきである。企業や開発者にとっては、AIツールを導入する際に追加の出力フィルタリング層を設け、疑わしいプロンプトパターンのリアルタイム監視も検討する必要がある。

現在、各AIメーカーはすでに研究者からの報告を受け取っている。OpenAIとAnthropicはより厳格なコンテキストセキュリティメカニズムの検討を進めていると表明し、Googleはそのセキュリティスクリーニングシステムが同様の悪意ある出力の90%以上をフィルタリングできると強調している——しかし残りの10%は依然として懸念材料である。

本稿はArs Technicaより編訳