最も危険なAIハッキング攻撃、依然として人間の主導が必要

AIがサイバーハッキングにおいて持つ可能性について語られる際、人々の脳裏には「完全自動攻撃ボット」のイメージが浮かびやすい。しかし、セキュリティ研究者James Kettleの最新実験は、より冷静な結論を示している。AIは確かに多くの「技術的な動作」を効率よくこなせるが、攻撃の成否を決定する「頭脳」は依然として人間だというのだ。彼はこのプロセスを「人間とAIの協調」によるハッキングモデルと呼んでおり、これこそが将来において真に危険な方向性となりうると指摘している。

AIをハッキング能力の限界まで押し上げる

James KettleはPortSwigger社の研究主任であり、数々の深刻なWebセキュリティ脆弱性の発見で知られている。最近の研究において、彼はAIが脆弱性悪用において持つ能力の限界を体系的に評価しようと試みた。実験では、AIモデルに攻撃者の役割を担わせ、ターゲット環境の説明を与えた上で、実行可能な攻撃経路の生成を要求した。結果として、AIは確かに大量の脆弱性スキャン提案、エクスプロイトコードの断片、さらには完全な攻撃チェーンを迅速に生成できたが、現実環境における複雑なビジネスロジックや曖昧なコンテキストに直面すると、しばしば誤りを犯し、存在しない脆弱性を提案するハルシネーションを起こすこともあった。

重要なのは、こうした誤りがあっても攻撃が完全に失敗するわけではないという点だ。経験豊富なセキュリティ研究者が介入し、AIに修正と方向性のヒントを与えると、AIのパフォーマンスは質的な飛躍を遂げた。Kettleは、AIと人間の専門知識を組み合わせることで、攻撃効率が大幅に向上するだけでなく、これまで見落とされていた攻撃経路を発見できることを突き止めた。この「Human-in-the-loop（人間参加型）」モデルは、攻撃の精度と創造性をまったく新たなレベルへと引き上げることができる。

「AIと人間の専門知識が組み合わさったとき、その威力はどちらか一方をはるかに超える。」―― セキュリティ研究者 James Kettle

なぜ「Human-in-the-loop」が依然として必要なのか？

現在のAIモデルの限界により、AIは完全に自律した攻撃者にはなりえない。一方では、AIがトレーニング時に接触した脆弱性モデルの多くは公開データに基づいており、実際のシステムのセキュリティ防御は独自プロトコル、内部フレームワーク、特定の設定に依存していることが多く、これらは公開データだけでは完全に把握できない。また一方では、AIは攻撃の結果に対する「感覚」を持っておらず、どの操作が越権行為に当たるかを理解できず、ターゲットの反応に応じてリアルタイムで戦略を調整するという人間の専門家のような対応もできない。

さらに重要なのは、高度な攻撃では複数の脆弱性を組み合わせて悪用することが求められる点だ。例えば、まずソーシャルエンジニアリングで認証情報を入手し、次にアプリケーション層の脆弱性を利用して権限を昇格させ、最後に機密システムへ横移動するといった手順が必要になる。これには攻撃者の俯瞰的な思考と臨機応変な対応力が求められるが、現在のAIモデルはこうした長い連鎖タスクの処理においてまだ力不足だ。そのため、高い影響力を持つ攻撃を実現するには、依然として人間が中枢に座り、AIに各種「戦術的動作」を指示する必要がある。

AI攻撃の業界背景

近年、サイバー攻撃の領域におけるAIの活用は、概念実証から実践段階へと移行している。フィッシングメールの自動生成やマルウェアの作成から、偵察や脆弱性分析の補助まで、AIツールは攻撃の敷居を大幅に下げている。同時に、防御側もAIを積極的に活用して脅威の検出と対応を行っている。しかし今回の研究は、AIによる攻撃の真の脅威がAI単独での攻撃にあるのではなく、AIが人間の専門家の「増幅器」となる点にあることを改めて示している。

企業のセキュリティチームにとって、これは防御戦略の再考を意味する。AIが生成した悪意あるトラフィックへの対策だけでなく、AIと専門的な攻撃者が連携して仕掛けるターゲット型攻撃への警戒も必要だ。こうした攻撃の検出には、自動化ルールだけに頼るのではなく、行動分析、脅威インテリジェンス、人手による監査を組み合わせることが求められるだろう。

編集後記

「Human-in-the-loop」という概念はAI倫理の議論でよく用いられるが、ここではAI時代におけるサイバー攻撃の根本的なロジックを明らかにしている。AIはハッカーに取って代わるのではなく、彼らにより強力なツールを与える存在だ。将来において最も危険な攻撃者となりうるのは、AIを巧みに活用してスキルを向上させる専門家たちかもしれない。セキュリティ業界にとって、これは警鐘であると同時に、進むべき方向性でもある。

本記事はWIREDより編訳