AIの幻覚が米軍の行動を引き起こしかけた：大規模モデルの軍事利用リスクに改めて警鐘

編集者注：生成AIが軍事意思決定支援システムに組み込まれた今、一見無害な「でたらめな出力」はもはやチャットボットの笑い話では済まされない。それは指揮系統への誤った入力となりうる。TechCrunchが報じた「AIの幻覚が米軍の行動を引き起こしかけた」事件は、目を覚まさせる鋭い警告である。

一度の誤判断が、なぜ軍事行動の瀬戸際まで至ったのか

TechCrunchの報道によれば、米軍のある潜在的な行動が瀬戸際まで追い込まれた原因は、従来の情報ミスではなく、大規模言語モデルが生成した「幻覚」にあった。幻覚とは、モデルが信頼できる根拠を持たない状態で、流暢かつ自信に満ちた文体で、もっともらしいが誤った内容を生成する現象を指す。標的の位置を捏造し、出来事の経緯を作り上げ、傍受した通信を誤解し、存在しない脅威をさも本物らしく描写することもある。

民間の場面では、幻覚は誤った要約、虚偽のカスタマーサポート回答、法律引用の誤りといった問題を引き起こす。しかし軍事の場面では、その誤りは増幅される。情報分析、状況把握、任務計画、翻訳やブリーフィング生成はいずれも、時間的プレッシャーの下でAIの出力に依存しうる。オペレーターがモデルの生成した「提案」を検証済みの事実と誤認した瞬間、その誤判断は指揮系統を上へと伝播していく。

大規模モデルはなぜ「自信を持って誤るのか」

大規模言語モデルの基本的なメカニズムは確率的予測である。モデルはコンテキストに基づき最も確からしい語の連鎖を生成するのであって、絶対的に信頼できる事実データベースを参照しているわけではない。そのため、モデルは「知っている」と「推測している」を本質的に区別しない。学習データが不足していたり、プロンプトが曖昧だったり、コンテキストが矛盾していたり、タスクがモデルの能力範囲を超えていたりすると、幻覚が発生する。

さらに厄介なのは、モデルの出力が往々にして流暢で構造的に整っており、「すでに検証済みだ」という錯覚を与えやすい点だ。このような自動化バイアスは、高プレッシャーかつ情報過負荷の環境において特に危険である。AI リテラシーを欠く軍人は、不確実性が極めて高い生成テキストを、そのまま実行可能な情報産物として扱ってしまうかもしれない。

「服務する軍人は、大規模言語モデルに固有の不確実性を理解しなければならない。」――GovAIの研究者が報道の中で警告した。

この警告の核心はAIの使用禁止ではなく、利用者がこう認識することを求めている：モデルが提示するのは事実そのものではなく、事実の確率的なシミュレーションに過ぎない、と。

軍事AIは加速するが、ガバナンスは必ずしも追いついていない

ここ数年、米軍はAIを情報、兵站、サイバー、指揮統制の各領域に急速に組み込んできた。Project Mavenから統合全ドメイン指揮統制（JADC2）、さらには迅速展開を重視するReplicatorプログラムに至るまで、大規模モデルと機械学習は意思決定サイクルの短縮と膨大なデータの処理において大きな期待を担っている。しかし、速度と信頼性の間には本質的な緊張関係がある。意思決定が速くなるほど、人間が誤りを検証するための時間は少なくなる。

国防総省はAI倫理原則を発表し、責任、公平性、追跡可能性、信頼性、ガバナビリティを強調している。しかし、原則をエンジニアリング基準へと落とし込むことは容易ではない。モデルの信頼度はどのように表現すべきか。どの時点で人間によるレビューが必須となるか。誤った出力はどのように追跡するか。複数モデルによるクロス検証は十分か。これらの問いは、調達、展開、訓練の各段階においていまだ統一した答えがない。

GovAIなどの研究機関は長年にわたりAIガバナンスに注目してきた。その研究者たちは、AIシステムの不確実性は洗練されたインターフェースの裏に隠すのではなく、エンドユーザーに明確に伝えるべきだと警告する。軍人にとってこれは、ボタンの押し方を教えるだけでなく、訓練の中にAIの限界、幻覚の識別、および検証プロセスを組み込まなければならないことを意味する。

「AI幻覚による行動誘発」の確率を下げるには

まず技術面では、不確実性のキャリブレーションが必要だ。モデルは信頼度スコアや引用元を出力し、証拠が不十分な場合には明確に「不確か」と示すべきである。次に、プロセス面では「人間が判断ループに留まる（Human-in-the-Loop）」原則を堅持し、重要な情報や行動提案は独立した検証を経るべきで、単一モデルによるクローズドな判断に委ねてはならない。さらに組織面では、レッドチームテストと事後検証の仕組みを構築し、幻覚を個別モデルの欠陥としてではなく、予測可能なシステムリスクとして位置づけるべきだ。

加えて、複数の独立した情報源によるクロス検証は依然として不可欠である。衛星画像、人的情報（HUMINT）、信号情報（SIGINT）、および従来の分析はAIの出力と相互に照合されるべきだ。複数の情報源が同一の結論を支持できない場合、システムはデフォルトで格下げ判定を行うべきであり、流暢な文章が判断を主導することがあってはならない。

結語：真のリスクはAIの「反乱」ではなく、人間の過信にある

この事件で最も警戒すべき点は、AIが突然自律的な意識を持ったことではなく、複雑なシステムの中で人間が誤りを犯しうるブラックボックスを過度に信頼する可能性があるということだ。軍事行動は生命と戦略的安定に関わるものであり、いかなる「危うく引き起こしかけた」事例も最高水準で調査・改善されるべきである。AIは強力な参謀ツールになりうるが、その前提として、利用者は常に肝に銘じなければならない：モデルが出力するすべての文は、検証を必要とする、と。

本稿はTechCrunchより編訳。