制御を失いかけた誤判断
Ars Technicaの報道によると、人工知能の「幻覚」（ハルシネーション）に起因する情報誤判断事件が発生し、米軍が誤って「中国の核部品」と識別された標的に対して軍事攻撃を行う寸前まで至っていたことが明らかになった。この事件は、これまでで最も危険なAI軍事応用事故の一つとして複数の関係者から見なされている。
報道によれば、当該AIシステムは衛星画像とオープンソース情報を分析する過程で、ある通常の施設を中国の核兵器部品に関連する重要拠点と「識別」し、高い確信度を伴う脅威評価を生成した。その評価は軍の意思決定プロセスに入り込み、一時は実際の軍事行動の発動に近い状態にまで達した。幸い、土壇場での人的チェックによって問題が発覚し、作戦は中止された。
システムが示した信頼度は非常に高く、疑いを差し挟む余地がほとんどないほどだった――報道中に引用された関係者
AIの「幻覚」がなぜこれほど危険なのか
大規模言語モデルとコンピュータビジョンモデルは、本質的にいずれも確率的システムである。それらは事実を「知っている」わけではなく、学習データをもとに最も可能性の高い出力を生成するにすぎない。入力情報が曖昧であったり、学習データに偏りがあったり、あるいはモデルが不慣れな分野で結論を求められたりした場合、もっともらしく見えても完全に誤った内容が生成されることがある――これがまさに「幻覚」である。
民間の場面では、幻覚は架空の参考文献や存在しない法令条文の捏造として現れることがある。一方、軍事・情報の場面では、同じメカニズムによって農地がミサイルサイロと判定されたり、民間施設が核部品工場と判定されたりする可能性がある。両者の違いは、前者の代価がせいぜい一度の恥である一方、後者の代価は戦争になりうるという点にある。
より警戒すべき逆説：軍のAI活用は加速している
報道はまた、興味深い現象も指摘している。この事件がAI軍事応用の重大なリスクを露呈したにもかかわらず、軍全体のAI活用は依然として加速し続けているように見えるという点だ。情報分析、目標識別から、兵站調整、作戦計画に至るまで、AIはますます多くの意思決定の連鎖に組み込まれつつある。
推進派は、AIが「センサーから射手まで」の時間を大幅に短縮し、情報過多の現代戦場において指揮官がより迅速に判断を下せるようにすると主張する。一方、批判派は、確率的システムを「キルチェーン」に組み込むことは、不確実性を生死に関わる意思決定に直接持ち込むことに等しいと警告する。この二つの論理の緊張関係こそが、現在の軍事AIガバナンスにおける核心的な難題を形成している。
人と機械の間の「最後の一票」
今回の事件において惨事を防いだのはAI自身ではなく、人的チェックの工程であった。これは改めて「ヒューマン・イン・ザ・ループ」（人間が監視ループに入る）原則の重要性を浮き彫りにした。しかし問題は、AIの出力速度が人間の審査速度をはるかに超え、システムの信頼度が「客観的な結論」として提示される状況において、人的チェックが本当に有効に機能し得るかどうかという点にある。
研究者の中には、重要なのは「監督者がいるかどうか」ではなく、監督者がAIを否決するのに十分な時間・情報・権限を持っているかどうかだと指摘する者もいる。人的チェックが形式上の「承認印」にすぎないのであれば、いわゆる監督は有名無実となる。
制度と技術の両面での課題
この事件を受けて、AI軍事応用に関するガバナンスの議論はさらに活発化すると予想される。今後の方向性として見込まれるのは、高リスクのAI判断に対する複数の独立した情報源による強制的な交差検証の導入、AIアウトプットの追跡可能なログの整備、核・生物・化学兵器などの機密性の高い分野に関するAI応用への厳格な参入基準の設定、そして調達・展開段階における明確な責任の帰属の確立などである。
技術面では、幻覚を低減するための研究も継続的に進められており、検索拡張生成（RAG）、不確実性の定量化、複数モデルによる交差検証などが有望な方向性として注目されている。しかし、いかなる手法も幻覚ゼロを保証することはできず、特に敵対勢力が積極的に欺瞞情報を生成する対抗環境においてはなおさらである。
結語
この「あわや起きていた攻撃」は一つの警鐘である。AIの能力が高まるほど、その誤りがもたらす結果も深刻になる。誤りの許容率が極めて低い軍事という領域において、AIを「補助」と見なすか「権威」と見なすかが、次の誤判断を人間が食い止められるかどうかを左右することになる。そして報道中の「軍のAI活用は依然として加速している」という一文こそが、おそらく最も不安を掻き立てる部分である。
本記事はArs Technicaより編訳
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接