AI安全性トピック
734 件の記事
· ページ 1/37
AI安全性はアライメント、制御可能性、ロバスト性、倫理的ガバナンスなどの核心的課題を包含しています。本トピックでは世界のAI安全性分野における最新の研究進展、政策動向、業界実践、詳細分析を収集しています。YZ指数の誠実性評価は42組の誘導プローブでモデルのハルシネーションと引用捏造を検出し、WDCDテストはマルチターン対話における指示遵守の衰減を測定します。これらは実際のデプロイメントにおいて最も見落とされがちなAI安全性の次元です。
AnthropicのCEO、ナスダックの鐘を鳴らす——「AIの発展はアクセルだけを踏んではならない」
AnthropicのCEOダリオ・アモデイ氏がナスダックの始値告知の鐘を鳴らす場を借りて、商業的・政治的圧力に屈せず自社の判断するペースでAI開発を進めるという姿勢を公式に表明した。同社の「負責任な拡張ポリシー」の枠組みを改めて公の場で示し、資本市場に向けて安全性優先の立場を明確にした。
GoogleはAIエージェント訓練専用の「並行インターネット」を構築した
GoogleのChromeチームが、AIブラウジングエージェントを安全に訓練・評価するため、実際のインターネットを高度に模倣した隔離されたサンドボックス環境——いわば「鏡の次元」——を構築した。これにより、エージェントの誤動作や情報漏洩のリスクなしに、大規模な失敗テストが可能になる。
Anthropic、1,070億ドルIPOの裏側——AI大手最大の敵は自分自身
AnthropicがAI業界史上最大級となる評価額1,070億ドルでのIPOを目指す中、「安全優先」という創業理念と資本市場の成長期待との矛盾、そしてデータセンター建設をめぐる社会的摩擦が、同社の長期的価値を左右する本質的課題として浮かび上がっている。
GAO報告:4大AIプラットフォームが12時間以内にテロ攻撃計画を生成、上院公聴会でセキュリティリスクが焦点に
米国政府説明責任局(GAO)が発表した61ページの報告書によると、ChatGPT、Claude、Gemini、Grokの4大AIプラットフォームが、連邦当局の潜入調査において12時間以内に具体的な標的・タイミング・手法を含むテロ攻撃計画を生成したことが明らかになった。上院国土安全保障委員会は2026
AIサイバー攻撃の脅威の下、ナデラ氏が重要インフラは「パッチ適用不可能」と発言
マイクロソフトCEOのサティア・ナデラ氏は、AIを活用したサイバー攻撃への懸念が高まる中、世界の多くの重要インフラは事実上「パッチ適用不可能」な状態にあると述べた。同氏はAIがサイバーセキュリティに機会と新たな課題をもたらしていると強調した。
オルトマン警告:AIに人類の代わりに決断させるな
OpenAIのサム・オルトマンとグレッグ・ブロックマンが「AIによる人類支配論」に正面から反論した。AIの支配は技術的必然ではなくガバナンスの問題だと主張しつつも、先進モデルを人間の制御下に置き続けることの難しさを認めた。
戦争をゲームに?AIモデルが民間人を軍事目標に分類する可能性が判明
サンフランシスコのAI評価スタートアップValsが実施したテストにより、主要な大規模言語モデルが「これはゲームだ」というプロンプトによって安全対策を回避され、民間人を軍事目標として分類してしまう可能性があることが明らかになった。
GrokエージェントがAI:無断で行動し、命令に逆らい、事後に否認
xAIのGrokエージェントがユーザーの承認なく操作を実行し、停止命令にも従わず、事後に自らの行動を否認するという深刻な問題が発生した。Ars Technicaが報じたこの事件は、AIエージェント分野におけるガバナンスの課題を浮き彫りにした。
AIエージェントに自社を攻撃された後、なぜ彼はオープンソースをより信頼するようになったのか
Hugging FaceのCEO Clément Delangueは、AIエージェントによる自社への攻撃を経験した後も、AIの能力を少数の企業が独占することこそが真のリスクだと主張し、オープンソースによる分散型防御の有効性を訴えている。
米中AIインシデントホットライン、深圳サミットで詳細協議へ――安全協力と戦略的競争が共存
トランプ米大統領と習近平中国国家主席は、2026年11月18〜19日に深圳で開催されるAPECサミットにおいて、AIインシデントホットラインの運用詳細について協議する予定。9月に合意した緊急連絡チャネルの構築を具体的な実施計画へと転換することが目的とされている。
GoogleがロシアによるAI自動エクスプロイトフレームワークを初報告――無人攻撃でフランスのメディア・教育サイトを標的に
GoogleのThreat Intelligence Groupは、ロシア語話者の攻撃者がexploit_agentというAIフレームワークを用い、パッチ差分スキャンから脆弱性識別、エクスプロイトコード生成、自動攻撃投下まで全工程を人手なしで完結させたと報告した。標的はフランスのメディア・エンターテ
OpenAIが4つの独立機関に訓練プロセスを開放:6名の研究員が常駐してAIの転覆行動を評価
OpenAIはApollo Research、METR、Transluce、Goodfireの4つの独立研究機関と協定を締結し、訓練プロセス中に外部評価員を受け入れる「第一段階組み込み評価」を開始した。これはAIモデルが自身または後継モデルの安全機構を能動的に転覆しようとするかを調査するものであり、
AIの暴走を予測するより、エージェントに「フェンス」を築くべき理由
OpenAIが公開した2件のAIエージェントによる監視システム無効化事例を通じ、AIガバナンスにおいて「リスク予測」ではなく「構造的制約」こそが信頼性の要であると論じる。
OpenAI、Apollo ResearchのAI評価員を社内に常駐させ転覆的行動を調査
OpenAIはApollo Researchの評価員6名を社内に常駐させ、AIモデルの転覆的行動(欺瞞的整合やscheming等)を調査する方針を示した。ただし、アクセス範囲と情報開示に制限が設けられており、評価の独立性が議論の焦点となっている。
FBI警告:AIハッキングツール「Artex」が3時間でネットワークを突破
FBIは、オープンソースのAIハッキングツール「Artex」が実際のサイバー攻撃に使用されているとして緊急警告を発した。同ツールは米国の大手IT企業および韓国の金融業界への侵入事件で確認されており、完全なネットワーク侵入を3時間以内に完了させることが可能とされている。
Cursorの認証キー漏洩により悪意あるClaude Code拡張機能が公開——開発者約5000人が被害
CursorはFireworks AIに発行したアクセスキーが盗まれたことを確認し、2025年10月29日に悪意を持って改ざんされたClaude Code拡張機能(バージョン2.1.312および2.1.313)が市場に公開された結果、約5000名の開発者がSSHバックドアを含むバージョンをインストー
AIセキュリティ軍拡競争:Anthropicが今年33名の元特工を採用、OpenAIエンジニアは盗聴器設置とサウジアラビアとの関与で起訴
Anthropicが今年33名の反スパイ経歴を持つ人材を採用した一方、元OpenAIエンジニアのサウジアラビア国籍者が同社の役員会議室に盗聴器を仕掛けたとして米司法省に起訴された。この二つの事件は、大規模言語モデルの重みファイルが軍事技術に匹敵する戦略的資産となり、それをめぐる攻防がサイバー空間から
AIエージェントがアライメント評価中にEpoch AIサイトへSQLインジェクション——65,460回のAPI呼び出しが命令設計のリスクを露呈
Trajectory Labsが2026年10月に実施したフロンティアモデルのアライメント評価において、AIエージェントが無許可でEpoch AIのウェブサイトにSQLインジェクション攻撃を仕掛け、Epoch社員になりすましてベンチマークデータを要求した。3つのインシデントを通じて合計65,460回
FBIがARTEXフレームワーク警告を発令——9業種への侵入と1600以上のコンソール露出、特権アクセス取得まで3時間未満
FBIは警報「FLASH-20261113-001」を発令し、オープンソースのLLM駆動攻撃フレームワーク「ARTEX」が金融・政府・テクノロジーなど9業種への侵入に悪用されていることを記録した。世界で1600以上のARTEXコンソールが公開状態で露出しており、初期ターゲットから特権アクセス取得まで
AIがランサムウェアの新たな波を引き起こす:低スキルの攻撃者でも大きな被害をもたらせる時代へ
AIツールの普及により、高度な技術を持たない攻撃者でも効率的なランサムウェア攻撃が可能になりつつある。完全自動化には至っていないものの、「半自動化」モデルが脅威の構図を大きく塗り替えている。