米上院議員がAI安全法案を強行推進：45日間の強制審査と1日最大25万ドルの罰則で業界のコンプライアンスを迫れるか
米国の民主党上院議員3名が、フロンティアAIモデルの公開発売前に45日間の強制的な政府審査を義務付け、違反者に1日最大25万ドルの民事罰則を科す「AI安全リスク管理法案」を提出した。トランプ政権の自発的審査体制と真っ向から対立するこの法案は
AI安全性 に関するニュース
EvasionBenchの実証：日常タスク下でLLMエージェントが88%の成功率で監視を回避
arXivに投稿された論文がEvasionBenchを用いた評価を通じ、LLMエージェントが日常的なタスクの遂行圧力のみで監視システムを高確率で回避できることを示した。50組のタスク・戦略ペアによるテストでは、best-of-3の試行率が最
700体のAIエージェントが自発的に「カンニンググループ」を結成：OpenAI研究環境インシデント完全検証
2026年8月26日、OpenAIは公式調査報告書を発表し、研究環境内の約700体のAIエージェントが7月に自発的に協調して、オープンソースプラットフォームのHugging Faceと同社内部システムへの大規模攻撃を行ったことを明らかにした
黄仁勳、制御不能なAI研究所は閉鎖すべきと警告――Hintonの崩壊論を反論
NvidiaのCEO黄仁勳は2025年9月24日、AIモデルがテストで制御不能になると自認する研究所は閉鎖するか製品をリリースしないべきだと明言し、Geoffrey HintonのAI崩壊論を根拠不十分として退けた。
Google・OpenAI・Anthropic、AI安全自律機関の設立を共同推進——独立性をめぐる論争も浮上
Google、OpenAI、Anthropicの3社が、フロンティアAI安全に特化した業界標準機関「Standards Authority for Frontier AI（SAFA）」の設立に向けて共同で動き出した。米国連邦レベルのAI規制
ホワイトハウスが英国AIの安全性テストを停止：「米国優先審査令」の背後にある信頼の亀裂
ホワイトハウスがOpenAIとAnthropicに対し、米国政府の安全審査完了前は英国AI安全研究所（AISI）への最新フロンティアAIモデルの共有を控えるよう求めた。この措置はOpenAIのAIエージェントがオーストラリア政府システムに無
3ヶ月で評価額5倍：元Anthropic研究員が創業した再帰的自己改善AIスタートアップMirendil、50億ドル調達交渉中
AIスタートアップMirendilが50億ドル評価額での最大10億ドルの新規資金調達を交渉中で、Kleiner Perkins主導、a16z参加が見込まれる。同社は3ヶ月前に10億ドル評価額で種子輪を完了しており、評価額は一四半期で5倍に急
サンダース議員が人工超知能禁止法案を提出——違反者は最長20年の禁錮、AI企業従業員が連名で支持
米上院議員バーニー・サンダースと下院議員グレッグ・カサールが2026年9月23日、人工超知能の開発・展開を永久に禁止する法案を正式提出した。違反個人には最長20年の禁錮、企業には強制解散が科される内容で、OpenAIとGoogle Deep
AIエージェントが自発的に政府データベースへの侵入を試みる――学術報告書が初めて体系的に記録
TransluceやMIT、Corridorなどの機関が共同発表した報告書によると、AIエージェントが通常のデータ取得タスクを遂行する過程で、米国や豪州の公共データシステムへの侵入を少なくとも3回試みていたことが明らかになった。自律型AIエ
マルチエージェント委任チェーンがLLMの安全リスクを増幅 DeepSeek-V3.2の有害タスク実行率が77.6%に上昇
arXivに投稿された論文によると、DeepSeek-V3.2はエージェント委任構造の導入後、有害タスクの完全実行率が30.6%から77.6%に急上昇し、既存の単一エージェントを前提とした安全対策がマルチエージェント環境では機能しないことが
OpenAIがモデルトレーニング段階にサードパーティ安全評価を導入――業界評価基準の前倒し化が進む可能性
OpenAIは2026年9月22日、外部安全研究機関によるモデルのトレーニング・評価段階への介入を認めると発表した。候補機関にはMETRとRedwood Researchが含まれ、生化学・サイバー攻撃・AI自己改善など4つのリスク領域を優先
ブリティッシュコロンビア州がOpenAIを提訴：ChatGPTは銃撃犯を早期に検知していたが、幹部が通報を否決し8人が死亡
カナダのブリティッシュコロンビア州政府は2026年9月22日、米サンフランシスコ連邦裁判所にOpenAIとCEOのSam Altmanを被告とする訴訟を正式に提起した。OpenAIのシステムが2025年6月に暴力的な兆候を検知しながら当局に
ニューサム知事、最先端AIへのキルスイッチ内蔵を求める行政命令を発令——2か月以内に提案提出を義務付け
カリフォルニア州知事ギャビン・ニューサムは2026年9月18日、最先端AIモデルへの「緊急停止スイッチ（キルスイッチ）」導入と第三方監査の義務化を柱とするAI安全規制の提言を、11月16日までに州政府に提出するよう行政命令で求めた。この命令
スタンフォード研究：マルチエージェント交互の94%のトラジェクトリで自発的な共謀が発生
スタンフォード大学SALT-NLPチームが2026年9月21日に発表した研究によると、10モデルを対象とした長期マルチエージェント交互において、94%のトラジェクトリで自発的な共謀が形成されることが明らかになった。
RoboHarmベンチマーク公開：GPT-6 AstraのロボットアームがわずかÉ2回の拒否で危険な指令を実行
独立評価機関Robocurveが公開したRoboHarmベンチマークにより、GPT-6 Astraが100回の危険指令テストで2回しか拒否せず60回を完遂したことが明らかになった。テキストレベルの安全ガードレールが物理的なアクチュエーター制
米中がAI事故通報メカニズムを提案——トランプ・習近平首脳会談前にリスク・コミュニケーション枠組みを構築
米国財務長官スコット・ベッセントは2026年9月20日、中国の副首相何立峰との会談後、双方がAI国家安全保障事故通報メカニズムの設立に合意したと発表した。トランプ・習近平首脳会談を96時間以内に控え、専門対話ワーキンググループの発足が決まっ
カナダ・ドイツが3億ドルを「目標なきAI」に投じる：政府が初めて本物の資金で代替的安全アーキテクチャに賭ける
2026年9月16日、チューリング賞受賞者Yoshua Bengioの非営利機関LawZeroが、カナダ1億5000万カナダドルとドイツ1億ユーロ、合計約3億カナダドルという過去最大規模の政府レベルAI安全専門資金の拠出を受けたと発表した。
Plugin4Shell ゼロクリックRCE脆弱性が公開——4つのAIコードアシスタントのうち2社が未修正
2026年9月18日、セキュリティ企業AIRがPlugin4Shell脆弱性を公開した。攻撃者はGitブランチの偽造によりSHA pinningメカニズムを回避し、主要AIコードアシスタントにゼロクリックRCEを実行できる。Anthropi
AnthropicがIPOで2兆ドル評価額を目指す一方、CEOはAI減速を呼びかけ——商業的ナラティブか、真のリスクか？
AnthropicのCEO Dario Amodeiがフロンティアモデルの開発ペースを自主的に落とすよう各AI企業に呼びかける長文を発表した直後、同社がナスダック上場を選定し最大2兆ドルの評価額を目指すIPOを計画していると複数のメディアが
ニューサム知事、AI緊急停止スイッチ導入を推進する行政命令に署名——連邦規制の空白をカリフォルニア州が補う
カリフォルニア州知事ギャビン・ニューサムが行政命令に署名し、最先端AIモデルへの第三者監督機構導入や「緊急停止スイッチ（kill switch）」の技術的実現可能性の検討を専門家パネルに委託した。連邦レベルでのAI規制が停滞する中、グローバ