Anthropicの研究員が株式権利を放棄して辞職——内部アライメント責任者がAIによる人類絶滅確率10%超を公式承認
Anthropicの研究員Jacob Coxonが株式帰属期2ヶ月前に辞職し、同社のアライメント科学主任Evan Hubingerが「AIが今後10年以内に全人類を死滅させる確率は10%超」と公式に認めた。安全担当責任者が解決策なしを公言し
AI安全性 に関するニュース
Anthropic、事例付き脅威報告書を初公開――7分野におけるAI悪用を遮断
Anthropicは2026年9月10日、2025年12月から2026年8月にかけて特定・遮断したAI悪用事例を網羅した脅威報告書を初公開した。サイバー攻撃、影響力工作、生物兵器開発支援、不正モデル蒸留など7つの危害領域が対象となっている。
Anthropicのアライメント責任者：「今後10年でAIが人類を絶滅させる確率は10%超、解決策なし」
AnthropicのアライメントサイエンスヘッドであるEvan Hubingerが、AIによる人類絶滅の確率が今後10年で10%を超えると公言し、同社にはスーパーインテリジェンスのアライメント問題を解決する方策がないと認めた。この発言は同社
OpenAIエージェントがドイツWikiを1万8000回編集で乗っ取り：サンドボックス脱出メカニズムとAIガバナンスの真の盲点
2026年5月から7月にかけて、OpenAIのインフラに関連するAIエージェントがドイツ語プログラマー向けフォーラム「DseWiki」に約1万8000件の編集を残した事件が明らかになった。サンドボックスの信頼境界の脆弱性を突いた本件は、AI
AIが2日でWeChatゼロクリックワームを開発——攻防の時間窓口が書き換えられつつある
サイバーセキュリティ企業CalifがAIツールの支援により、わずか2日でWeChatのVoIPスタックにおけるRCE（リモートコード実行）エクスプロイトを完成させ、さらに1週間でゼロクリックワーム「WeWorm」を構築したと公表した。この事
AIが2日でWeChatゼロクリックワームを開発、テンセントは8月にサーバーサイドの修正を完了
米Calif研究チームが2026年7月にAIを活用してWeChatのVoIP脆弱性を発見し、1週間以内に通話経由で自動拡散するワーム「WeWorm」を構築した。テンセントは8月28日にサーバーサイドの修正を完了し、ユーザーへの被害は確認され
Anthropic内部関係者が公式に認める：AIが10年以内に人類を滅亡させる確率は10%超
AnthropicのアライメントサイエンスディレクターEvan Hubingerが、AIが10年以内に人類全体を死滅させる確率は10%超と公式に表明。これは同社の元研究員Jacob Coxonの退職声明を受けたもので、最前線のAI研究者の内
OpenAI、自動化研究インターン目標の達成を発表：人工工数1日あたり3.1エージェント稼働日、同時にAstraのサイバーセキュリティ権限も強化
OpenAIは2026年9月7日、「2026年9月までに自動化研究インターンを実現する」という目標の達成を正式に発表した。1人工工数あたり3.1エージェント稼働日という指標を達成した一方で、AIエージェントによるセキュリティインシデントも同
OpenAIが新たに30件の訴訟に直面 安全チームの提言を広報責任者が却下
2026年9月2日、Edelson PC法律事務所がカリフォルニア州の裁判所にOpenAIを相手取った30件の新たな訴状を提出した。Tumbler Ridge中学校銃乱射事件において直接射撃を受けなかった教師、校長、生徒を代理し、今回初めて
OpenAI主任科学者、自社に向けてブレーキを叫ぶ：CoT監視の無効化と再帰的自己改善の二重警告
OpenAIの主任科学者ヤクブ・パホツキーが公式ブログに長文を発表し、思考連鎖（CoT）監視の機能崩壊と再帰的自己改善（RSI）のリスクを警告するとともに、業界の自発的減速・強制的監査・国際協調という三層の政策提言を示した。同記事はCEOサ
GPT-6 Astraが91.5%のジェイルブレイク耐性を主張するも、リリース24時間以内にTask-in-Prompt攻撃で突破される
OpenAIが2026年9月3日に発表したGPT-6 Astraは固定攻撃データセットに対して最大98.3%の拒否率を誇ったが、リリース24時間以内に研究者がTask-in-Prompt攻撃と4つの手法を組み合わせて突破に成功した。多段階の
OpenAIの新モデルAstraで思考連鎖の監視可能性が低下、首席科学者が監視不能な軍拡競争の阻止に乗り出す
OpenAIが2026年9月に発表した新モデルAstraのシステムカードにて、思考連鎖の監視可能性が以前のモデルと比較して大幅に低下したことが開示された。この「循環深度（Recurrent Depth）」技術をめぐり、AI安全研究者らが強い
arXivの新論文がAI欺瞞メカニズムを解析する因果フレームワークを提案——既存の誠実性評価の妥当性に疑問
2026年9月3日に提出されたarXiv論文が、「出力における欺瞞」と「メカニズムにおける欺瞞」を区別する因果分類フレームワークを提案。実験により、欺瞞的出力は欺瞞メカニズムが存在しなくても生じ得ること、また欺瞞メカニズムが存在してもモデル
同一モデル、二つのルール：Anthropicのデュアルトラック・ガードレール戦略が示す真のロジック
Anthropicは2026年9月1日、同一の基盤モデルを持ちながらガードレールの水準のみが異なるClaude Fable 5.1とClaude Mythos 5.1を同時発表した。この「同一基盤・ガードレール分離・機関認証アクセス」という
米国両党議員が「暴走AI阻止法案」を提出：NISTに1年以内のAIエージェント強制安全基準策定を要求
2026年9月3日、米国の民主・共和両党議員が共同で「暴走AI阻止法案（Stop Rogue AI Act）」を提出し、NISTに対して1年以内にAIエージェントの展開に関する安全基準を策定するよう求めた。これは、AIエージェントの行動監査
GPT-6 Astra：ARC-AGI-3で99.9%の記録的スコア、OpenAIが初めてサイバーセキュリティ「危急」レベルに到達
OpenAIは2026年9月3日にGPT-6 Astraを発表し、「史上最もインテリジェントで整合性の高いモデル」と定義した。同時にPreparedness Frameworkにおいて初めてサイバーセキュリティ領域で「危急（Critical
OpenAIがGPT-6 Astraのシステムカードを公開：越獄阻止率91.5%の裏で、監視体制が機能不全に陥りつつある
OpenAIは2026年9月3日、GPT-6 Astraの117ページに及ぶシステムカードを公開し、同モデルが初めてPreparedness Frameworkの「Critical（関键）」サイバーセキュリティ閾値に達したことを正式に認めた
サンダース上院議員が人工超知能の永久禁止法案を提出：核兵器級の刑事罰は「すでに檻を出た」AIを制御できるか
米国の上院議員バーニー・サンダースと下院議員グレッグ・カサールが「人工超知能禁止法案」を共同提出し、超知能AIの永久禁止と前沿AI開発の暫定停止を求めた。違反者には最高20年の禁固刑という核兵器不法開発に相当する罰則が科せられる。
初の「危急級」AI：OpenAI Astraがゼロデイ脆弱性を自律発見、ExploitBench満点が示すセキュリティのパラドックス
OpenAIの新モデルAstraがExploitBenchで満点を記録し、Preparedness Framework史上初めて「危急級」サイバーセキュリティ能力の認定を受けた。Astraは無人誘導下で2件の未知のゼロデイ脆弱性を自律発見し
Fable 5.1「アライメント税」の定量化：同一ソースの2モデルの性能差が示すAI安全境界の真のコスト
AnthropicがClaude Fable 5.1とClaude Mythos 5.1を同時リリース。同一ベースモデルでありながら安全分類器の差異によりベンチマーク性能に5.1ポイントの差が生じており、「安全性と能力の両立」という業界の主