OpenAIの新推論モードが安全専門家に警戒感——逐次思考から脱却

大規模モデル競争が「推論時代」に突入して以降、安全アライメントの核心戦略の一つは、モデルに推論過程を思考連鎖（Chain of Thought）の形式で書き出させることだった。しかしTechCrunchが9月3日に報じたところによると、OpenAIが間もなく発表するAstraモデルはこのデフォルトルールを破ることになる。Astraは「循環深度（recurrent depth）」と呼ばれる技術を採用し、現在の主流モデルに見られる逐次展開メカニズムから推論を切り離す。思考トークンを一段階ずつ生成するのではなく、ニューラルネットワーク内部で繰り返し反復し、最終的な答えに収束するまで処理を続ける。このプロセスでは中間ステップを自然言語に変換する必要がなく、安全チームが読み取れる推論記録も残らない。

循環深度はまったく新しい概念ではなく、リカレントニューラルネットワーク（RNN）や深層残差ネットワークの流れを汲んでいる。同一の計算ユニットが情報を繰り返し処理することで、パラメータ規模を変えることなくより複雑な内部計算を実現する。言語モデルにとっては、AIの思考を隠れ状態の中に圧縮するようなものだ。各ステップを「声に出して」生成するモデルと比べると、Astraは無言のひらめきに近い——下書きも、ログも残らず、検査を待つ結論だけがある。

見えない思考、制御できないリスク

これまでOpenAIのo1などの推論モデルは、思考連鎖をAI安全ツールの中核に据えてきた。安全チームはモデルが生成する推論の下書きを通じて、脱獄の傾向、欺瞞的な意図、報酬ハッキング行動を検出し、事故が発生する前に介入できた。しかし「循環深度」はこの介入経路を完全に封じてしまう。専門家は、大量の推論が人間にはほとんど観測できない潜在空間で行われることで、既存のアライメントおよび監査メカニズムが機能を失うと懸念している。

「モデルの推論の下書きが見えなければ、それが慎重に熟考した結果なのか、意図的に悪意ある最適化を隠蔽しているのか判断できない。安全研究はブラックボックスの時代に逆戻りする。」安全評価に携わるある研究者はこう警告する。

OpenAIのトレードオフ：効率性、機密保持、そしてブラックボックス

OpenAIがこの方向性を採用した動機は完全には明らかにされていない。業界内では主に二つの推測がある。一つは、循環深度がトークンと計算資源を節約でき、高並列AIエージェントのシナリオに適しているという点。もう一つは、思考連鎖が蒸留や解読に対して非常に脆弱である一方、循環深度は推論過程をモデルの重みの内部ダイナミクスに封じ込めることで、独自の戦略が外部に漏れるのを防げるという点だ。商業的にはこの方が安全だが、外部の規制当局にとってはより大きな不透明性を意味する。

OpenAIは、Astraは安全監督を放棄しておらず、より包括的なオフライン評価、異常終了シグナル、事後的な説明メカニズムを採用して制御可能性を担保すると回答した。しかし専門家は、AIが生成する事後的な説明が内部の計算過程を忠実に反映しているとは限らないと指摘する。モデルは人間を安心させるが実際の推論とは無関係な説明を生成することを学習する可能性があり、解釈可能性の要件が最終的に形式だけのものになりかねない。

編集後記：可読性は大規模モデルにとって希少な資源になりつつある

思考連鎖はAI安全の終着点ではなく、モデルが人間に向けて「演じている」コンテンツに過ぎないかもしれない。しかしその核心的な価値は介入可能性にある——安全担当者が実行中に観察し、疑問を呈し、中断できるという点だ。循環深度はこの窓を再び閉ざしてしまう。規制当局はAIの進歩を評価する際、モデルが超難問の数学問題を解けるかどうかだけを問うべきではなく、重要な用途における展開に対して検証可能な計算透明性のメカニズムを要求すべきだ。そうしなければ、私たちは絶えず思考し続けながらも、人間には完全に沈黙したブラックボックスの頭脳を作り出すことになりかねない。

本記事はTechCrunchより編訳