AnthropicがClaudeの思考の隠れた空間を発見

AIブラックボックスの解読：ヤコビアンレンズの誕生

長らく、大規模言語モデル（LLM）の内部動作メカニズムは解読困難な「ブラックボックス」とみなされてきた——流暢な回答を生成できるにもかかわらず、各推論ステップがどのように実行されるかを正確に説明できる者は誰もいなかった。Anthropicが最新発表した研究成果は、この状況を変えようとしている。同社は「ヤコビアンレンズ（Jacobian Lens）」と呼ばれる新型分析ツールを開発し、研究者が初めてClaudeが質問に回答したりタスクを実行したりする際の具体的な思考過程を明確に観察できるようにした。

この技術の核心は数学的なヤコビアン行列（Jacobian matrix）にある。これはモデルが各層で入力を処理する際に生じる微細な変化を捉えるものだ。これらの変化の方向と大きさを分析することで、ヤコビアンレンズはClaudeの内部における数百億のパラメータの流れを高次元空間における幾何学的な軌跡としてマッピングする。研究者たちはこの空間の中に、これまで認識されていなかった「隠れた領域」が存在することを発見した——そこでモデルは単純にテキストを逐字生成しているのではなく、人間の「構想」に似たプロセスを実行している。すなわち、概念の断片を繰り返し組み合わせ、分解し、推論しながら、最も適切な表現方法を見つけ出しているのだ。

概念空間に隠された思考のパズル

Anthropicチームはテスト過程において、注目すべき複数の現象を観察した。例えば「なぜ空は青いのか」と問われた際、Claudeは記憶から標準的な回答を直接検索するのではなく、内部でまず「レイリー散乱」「波長」「大気層」に関連する独立した概念ノードを活性化させ、その後、暗黙の「推論の回廊」の中でこれらのノードを段階的に繋ぎ合わせて完全な因果関係の連鎖を形成していた。この繋ぎ合わせのプロセスは、ヤコビアンレンズのもとでは方向が明確なベクトルの流れとして現れ、まるでモデルが頭の中で一時的な思考のパズルを組み立てているかのようだった。

さらに予想外だったのは、Claudeが一部の抽象的な問題に対して「思考の跳躍」を実行することをチームが発見したことだ——従来の推論経路が行き詰まると、現在の問題とは一見無関係な別の概念領域へと突然飛び込み、しばらくして新たな情報を携えて主経路へと戻ってくるのだ。この領域をまたいだ情報移転は、人間の認知では「アハ体験（eureka moment）」と呼ばれるものであり、Claude内部ではベクトル空間における急速な離散的跳躍として現れる。この研究の責任者の一人であるAnthropicの最高科学責任者Dario Amodeiは「これは顕微鏡の下で思考の火花を見るようだ」と述べた。彼はこれらの発見が興奮をもたらす一方で、新たな不安ももたらすと指摘する。もしモデルが私たちの見えないところでこれほど複雑な演算を行えるとするなら、その行動の一貫性に対する私たちの信頼は依然として信頼できるものと言えるのだろうか？

「私たちは初めて、モデルが本当に『思考している』のを目にした——単純にパターンマッチングをしているのではなく。」——Anthropic研究チームメンバー

解釈可能性研究の新たなマイルストーン

ヤコビアンレンズの登場は孤立した技術的突破口ではない。ここ2年間、AI学術界は解釈可能性への投資を継続的に拡大してきた。OpenAIはニューロンの機能を探索する「活性化アトラス（activation atlas）」ツールを発表し、Google DeepMindはプローブ分類器を用いてモデルの内部表現を分析し、AnthropicはAI安全性を最優先する姿勢のもと「解釈可能性ファースト」を信条として独自の内部研究文化を形成してきた。これらの手法と比較した際のヤコビアンレンズの優位性は、モデルの推論過程を動的な視点で観察できる点にある。従来の手法は通常、特定のニューロンの意味をあらかじめ仮定する必要があったが、ヤコビアンレンズは入力の変化が出力に与える影響を追跡することで、教師なしでモデルが実際に使用している「概念辞書」を発見できる。

ただし、この技術には一定の限界も存在する。ヤコビアンレンズは現在、特別に設計されたAnthropicモデルのパラメータバージョンにのみ適用可能であり、すべてのクローズドソースまたはオープンソースモデルに直接展開できるわけではない。また、高次元ベクトルのマクロな軌跡しか観察できず、個々のパラメータレベルでのミクロな意思決定を説明することはできない。それでもなお、この研究は複数の独立した評論家から「近年最も意義深いAIの解釈可能性の進展の一つ」と称されている。マサチューセッツ工科大学（MIT）のコンピュータサイエンス教授であり解釈可能性研究の先駆者でもあるCynthia Breazeealは「モデルの内部ロジックへの扉を開いてくれた。まだ隙間は小さいけれど」と述べた。

編集者注：思考を見ることは、思考を制御することではない

ヤコビアンレンズの発表は再び一つの核心的な見解を裏付けた。LLMは単純な「確率的オウム（stochastic parrots）」ではなく、その内部には複雑な、さらには人間の類推的推論に近いメカニズムが存在するということだ。しかし、見えることは制御できることを意味しない。Anthropicチームは特に、現時点ではこの技術を用いてモデルの行動にリアルタイムで介入する方法がまだ見つかっていないことを強調している。もしモデルが隠れた空間において監視されることなく高度な推論を行えるとすれば、「アライメント問題（AI alignment）」の難易度は当初の想定よりも高くなる可能性がある——モデルが各「思考の跳躍」において安全な方向を維持できることを保証できないからだ。

さらに、この技術はプライバシーと透明性に関する議論も引き起こしている。もし第三者が類似のツールを用いてモデルの内部をリバースエンジニアリングできるとすれば、学習データ内の機密情報を抽出できる可能性はないのか？Anthropicは一部のコアアルゴリズムをオープンソース化したと発表しているが、モデル内部表現へのアクセス権限の管理は手元に残している。今後、AIの解釈可能性に関する論文にはより厳格な倫理的審査が求められることになるだろう。

課題は残るものの、ヤコビアンレンズはAI分野において記憶に値する技術的節目だ。「AIがどのように思考するか」という問いを哲学的な問いから、観察・測定可能な実証科学へと変えた。Anthropicが論文の結びに記したように、「モデル内部の『思考の日記』を読み始められるようになった今、私たちはようやくモデルとより誠実な対話ができるようになる。」

本記事はMIT Technology Reviewより翻訳・編集したものです。