2026年10月9日、Google Cloud AI ResearchはArXivに技術論文を発表するとともにコードリポジトリをオープンソース（Apache 2.0ライセンス）として公開し、「Harness²」と名付けられたエージェント最適化フレームワークを発表した。フレームワークの核心的主張は、モデルの重みを変更せず、モデルの外層にある「スキャフォールド」のみを修正することで、AIエージェントの性能を大幅に向上できるというものだ。法律エージェントベンチマークLABでは、単一ステップの最適化で11.8ポイントの向上を達成。企業ワークフローベンチマークWorkBuddy-Benchでは11.5ポイント、職業知識ワークベンチマークJobBenchでは4.5ポイントの向上を記録した。テストはGLM-5とGemini 3.5 Flashの2種類のモデル構成を対象に実施された。論文の著者にはRuiyao Xu、Yanfei Chen、Rujun Han、Tomas Pfisterらが名を連ねている。
「スキャフォールド」とは何か、なぜ性能に影響するのか
ほとんどのエージェントシステムにおいて、モデルの重みは能力の根本的な源泉であるが、具体的なタスクのパフォーマンスを実際に左右するのは、モデルを包み込む「スキャフォールド」層だ。すなわち、システムプロンプトの書き方、ツール呼び出しルール、メモリの内容、サブエージェントの調整方式、スキルとスクリプトの構成などがこれにあたる。これら8種類のコンポーネント——システムプロンプト、ガードレール、メモリ、ツールガイドライン、サブエージェント、スキル、スクリプト、プラグイン——が合わさって、Harness²が「実行スキャフォールド」と呼ぶものを構成している。
従来、これらコンポーネントのチューニングは人手に頼っていた。Harness²はこのプロセスを自動実行可能な探索手順に変換する。エージェントがタスクを完了するたびに、フレームワークは自己最適化を起動し、修正候補を生成して効果の差異をテストし、証拠に基づいた改善を保持する。これらはすべて自動的に行われ、人手によるアノテーション、報酬シグナル、事前設定された正解も必要としない。
提案—探索—統合：教師なし自己修正の動作原理
フレームワークの中核ステップは「提案—探索—統合（Propose–Probe–Compose）」と名付けられている。タスクを処理するたびに、システムはまず2組のスキャフォールド修正候補を提案する。一方はエージェントの汎用的な弱点に対応したもの、もう一方は現在のタスクシナリオに対応したものだ。2組の候補は同一のタスク条件下で実際に実行され、システムは参照実行との行動差分を記録する。行動比較によって有効性が証明された修正のみが、新しいスキャフォールドに統合される。
この設計は、従来の強化学習が逆伝播シグナルのために「正解」を必要とするという制約を回避している。アーキテクチャ上、Harness²は2層の再帰構造を持つ。タスクレベルの再帰は現在のタスクの即時最適化を処理し、並列モードまたは逐次モードをサポートする。WorkBuddy-Benchでは、5つの並列ブランチによる再帰が11.5ポイントに加えてさらに3.9ポイントを積み上げた。JobBenchでは再帰によりさらに4.2ポイント、LABでは11.8ポイントに加えてさらに6.7ポイントが追加された。スキャフォールドレベルの再帰は、各タスクで採用した設定と証拠に裏付けられた教訓を永続的な改善ファイルに書き込み、後続タスクのより強固な出発点とする。
モデル選択の詳細
技術レポートによれば、実験において実行エージェントを担ったのはGemini 3.5 FlashとGLM-5だが、スキャフォールドの修正を「提案・統合」する「エディターモデル」にはAnthropicのClaude Opus 4.8が採用された。この選択は、現時点において異なるモデル間で特定の能力に顕著な差があることを示しており、研究チームが最も重要な「メタ推論」の工程において最もパフォーマンスの高いツールを選択したことを意味する。
弱いモデルが強いモデルを超える
テスト結果によれば、GLM-5はHarness²による最適化後、WorkBuddy-Benchのスコアが75.7に達し、最適化なしのGemini 3.5 Flashのベースライン72.4を上回った。より弱いモデルでも最適化されたスキャフォールドを組み合わせることで、より強いモデルが素の設定で発揮するパフォーマンスを超えられることが示された。
企業ユーザーにとって、APIコストが低いモデルでもスキャフォールドエンジニアリングがしっかりしていれば、実際のタスクにおいてより高価なフラッグシップモデルよりもコストパフォーマンスが高い場合がある。これにより、「どのモデルが最も優れているか」という問いは、「どのモデルとフレームワークの組み合わせがコストパフォーマンス的に最適か」という問いへと部分的に転換される。
スキャフォールド最適化が独立した研究分野へ
ArXivに同時期に掲載された論文を見ると、Harness²は孤立した事例ではない。同時期にRegenHarness、RRSI、ModularRSIなど複数の研究が登場しており、方向性が非常に近く、「エージェントスキャフォールドの自動最適化」が複数のチームが競争する独立した研究領域になりつつあることを示している。Harness²はその中で、並列と逐次の2種類の再帰モードをサポートし、3つの専門ベンチマークに直接接続可能な実動フレームワークとして初めて登場したものだ。
Apache 2.0ライセンスにより商業製品への直接利用が可能で、Python 3.12をサポートし、OpenCodeとCodexエグゼキューターを統合している。LABベンチマークにはPandocとPopplerが必要で、WorkBuddy-BenchにはDockerが必要だ。コードリポジトリは「Googleの公式サポート製品ではない」と明記されており、長期メンテナンスのペースやバージョン互換性については明確な保証はない。
AI評価エコシステムへの構造的影響
Harness²がもたらす最大の構造的問題は、ベンチマーク評価の比較可能性への打撃だ。同一モデルでもデフォルトのスキャフォールドと最適化されたスキャフォールドとの間でスコア差が11ポイントを超える可能性があり、既存のリーダーボードのスコア比較には根本的な問題が生じる。これらのスコアが「モデルの能力」を表しているのか、それとも「モデルと特定のフレームワーク設定の組み合わせの能力」を表しているのかが問われることになる。
Harness²はこの差異を10ポイント以上の規模まで拡大させ、かつ大規模に自動化できるメカニズムを提供する。各ベンダーが類似のフレームワークを用いて自社モデルのベンチマークを最適化し始め、評価コミュニティが依然として「素のモデル」のスコアで横断比較を行っているならば、ベンチマークの参照価値はさらに希薄化するだろう。
戦略的考察
第一に、スキャフォールド最適化は研究ツールから製品インフラへと移行する可能性がある。Googleがクローズドソースではなくオープンソースを選択したのは、オープンスタンダードによって開発者エコシステムを取り込みつつ、この種の能力をVertex AIプラットフォームの基盤サービスとして固定化するためかもしれない。
第二に、評価の標準化に対する圧力が高まるだろう。Hugging Face Open LLM Leaderboardなどの主要リーダーボードが「使用したフレームワークのバージョンとスキャフォールドの設定」の申告を提出者に求め始めれば、コミュニティが問題を認識し修正に動き始めたことを意味する。
第三に、Claude Opus 4.8がエディターモデルとして選択された点は継続的な追跡が必要だ。後続の独立した再現実験において、別のモデルをエディターとして使用した際に性能が明らかに低下するならば、Harness²の現在の結果がAnthropicモデルの特定の能力と強く結びついていることを示す。
3つのテストベンチマーク（法律エージェント、企業ワークフロー、職業知識ワーク）は、スキャフォールド最適化が最も効果を発揮しやすいシナリオだ——タスク構造が明確で、行動が比較可能で、ドメイン知識をスキャフォールドに精緻に書き込める。低レイテンシ対話、リアルタイムストリーム処理、または純粋な数学的推論といったシナリオに対しては、現在のデータを直接外挿することはできない。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接