Co-Design Benchが示す最強コーディングエージェント、タスク完全完了率はわずか26.4%

2026年11月8日、アリババが5つの大学と共同で発表したCo-Design Benchによると、GPT-6 Astraは273問のマルチモーダルタスクにおいて平均69.9%の受け入れ条件を満たしたが、タスク全体を完全に完了した割合はわずか26.4%であった。

事実の整理

このベンチマークは、26,314件の実際の開発者コーディングセッションから273問のタスクを抽出したもので、タスクの出典は37,463件の重複排除済みクエリに及ぶ。ベンチマークはマルチモーダル編集とリポジトリ編集の2トラックで構成され、ローカル編集とリポジトリレベルの修正を網羅している。タスクには2,331件の非公開の専門家作成受け入れ基準が設けられており、judge-then-refuteプロトコルによって採点が行われる。

テストは10のモデルエンドポイントを対象とし、すべてのエンドポイントにおいて、3〜4種類の変更タイプにまたがるリポジトリ編集タスクの基準達成率は、1〜2種類の変更タイプのみを含むタスクを下回った。ベンチマークはゴールドスタンダードのコードやターゲットスクリーンショットを提供せず、ソースコードとブラウザのエビデンス、および独立したLLMバリデーターを用いた監査によって評価を行う。

メカニズムの分析

ベンチマークは能力をgrounded understanding、UI transformation、functional implementationの3つの次元に分類している。実際のユーザーリクエストには画像、音声、映像、またはドキュメント入力が含まれることが多く、エージェントはターゲット出力がない状態で修正を完了する必要がある。受け入れ条件の部分的な充足とタスク完全完了との間に生じた43.5パーセントポイントの差は、複数ステップの協調実行において、一部の基準を通過した後でも後続のステップが失敗することでタスク全体が未完了となり得ることを示している。

リポジトリ編集トラックにおけるパフォーマンスの低下は、変更タイプが増加した際にエージェントが一貫性と完全性を維持することの難しさが増すことを示している。プロトコルは独立したバリデーターによって肯定的な判定に異議を申し立てることで、視覚的・インタラクション的な主張に対する誤判定を低減している。

産業への影響

この結果は、現在のコーディングエージェントが実際のユーザーシナリオにおける活用可能性において、部分的な充足から完全な成果物の納品への転換がいまだ制約を受けていることを示している。ベンチマークは合成テストでの高スコアと実際のアプリケーション納品との乖離を浮き彫りにしており、開発者が複数ステップの協調実行とエラーリカバリーメカニズムにより注目するよう促す可能性がある。

複数機関が参加するテストフレームワークは、実際のアプリケーション修正においてエージェント型モデルのパフォーマンスを評価するための参照基準を提供している。タスクの完全完了率の低さは、本番環境における関連製品の採用判断に影響を与える可能性がある。

戦略的見解（分析であり事実ではない）

既知の事実に基づけば、ベンチマークが明らかにした差異は、業界が評価手法を見直し、長いシーケンスにわたる変更の協調をサポートするモデルアーキテクチャの開発を優先するよう促す可能性がある。後続のテストで同様の傾向が続いた場合、部分的な最適化戦略はエンドツーエンドの納品能力の向上に道を譲ることが求められるかもしれない。