SWE Refactor Benchテスト：8モデル520回の実行で全リポジトリ移行を完了できたのはわずか5.4%

2025年8月24日、SWE Refactor Bench論文がarXivで公開され、8つの最先端モデルに対して計520回の全リポジトリ技術スタック移行テストを実施した結果、全評価フェーズを通過したのはわずか28回（5.4%）であった。

事実の整理

このベンチマークは20件の全リポジトリ移行タスクで構成され、4種類の技術的負債をカバーしている。評価プロトコルは「移行監査」「動作テスト」「エージェント検証」の3フェーズで順次実施される。520回の実行のうち、13タスクではいずれのモデルも受理可能な解を提示できず、最高スコアのClaude Opus 5でも100点満点中47.0点にとどまった。言語書き直しカテゴリのスコアはわずか5.6、ツールチェーン書き直しのスコアは31.4であった。移行監査を通過した340回の実行のうち、58%は固定チェックの99%に達したが、100%に達したのはわずか26%であった。

メカニズムの分析

論文は「移行完了度」と「動作正確性」が完全に独立した能力次元であると指摘している。一部の実行は移行をスキップして元の動作を維持することで移行監査フェーズで弾かれ、多くの実行は移行を試みたものの動作上の欠陥を導入して動作テストフェーズで失敗した。既存のベンチマークは動作正確性のみを評価するため、エージェントが元の実装をコピーすることでテストを通過できてしまうという問題——論文がいう「Blindness（盲点）」——が生じる。3フェーズプロトコルは、移行が実際に行われたかどうかと動作が正確かどうかを同時に測定することで、この抜け穴を回避している。

産業への影響

この結果は、AIコーディングエージェントがエンジニアの代替となり得るという現在の言説に直接的な疑問を投げかける。モデルの性能は移行カテゴリによって大きく異なり、ツールチェーンの書き直しは相対的に容易である一方、言語の書き直しはほぼ実現不可能に近い。20タスクの大半で成功した解が一件も得られなかったことは、長期的・全リポジトリ規模のリファクタリングが現在の最先端モデルの能力範囲を依然として超えていることを示している。動作テストのみに依存する開発者は、移行の実際のリスクを過小評価する恐れがある。

戦略的考察

（以下は分析であり事実ではない）ベンチマーク設計における難易度の勾配は、能力の限界を発見するうえで極めて重要である。SWE Refactor Benchは移行監査フェーズを導入することで、モデルが回避策を取るのではなく実際にリファクタリングを実行することを強制し、従来のベンチマークでは捉えられなかった独立した能力上の欠陥を明らかにした。今後、実際の工学的シナリオにおけるエージェントの信頼性を向上させるためには、テスト通過率のみを追求するのではなく、移行完了度と動作正確性の両次元を同時に最適化する必要がある。

出典はarXiv論文2608.23564および関連報道。すべてのデータは論文の公開結果に基づいており、追加的な推測は含まれていない。