GPT-6.1 Solは本日のSmokeベンチマークにおいて、コード実行スコアが97.30から70.00へと低下し、総合ランキング全体も84.70から78.69へと後退した。
スコア変動の事実
コード実行部門で-27.3点の変動が発生した。一方、資料制約は69.30から89.30へと上昇し、エンジニアリング判断は100.00から94.80へ、タスク表現は100.00から85.00へとそれぞれ小幅に低下した。誠実性評価は「pass」を維持している。
原因分析
Smokeベンチマークは1日あたりわずか10問、各部門2問の構成である。コード実行では1問の失敗だけで27.3点規模の変動が生じ得る。資料制約が同時期に20点上昇していることは、モデルの制約遵守能力に系統的な劣化が生じていないことを示している。エンジニアリング判断とタスク表現の小幅な低下も、少サンプルの抽選特性に合致しており、全体的な能力崩壊ではない。
モデルの真の性能劣化であれば、通常は複数の部門が同時に下落するはずだが、資料制約が逆に上昇していることはその見方と合致しない。したがって、問題の抽選による変動がより可能性の高い原因と考えられる。
利用者への示唆
コード実行に強く依存する開発チームは、本日の70.00点という結果が生成コードの信頼性低下につながる可能性に注意が必要だ。安定したコード出力が求められる場面では、人手によるレビュー工程の追加を推奨する。
資料制約の精度を重視するドキュメント生成やコンプライアンス用途においては、本日の89.30点がむしろ高い保証を提供しており、短期的な代替選択肢として活用できる。
戦略的判断
総合ランキングの6点の後退は主にコード実行部門が牽引している。テスト規模の制限を踏まえると、今回の変動だけではモデルが劣化トレンドに入ったと判断するには不十分だ。次回のSmokeベンチマークでコード実行スコアが90点以上に回復すれば、今回が抽選によるイベントであったと確認できる。一方、80点を継続して下回る場合は、一貫性のさらなる検証が必要となる。
現時点のデータは、GPT-6.1 Solに対する全面的な評価引き下げを支持しない。今後2回分のコード実行スコアの標準偏差を重点的に観察することで、より信頼性の高い結論が得られるだろう。
データ出典:YZ Index | Run #429 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接