GPT-6.1 Sol、材料制約スコアが19点急落——コード実行は25点急騰

GPT-6.1 Solは本日のSmoke評価において、材料制約スコアが89.30点から70.30点へ19点下落し、コード実行スコアは72.00点から97.00点へ25点上昇した。総合ランキングは79.79点から84.99点へと上昇した。

スコア比較と主要な発見

コード実行は72.00点から97.00点へ上昇、材料制約は89.30点から70.30点へ下落、エンジニアリング判断は75.00点から100.00点へ上昇、タスク表現は84.70点から79.70点へ下落、総合ランキングは79.79点から84.99点へ上昇、誠実性評価はpassを維持した。材料制約の1日あたり19点の下落幅が、今回の評価における最も顕著な異常である。

変動要因の分析

Smoke評価は1日あたり10問（次元ごとに2問）のみで、問題のランダム抽選が直接スコアに影響する。今回の材料制約の急落は、当日抽選された2問の難易度または制約要求が前日のサンプルより高かったことに起因する可能性がある。コード実行とエンジニアリング判断が同時に大幅上昇したことは、今回の抽選においてモデルがコード系・判断系タスクに対してより安定した応答を示したことを意味する。タスク表現の下落は5点にとどまり、材料制約と比べて幅が大幅に小さいことから、劣化が全体的なものではないことが示唆される。現時点のデータでは、問題の抽選による変動かモデルの真の劣化かを区別することができず、同一次元の問題による次回の再評価で検証する必要がある。

利用者にとっての具体的な意味

材料への忠実度を重視するシナリオ（契約情報抽出、文献要約、法規制コンプライアンス確認など）は材料制約次元に依存しており、GPT-6.1 Solの本日スコア70.30点は、これらのシナリオにおいてモデルが与えられた材料を無視・誤解しやすくなることを意味する。企業ユーザーには重要な出力前に人手による校正工程を追加することを推奨する。コード実行97.00点の結果はアルゴリズム開発やデータ処理パイプラインに有利であり、これらのチームは引き続き使用できるが、材料制約のパフォーマンスを別途監視する必要がある。エンジニアリング判断100.00点はシステム設計レビューのシナリオに有益であり、タスク表現79.70点は要件文書作成への影響は限定的である。

戦略的判断

総合ランキングの5.2点上昇は主にコード実行とエンジニアリング判断によって牽引されており、材料制約の19点下落は部分的に相殺された。1日10問というサンプル数に基づけば、19点の変動はモデルの劣化よりも問題の抽選によるものである可能性が高い。次回評価では材料制約が85点以上に回復するか否かを重点的に観察することを推奨する。2回連続で75点を下回った場合は、材料に敏感なタスクにおける同モデルの優先度を再評価する必要がある。現時点のデータは、GPT-6.1 Solの総合的な能力に対する否定的な結論を支持しない。

データ出典：YZ Index | Run #373 | 元データを見る