GPT-6 Astraは本日のSmoke評価において、メインランキングスコアが82.33点から71.01点に低下し、コード実行ディメンションは97.00点から72.00点へと直接25点急落した。
データの事実
Smoke評価は毎日固定10問で、各ディメンションにつき2問出題される。本日のコード実行ディメンションのスコアは72.00点で、昨日の97.00点から25点低下した。素材制約ディメンションは64.40点から69.80点に上昇し5.4点増加した。エンジニアリング判断とタスク表現の2つのサイドランキングディメンションはそれぞれ75.00点と100.00点のまま変動なく、誠実性評価も「pass」を維持した。これにより、メインランキングの加重結果が11.3点低下した。
コード実行ディメンションの1日の下落幅が素材制約ディメンションの上昇幅を大きく上回ったため、メインランキング全体が後退した。エンジニアリング判断とタスク表現に変動がなかったことは、モデルがサイドランキングの能力を安定的に維持していることを示している。
考えられる原因の分析
Smoke評価の問題は毎日抽選で決まり、2問というサンプル数は少ないため、1日のスコア変動は正常な範囲内に属する。コード実行ディメンションで本日大幅な下落が生じた最も可能性の高い原因は、抽選された問題がモデルのコード生成またはデバッグ能力に対してより高い要求を課するものであり、モデルがこれらの具体的な問題に対して正しい解答を導き出せなかったことにある。
素材制約ディメンションが小幅に上昇したことは、モデルが引用制約と忠実度の面で系統的な問題を抱えていないことを示している。エンジニアリング判断とタスク表現が元のスコアを維持したことは、モデル全体のアーキテクチャと表現能力が今回の抽選の影響を受けていないことを示している。
今回の後退が問題の難易度のみに起因するならば統計的変動に分類されるが、複数日にわたって同一ディメンションで同様の低スコアが続く場合は、モデルの実際の性能劣化を指している可能性がある。現時点では1日分のデータしかなく、両者を区別することはできない。
ユーザーへの示唆
コード実行に大きく依存している開発チームは注意が必要だ。GPT-6 Astraのコード生成シナリオにおける安定性が顕著な変動を見せている。本日の72.00点は、同種のコードタスクにおいてモデルの正答率が昨日の97.00点に相当する水準を大幅に下回る可能性があることを意味する。
素材制約を重視する文書生成や知識抽出シナリオへの影響は比較的小さい。当該ディメンションのスコアはむしろ上昇しているためだ。エンジニアリング判断とタスク表現は満点または高スコアを維持しており、構造化された出力と判断を必要とするタスクには適している。
企業がモデル選定を行う際には、コード実行ディメンションの1日の変動をリスク評価に組み込む必要がある。特に自動テストやスクリプト生成パイプラインにおいては、人手による復査プロセスを追加することを推奨する。
戦略的判断
コード実行ディメンションの25点の下落幅は通常の抽選変動の閾値を超えており、次回のSmoke評価での重点的な検証が必要だ。翌日に当該ディメンションが90点以上に回復すれば、今回の後退は問題の抽選によるものである可能性が高い。一方で80点を下回る状態が続けば、モデルの実際の能力変化を考慮する必要がある。
メインランキングの11.3点の後退は主にコード実行という単一ディメンションによって引き起こされており、他のディメンションで同期的な悪化は見られないことから、モデル全体が全面的に劣化しているわけではないことが示されている。エンジニアリング判断とタスク表現の変動ゼロが、この点をさらに裏付けている。
コード実行に依存しているコアユーザーに対しては、現在のデータはGPT-6 Astraへの信頼度を一時的に下げ、その後2日間の同一ディメンションのスコア変化を優先的に観察した上で、本番環境の設定を変更するかどうかを判断するよう示唆している。
データ出典：YZ Index | Run #387 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接