GPT-6 Astraは本日のSmoke評価において、材料制約スコアが昨日の89.30点から70.30点へと19点下落し、コード実行スコアは72.00点から97.00点へと25点上昇した。総合スコアは79.79点から84.99点へと5.2点の純増となった。エンジニアリング判断は75.00点から100.00点へ上昇し、タスク表現は79.70点で横ばい、誠実性評価はpassを維持した。
データの事実分解
材料制約ディメンションは1日で19点を失い、総合ランキングにおける当該ディメンションの寄与度を直接押し下げた。コード実行ディメンションは同期間に25点増加し、材料制約の損失を相殺したうえで総合スコアを5.2点押し上げた。二つの主要監査可能ディメンションがまったく逆の動きを示し、1日の極差は44点に達した。
Smoke評価は1日あたり各ディメンション2問、計10問で構成される。材料制約の2問がそれぞれ約9.5点ずつ失点すれば、19点の全体下落が生じる。コード実行の2問がそれぞれ12.5点増加すれば、25点の全体上昇が生じる。この幅は1日あたりの小サンプルテストにおいて統計的に許容される範囲内である。
原因分析
出題の抽選変動が最も直接的な説明となる。材料制約の問題は、より厳格な引用要求または長いコンテキスト制約を含んでいた可能性があり、モデルがいずれか1問で原文から著しく逸脱したか、未承認の内容を追加したため、単一問題への減点が集中した可能性がある。コード実行の問題は、より単純なアルゴリズムやデータ処理タスクに移行した可能性があり、モデルがすべてのテストポイントを一度で通過し、満点またはそれに近いスコアを獲得した可能性がある。
モデルの実質的な性能劣化の可能性は低い。材料制約とコード実行はいずれも総合ランキングの監査可能ディメンションに属しており、モデルの基盤能力に系統的な低下が生じていれば、通常は両ディメンションが同じ方向に動く。現在の一方が上昇し一方が下落するという状況は、異なる問題がモデルの異なる能力をランダムにサンプリングした結果に合致しており、能力自体に構造的な変化が生じたわけではないと考えられる。
利用者への示唆
法的契約のレビュー、学術引用の照合、財務報告書の比較など、材料制約に強く依存するシナリオのチームは、本日以降、人手による再確認の割合を高める必要がある。GPT-6 Astraの材料制約スコアが70.30点の水準にある場合、単一の回答で未承認の内容が追加される確率が明らかに上昇する。
データクリーニングスクリプトの作成、簡単なアルゴリズム検証、自動化レポート生成など、コード実行を集中的に行うシナリオの開発者は、引き続き当該モデルを使用することができる。現在の97.00点という性能はほぼ満点域に達しており、実行正確率は高い。
戦略的判断
総合スコアが5.2点上昇したという事実は、材料制約の19点損失が本日のSmoke評価におけるGPT-6 Astraの全体的な順位に影響を与えなかったことを示している。継続的な注視が必要かどうかは、次回のSmoke評価において材料制約スコアが引き続き80点を下回るかどうかにかかっている。次回の材料制約スコアが85点以上に回復した場合、今回の19点の下落は単日の抽選異常と判定される可能性が高い。一方、引き続き75点以下に留まる場合は、材料制約を重点追跡ディメンションとして位置づけることを検討する必要がある。
現時点のスコア比較に基づくと、GPT-6 Astraの材料制約ディメンションにおけるパフォーマンスには明確な単日異常が発生している。当該ディメンションに依存するユーザーは、次回の完全な評価結果が公表されるまで、GPT-6 Astraを材料制約の第一候補モデルとして設定することを一時的に保留することを推奨する。
データ出典：YZ Index | Run #373 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接