GPT-6 Astra、材料制約スコアが29.1点急落・コード実行は19.5点上昇

GPT-6 Astraは本日のSmokeテストにおいて、材料制約スコアが89.80点から60.70点へ29.1点下落し、コード実行スコアは75.00点から94.50点へ上昇した。主要ランキング総合スコアは81.66点から79.29点へ低下した。

スコア比較データ

コード実行の次元では昨日75.00点・本日94.50点で19.5点上昇。材料制約の次元では昨日89.80点・本日60.70点で29.1点下落。エンジニアリング判断は100.00点から75.00点へ低下。タスク表現は87.50点から90.00点へ上昇。誠実性評価はpassを維持。

原因分析

Smokeテストは1日あたり10問・各次元2問のみのため、単日スコアの標準偏差は本質的に大きくなりやすい。材料制約とコード実行で方向が正反対の大幅変動が生じたことは、モデル能力の実際の低下ではなく、出題の無作為な抽選変動によるものである可能性が最も高い。材料制約の問題が特定の制約下におけるモデルの弱点を突く厳格な原文忠実度要件を集中的に問うていた一方、コード実行の問題ではモデルが得意とするシナリオが選ばれたため、両者に二極化が生じたと考えられる。

エンジニアリング判断のサブランキング（AI補助評価）が25点下落したことも、当日の出題組み合わせに難易度の差異が大きく存在したことを裏付けている。タスク表現が2.5点小幅上昇したことは、モデルが表現面では比較的安定を維持していることを示している。

利用者への示唆

材料制約を重視するシナリオの企業（契約文書生成・ナレッジベースQ&Aなど）は注意が必要であり、Smokeスコア60.70点は、原文の厳格な引用が求められるタスクにおいてハルシネーションや逸脱が増加する可能性を示唆している。コード実行に依存する開発者は引き続き本モデルを活用できる。94.50点はコードの正確性において依然として優位性があることを示している。

材料制約とコード実行の両方を必要とする複合シナリオのチームは、単日の変動に惑わされないよう、複数日にわたって継続観察したうえでモデル選定の判断を行うことを推奨する。

戦略的判断

現行のスコア比較データに基づくと、材料制約における29.1点の下落は、モデルの実質的な能力低下ではなく出題の抽選によるものである可能性が最も高い。主要ランキングの低下がわずか2.4点にとどまっていることもこの判断を支持している。次回テストで材料制約が80点以上に回復すれば、当日の変動が通常の揺らぎであったと確認できる。70点以下が続くようであれば、当該次元におけるモデルの安定性をさらに検証する必要がある。

現時点のデータはGPT-6 Astraに対する否定的な戦略的格下げを支持しておらず、引き続き観察を継続することを推奨する。

データ出典：YZ Index | Run #414 | 元データを見る