GPT-6.1 Sol、材料制約スコアが29.1点急落——コード実行は19.5点上昇

GPT-6.1 Solは本日のSmoke評価テストにおいて、材料制約スコアが89.80点から60.70点へと29.1点下落し、コード実行スコアは75.00点から94.50点へと上昇した。総合スコアは81.66点から79.29点に低下した。

主要ディメンション比較データ

総合ランキングはコード実行と材料制約の2つの監査可能なディメンションのみで構成されている。本日の材料制約60.70点は前日の89.80点と比較して単日降下幅29.1点、コード実行94.50点は前日の75.00点と比較して単日上昇幅19.5点となった。両者の加重後、総合スコアは純計2.4点低下した。エンジニアリング判断は100.00点から75.00点へ低下し、タスク表現は87.50点から85.00点へ低下した。誠実性評価はpassを維持した。

変動要因分析

Smoke評価テストは1日10問のみで、各ディメンション2問とサンプル数が極めて少ない。材料制約の単日29.1点下落とコード実行の19.5点上昇が同時に発生していることから、モデルパラメータの系統的な劣化ではなく、問題抽選のランダムな分布に起因する可能性が最も高い。材料制約の問題が、所定の資料を厳格に引用し外部知識を禁じるシナリオに集中した場合、1回のミスでそのディメンション全体のスコアを大幅に引き下げる可能性がある。コード実行の問題がモデルの得意とするアルゴリズムやデバッグ問題に偶然当たった場合、スコアが自然に上昇する。両ディメンションの逆方向の動きは、抽選による変動という説明をさらに裏付けるものである。

材料制約60.70点とコード実行94.50点の対比は、モデル能力自体ではなく問題の内容に構造的な変化が生じていることを示している。

利用者への具体的な意味

資料の忠実な再現に強く依存する企業チームにとって、GPT-6.1 Solの本日の材料制約スコア60.70点は、入力文書を厳格に遵守しハルシネーションを禁じるシナリオにおいて、単回の呼び出しリスクが著しく上昇することを意味する。コード実行94.50点は、このモデルが純粋なプログラミングタスクにおいて依然として高い実用性を維持していることを示している。エンジニアリング判断を重視する開発者は、サブランキングの75.00点に注意が必要であり、アーキテクチャの意思決定やトレードオフが求められる場面でモデル出力の一貫性が期待値を下回る可能性があることを示唆している。

戦略的判断

現在のデータに基づくと、GPT-6.1 Solの総合スコア79.29点は依然として実用可能な範囲内にあるが、材料制約の単日29.1点の変動はすでに通常の抽選誤差で説明できる範囲の境界を超えている。次回のSmoke評価テストで材料制約が引き続き70点を下回る場合、モデルの実質的な劣化の可能性を検討する必要がある。80点以上に回復した場合は、本日の結果を孤立した抽選イベントと判断できる。エンジニアリング判断のサブランキング75.00点と材料制約60.70点が同時に低下していることは注目に値し、次回の評価で両者に共通のメカニズムが存在するかどうかを重点的に検証する価値がある。

誠実性評価がpassを維持していることは、モデルに系統的な虚偽回答や回答回避が発生していないことを示している。安定性ディメンションについては今回の具体的な数値が提供されておらず、回答の一貫性を判断することはできない。総じて、本日のデータが示す最も直接的なシグナルは、材料制約ディメンションが少ないサンプル問題に対して非常に敏感であるということであり、利用者は重要なタスクにおいて人的確認のプロセスを追加すべきである。

データ出典：YZ Index | Run #414 | 元データを見る