GPT-6 Luna、材料制約スコアが15.9点急落——コード実行は19.7点の大幅上昇

GPT-6 Lunaは本日のSmoke評価テストにおいて、材料制約スコアが87.90点から72.00点へ15.9点下落した一方、コード実行スコアは74.30点から94.00点へ19.7点上昇し、メインスコアは80.40点から84.10点へ上昇した。

スコア比較と変動の特徴

コード実行は昨日74.30点・本日94.00点、材料制約は昨日87.90点・本日72.00点、エンジニアリング判断は昨日100.00点・本日75.00点、タスク表現は昨日66.30点・本日100.00点となった。メインスコアは3.7点上昇し、誠実性評価はpassを維持した。

原因分析

Smoke評価テストは1日10問のみで、各ディメンション2問ずつという構成上、抽選による変動が主な要因として考えられる。材料制約とエンジニアリング判断が同時に低下し、タスク表現が大幅に上昇したことは、出題タイプの分布変化によって異なる能力が引き出されたことを示している。コード実行の大幅な向上もこのメカニズムを裏付けており、新しい問題がこのモデルのコード生成経路に適していた可能性がある一方、材料制約の問題にはより厳格な引用やフォーマット要件が含まれていた可能性がある。

実際の性能劣化の可能性は低い。メインスコアの上昇は、全体的な能力に系統的な低下が生じていないことを示している。モデルが真に劣化した場合、通常は複数の主要ディメンションが同時に低下するが、今回はコード実行とタスク表現の向上が材料制約の損失を相殺している。

利用者への示唆

法律契約の抽出、学術引用の検証、製品仕様の比較など、材料制約に強く依存するシナリオを扱うチームは、GPT-6 Lunaを使用する際に手動での検証ステップを追加する必要がある。コード実行パフォーマンスの向上は、自動化スクリプト生成やデータ処理パイプラインに好影響をもたらすため、この分野の開発者は優先的に新バージョンをテストすることを推奨する。

エンジニアリング判断が75.00点に低下したことは、多段階の意思決定やアーキテクチャ選択を必要とするシナリオでモデル出力の一貫性が低下する可能性を示唆している。一方、タスク表現が100.00点に上昇したことは、現在の問題セットにおいて指示追従能力が優れており、迅速なプロトタイピングや対話型タスクに適していることを示している。

戦略的判断

現在のスコア比較に基づくと、今回の材料制約の低下はモデルの実際の性能劣化ではなく、単日の出題抽選による変動である可能性が高い。メインスコアが3.7点上昇したという事実がこの判断を支持している。次回のSmoke評価テストでは、材料制約が回復するか否か、およびエンジニアリング判断とタスク表現の変動幅に注目することを推奨する。材料制約が2回連続で75点を下回った場合に初めて、モデル選定の優先順位の見直しを検討すべきである。

現時点のデータは、GPT-6 Lunaの総合評価を引き下げる根拠とはならない。開発者は引き続き使用可能だが、材料への忠実度が重要なシナリオでは手動レビューのプロセスを維持すべきである。

データ出典：YZ Index | Run #404 | 元データを見る