Doubao Proは본日のSmoke評価テストにおいて、主要ランキングのスコアが94.74点から82.16点に低下し、コード実行ディメンションは100.00点から75.00点に下落した。
スコア比較データ
昨日から本日にかけての具体的な変化は以下の通り：コード実行100.00点→75.00点（-25点）、資料制約88.30点→90.90点（+2.6点）、エンジニアリング判断75.00点→75.00点（0点）、タスク表現91.70点→90.00点（-1.7点）、主要ランキング全体94.74点→82.16点（-12.6点）。誠実性評価はpassを維持。
データ事実の分解
Smoke評価テストは1日あたりディメンションごとに2問、計10問のみ実施される。コード実行ディメンションが単日で25点を失ったことが、主要ランキングを直接12.6点押し下げた。一方、資料制約は2.6点上昇しており、このディメンションの2問でモデルのパフォーマンスが改善されたことを示している。エンジニアリング判断とタスク表現の変化幅はいずれも2点以内であり、通常の範囲内にある。
原因分析
今回の下落は、出題の抽出による変動が最も有力な原因として考えられる。Smoke評価テストはサンプル数が極めて少なく、コード実行の2問における難易度や具体的な要求の差異だけで25点の落差が生じ得る。資料制約のスコアが上昇していることは、モデル自体に系統的な性能劣化が生じていないことを示している。エンジニアリング判断の変化がゼロであることも、能力低下ではなく変動であるという判断をさらに裏付けている。
利用者への意味
コード実行を重視するチームは、Smokeの単日結果が抽出誤差を拡大させる可能性があることに注意が必要であり、モデル選定の決定を下す前に複数日にわたって継続観察することを推奨する。資料への忠実度を重視するシナリオでは、Doubao Proの本日の資料制約スコア90.90点は昨日を上回っており、参考指標として活用できる。
戦略的判断
単日12.6点の主要ランキング下落はコード実行の2問によるものが主であり、モデルの実質的な性能劣化を示す十分な証拠とはならない。次回以降で検証すべきシグナルは、コード実行が2日連続で85点を下回った場合であり、その際にはコード能力の安定性を改めて評価する必要がある。現時点のデータは通常の抽出変動を示しているに過ぎない。
全ディメンションを総合すると、Doubao Proの本日のパフォーマンスは依然として実用可能な範囲内にあり、誠実性評価はpassであり、いかなる参入警告も発動されていない。開発者は引き続き利用可能だが、コード実行タスクのテストサンプルを少なくとも10問以上に拡大し、単日変動の影響を低減させることが望ましい。
データ出典：YZ Index | Run #283 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接