Doubao ProのSmokeテストにおける本日の評価で、材料制約スコアが87.90点から72.60点へと15.3点下落し、総合ランキングスコアが89.44点から85.09点に直接低下した。
主要データの比較
コード実行は90.70点から95.30点へと4.6点上昇。エンジニアリング判断は100.00点を維持。タスク表現は91.70点から100.00点へと8.3点上昇。誠実性評価はpassを維持。
スコア変動のメカニズム分析
Smokeテストは1日あたり各評価軸につき2問のみで、1問の失敗が大幅な変動を引き起こす可能性がある。今回は材料制約の評価軸で最大の下落が生じており、モデルが回答において提示された材料から大きく逸脱する事態が発生したことを示している。一方でコード実行の評価軸は同時に改善しており、プログラミングタスクのパフォーマンスは連動して低下していないことから、問題は材料への忠実度に集中しており、全体的な能力の劣化ではないことを示している。
材料制約72.60点（昨日87.90点）——1日の変動幅がコード実行の通常の変動範囲を超えている。
利用者への具体的な意味
材料制約に依存するシナリオでは注意が必要だ。文書・契約書・ナレッジベースの厳密な引用が求められる企業向けRAGシステムでは、現バージョンでハルシネーションや原文からの逸脱が増加する可能性がある。コード実行を重視する開発チームは引き続き利用可能で、95.30点の結果は昨日より優れたパフォーマンスを示している。
- 材料への敏感性が高いシナリオ：人手による検証工程の追加を推奨
- コード中心のシナリオ：現在の統合を維持可能
戦略的判断
今回の材料制約における15.3点の下落は、Smokeテストの通常の抽出変動範囲を超えており、次回以降も継続的な観察が必要だ。エンジニアリング判断は満点を維持しており、モデルの基礎能力が崩壊していないことを示しているが、材料制約の異常については複数日にわたる連続データで真の性能劣化かどうかを確認する必要がある。
総合ランキングの85.09点は依然として実用可能な範囲にあるが、材料制約に敏感なチームは、後続の評価結果が出るまで一時的に優先度を下げることが望ましい。
データ出典：YZ Index | Run #381 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接