DoubaoProの材料制約スコアが27.6点急落、コード実行は49.3点急騰

Doubao ProのSmoke評価において、材料制約スコアが前日の85.90点から58.30点へ27.6点下落し、同時にコード実行スコアは50.00点から99.30点へ49.3点上昇した。メインボードスコアは66.16点から80.85点に上昇した。

データの事実整理

Smoke評価は1日あたり10問で、各ディメンション2問ずつ構成される。材料制約とコード実行がメインボードを構成し、エンジニアリング判断とタスク表現がサイドボードを構成する。本日の材料制約は58.30点、コード実行は99.30点、メインボードは80.85点。前日は材料制約85.90点、コード実行50.00点、メインボード66.16点であった。エンジニアリング判断は100.00点から44.50点に下落し、タスク表現は91.70点から95.00点に上昇した。誠実性評価は「pass」を維持した。

原因分析：抽選による変動かモデルの劣化か

1日2問の材料制約ディメンションでは、1問の失敗だけで20〜30点規模の変動が生じうる。本日の材料制約58.30点は、複数問にわたって提示材料への厳密な準拠が達成できなかった可能性を示し、前日の85.90点は高い材料忠実度を示していた。コード実行が50.00点から99.30点へ急上昇したことも同様に問題の抽選差によるものと考えられる。前日の2問は複雑なデバッグや境界ケースのエラーを含んでいた可能性があり、本日の2問は標準的な実装問題であった可能性がある。エンジニアリング判断（サイドボード、AI補助評価）が55.5点下落したことも、1日の問題構成がサイドボードディメンションに及ぼす増幅効果を裏付けている。総合的に見ると、2つのコアディメンションが逆方向に大きく変動した原因は、モデルパラメータ層の実際の劣化ではなく、問題の抽選による変動である可能性が最も高い。

利用者への示唆

コード実行を重視するチームは本日のデータにおいてより高い通過率を得られるが、材料忠実度が求められるシナリオ（契約情報の抽出や政策解釈など）では追加の人手確認が必要である。エンジニアリング判断（サイドボード、AI補助評価）に依存するプロトタイプ検証プロセスでは、手戻りリスクが高まる可能性がある。タスク表現は95.00点と比較的安定しており、出力フォーマットへの要求が高い文章生成シナリオへの影響は小さい。モデル選定を検討する企業は、本日のメインボード80.85点を安定した能力基準ではなく、高変動サンプルとして扱うべきである。

戦略的判断

メインボード80.85点はコード実行99.30点に牽引されており、材料制約58.30点は前日水準を下回っている。1日の逆方向変動幅が45点を超えていることは、現在のテストサンプル数では抽選ノイズと実際の能力変化を区別するには不十分であることを示している。次回のSmoke評価で材料制約が引き続き70点を下回る場合は注意優先度を引き上げる必要があり、コード実行が低下し材料制約が回復した場合は、本日のデータが極端な抽選結果である可能性が高い。現時点の比較データに基づけば、Doubao Proのメインボード改善は主にコード実行ディメンションによるものであり、材料制約の継続的な追跡がその安定性を判断するための重要なシグナルとなる。

エンジニアリング判断（サイドボード、AI補助評価）の44.50点と材料制約58.30点が同時に低下していることは、厳格な制約とエンジニアリング的意思決定を要する複合タスクにおいてモデルの一貫性が不十分である可能性を示唆している。複数回の材料確認を必要とするプロセスを構築する開発者は、人手によるレビューノードを組み込んでおくべきである。メインボードスコア80.85点は前日より高いものの、そのスコアを構成する2つのディメンション間の差は41点に達しており、単一のメインボード数値が内部の不均衡を覆い隠していることを示している。

誠実性評価が「pass」を維持していることは、モデルに系統的なハルシネーションや回答拒否が発生していないことを示す。安定性ディメンションは本期のデータでは提供されておらず、スコアの標準偏差を直接評価することはできない。利用者は3日間連続のSmokeデータから材料制約の標準偏差を算出することで、高変動区間に入っているかどうかを判断できる。

総じて、本日のデータの最も直接的な解釈は抽選変動が支配的であるというものだ。材料制約の急落とコード実行の急騰が同時に発生している状況は、モデルの実際の劣化を示す十分な証拠とはまだ言えないが、次回データによる検証が必要なシグナルとなっている。材料制約を重視するシナリオで利用するチームは、材料制約スコアが安定するまでデプロイ規模の拡大を一時見合わせるべきである。

データ出典：YZ Index | Run #312 | 元データを見る