GPT-o3のコード実行スコアが24.7点急落、総合スコアは78.13に低下――Smoke評価の異常に要注意
GPT-o3が本日のSmoke評価においてコード実行次元で94.50点から69.80点へと24.7点急落し、総合スコートも86.04点から78.13点へ低下した。ただし、題目抽選による変動が主因である可能性が高く、モデルの実質的な性能劣化と
性能分析 に関するニュース
Claude Sonnet 4.6、YZ Index Smoke評価でメインスコアが25.9点急落——コード実行が100点から50点に低下
YZ Index 2026年6月のSmoke評価において、Claude Sonnet 4.6のメインスコアが96.45点から70.52点へと25.9点急落した。主な原因はコード実行ディメンションが100.00点から50.00点へと半減したこ
ERNIE Bot 4.5 Smokeメイン評価ランキングが1日で22.2点急落、コード実行スコアは半減して50点に
YZ Indexの2026年6月における11モデルの実測評価で、ERNIE Bot 4.5 Smokeのメインランキングスコアが93.25点から71.02点へと1日で22.2点下落した。特にコード実行ディメンションが44.1点の大幅下落を記
Claude 3.5 Sonnetの安定性が23ポイント急落した背後にある技術的真相
Claude 3.5 Sonnet（バージョン4.6）の安定性スコアが54.2から31.2へと42%急落した一方で、プログラミング能力は184%向上するなど、他の評価指標では顕著な改善が見られ、この「トレードオフ」現象の技術的要因を分析する