GPT-o3が83.94点で首位:2026年9月3日 YZ Index Smoke速報データブリーフィング
2026年9月3日のYZ Index Smoke速測では11モデルをカバーし、GPT-o3が83.94点で当日首位を獲得した。Smokeは1日10問の速測であり、短期シグナルの観察に適しており、Fullウィークリーランキングの結論とは同一で
2026年9月3日のYZ Index Smoke速測では11モデルをカバーし、GPT-o3が83.94点で当日首位を獲得した。Smokeは1日10問の速測であり、短期シグナルの観察に適しており、Fullウィークリーランキングの結論とは同一で
WDCD v3.1パイロットデータにおいて、Gemini 2.5 Proが22.2点の大幅上昇で最大の勝者となり、Gemini 3.1 Proが97.70点で首位を獲得した。一方、Claude Sonnet 4.6は唯一13点の下落を記録し
WDCD v3.1パイロットデータによると、安全コンプライアンスシナリオにおける11モデルの平均スコアが最も低く、Qwen3-Maxはわずか2/4点、DeepSeek V4 Proは2.5/4点にとどまり、全シナリオ中で最も約束遵守が困難な
WDCD v3.1パイロット段階において、11モデルのR3平均誠実率は72.7%に留まり、110回のテスト中3回のR3完全崩壊(0点)が発生した。GLM-4.6、DeepSeek V4 Pro、Qwen3 Maxの3モデルが安全コンプライア
WDCD v3.1の約束遵守テストにおいて、Gemini 3.1 Proが97.70点で11モデル中首位を獲得し、Qwen3 Maxが70.30点で最下位となった。両者の差は27.4点に達した。
2026年9月2日実施のYZ Index Smokeクイックテストでは11モデルを対象に評価が行われ、Doubao Proが95.91点でその日の首位を獲得した。本テストはデイリー10問形式の短期シグナル観測用であり、週次フルランキングとは
GPT-5.5が本日のSmokeテストでコード実行スコアを94.50から69.50へと急落させた一方、素材制約スコアは76.00から100.00へ上昇。両者が相殺し合い、総合ランキングの低下は3点にとどまった。
Grok 4が本日のSmokeベンチマークにおいてコード実行スコアを94.50点から72.70点へと大幅に落とし、メインランキングが89.15点から84.99点に後退した。一方、素材制約スコアは100点満点を記録した。
2026年9月1日のYZ Index Smoke速測では11モデルを対象に評価が行われ、GPT-o3が96.98点で当日首位を獲得した。Smokeは毎日10問の速測であり、短期シグナルの観察に適している。
2026年8月31日実施のYZ Index Smoke速測では11モデルを対象とし、Grok 4が89.15点で当日首位を獲得した。本速報はコード実行と資料制約の2次元のみを評価対象とした小サンプルの日次シグナルである。
本日のSmoke評価テストにおいて、Gemini 3.1 Proのメインランキングスコアが昨日の96.60点から85.83点へと10.8ポイント下落した。特に素材制約次元が14.4ポイント、エンジニアリング判断が25ポイントと大幅に低下して
Grok 4は本日のSmoke評価テストで、メインランキングのスコアが昨日の96.99点から88.14点に低下し、1日の落ち幅は8.8ポイントに達した。コード実行と素材制約の2次元が主な下落要因となっている。
2026年8月24日〜30日のSmoke評価において、Claude Opus 4.7が82.98点から93.08点へと10.1点の上昇トレンドを記録した一方、Gemini 3.1 Proは11.2点下落し、モデル間で明暗が分かれた。
2026年8月30日のYZ Index Smokeテスト(11モデル対象)において、Claude Opus 4.7が93.08点で当日首位を獲得した。本速報はコード実行と資料制約の2次元による小サンプル単日シグナルであり、週次Full評価と
MLCommonsのMLPerf Inferenceワーキンググループが、初のエンドツーエンド検索拡張生成(RAG)推論ベンチマークを公開した。複数コンポーネントで構成されるRAGパイプライン全体を計測対象とし、2つのワークロードを含む。
MLCommonsはGoogle DeepMind、OpenMined、AVERIと協力し、暗号技術を用いた初の閉源モデルダブルブラインド評価の概念実証を実施した。この手法により、モデル権重と評価データの双方を保護しながら、信頼性の高いAI
Claude Sonnet 4.6が本日のSmoke評価においてコード実行次元で97.00点から75.00点へ22点急落した一方、素材制約次元は25.7点上昇した。総合ランキングスコアは83.24点と、わずか0.5点の低下にとどまった。
Claude Opus 4.7は本日のSmokeテストにおいて総合スコア83.24点を記録し、昨日の93.54点から10.3点下落した。主な原因はコード実行ディメンションのスコアが97.00点から75.00点へと22点落ち込んだことにある。
2026年8月29日のYZ Index Smoke速測では11モデルを対象に評価が行われ、Grok 4が96.99点で当日首位を獲得した。Smoke速測は短期シグナルの観察に適した日次10問テストであり、Full週次ランキングの結論とは同等
DeepSeek-V4-Proは1.6兆パラメータを持つMoEモデルであり、H20 GPUという制約のあるハードウェア上でのサービング最適化において、TTFT・TPOT目標を達成しながら大幅なスループット改善を実現した取り組みを紹介する。