GPT-5.5のコード実行スコアが100点から75点に急落――総合ランキングも5.3点下降
本日のSmoke評価テストにおいて、GPT-5.5のコード実行スコアが昨日の100.00点から75.00点へと25点急落し、総合ランキングのスコアも78.49点から73.20点に低下した。ただし他の評価次元の上昇が一部を相殺しており、モデル
本日のSmoke評価テストにおいて、GPT-5.5のコード実行スコアが昨日の100.00点から75.00点へと25点急落し、総合ランキングのスコアも78.49点から73.20点に低下した。ただし他の評価次元の上昇が一部を相殺しており、モデル
Grok 4は本日のSmokeテストでコード実行スコアが94.60点から74.40点へ20.2点急落した一方、素材制約スコアが30点上昇し、メインランキングは逆に2.4点上昇して74.67点となった。単日の次元間で激しい逆方向の変動が見られ
2026年10月28日実施のYZ Index Smokeクイックテストでは13モデルを評価し、GPT-6 Lunaが86.95点で当日首位を獲得した。Smokeは短期シグナルの観察に適した毎日10問のクイックテストであり、週次フルランキング
2026年10月27日実施のYZ Index Smokeクイックテスト(13モデル対象)において、Claude Opus 4.7が87.7点で当日首位を獲得した。本テストはコード実行と資料制約の2次元を評価する日次10問形式の速報測定である
2026年10月26日のYZ Index Smoke速測では13モデルを対象に評価が行われ、GPT-6.1 Solが86.05点で当日首位を獲得した。上位モデルはコード実行と資料制約のバランスに明確な差異が見られた。
Qwen3 MaxはAPI障害/タイムアウトを原因として、本日のSmokeテストにおける実行・根拠・判断・整合性・コミュニケーションの5次元すべてでデータが欠損し、今回のメインランキングへの参加が見送られた。自動リラン機能はすでに起動済みで
2025年10月25日のYZ Index Smoke速測では14モデルを対象に評価を実施し、Grok 4が96.65点で当日首位を獲得した。Smokeは1日10問の速測であり、短期シグナルの観察に適している。
2026年10月24日のYZ Index Smoke速測では13モデルを対象に評価が行われ、Claude Sonnet 4.6が89.8点で当日首位を獲得した。Smokeは毎日10問の速測であり、短期シグナルの観察に適しており、週次Full
GLM-4.6はYZ IndexのRun#392スモークテストにおいて主要ランキング18.25点、資料制約10.00点という低スコアを記録し、同日テストされた全モデルの中で唯一、誠実性評価でfailの判定を受けた。
2026年10月23日のYZ Index Smoke速測では14モデルを対象に評価が行われ、Doubao ProとGPT-6.1 Solが87.27点で同率首位となった。なお、Smokeは1日10問の速測であり、短期的なシグナルの観察に適し
Claude Sonnet 4.6は本日のSmoke評価においてメインスコアが80.99点から64.13点へと16.9点下落した。主な要因は材料制約ディメンションが88.30点から58.30点へと急落したことにある。
Gemini 3.1 ProがSmoke評価の本日テストで、総合スコアは83.50点から90.84点へ上昇した一方、材料制約ディメンションは100.00点から83.30点へ16.7点急落し、コード実行ディメンションは70.00点から97.0
2026年10月22日実施のYZ Index Smoke速測では14モデルを対象に評価が行われ、GPT-5.5が96.1点で当日首位を獲得した。本レポートはコード実行と資料制約の2次元のみを対象とした小サンプルの単日シグナルである。
MLCommonsは、MLPerfが欧州連合のAI Gigafactories入札における訓練・推論性能の評価基準として採用されたことと、MLPerf Endpoints v1.0の提出受付正式開始を発表した。これにより、AIインフラの評価
MLCommonsは過去8年間のAI業界の成長と変革を経て、ミッションを「AIの測定を標準化し、的確な意思決定を可能にする」と正式に刷新した。工業グレードのベンチマークテストの開発・運用を核心事業として位置付け、組織体制の改革と新分野への拡
MLPerf Endpointsは、AIシステムを導入する際に購入者が参考にすべき推論性能ベンチマークであり、実際の生産環境における総合的なパフォーマンスを評価する。従来のMLPerf Inferenceとは異なり、完全なサービング・スタッ
MLCommonsがNSF TIPの350万ドル助成を受け、エージェントAIシステムの実効率を測定する新ベンチマーク「MLPerf Agents」を開発する。既存ベンチマークでは捉えきれないマルチステップの自律型AIワークフローを包括的に評
NVIDIA Nemotron 3.5 Super VLは、テキスト・画像・文書・動画を入力として扱える120BパラメータのMoEマルチモーダルモデルであり、SGLangによる高性能サービング環境が即日対応で提供されている。
SGLangは、816BパラメータのオープンウェイトマルチモーダルMoEモデルであるMuse Spark Openに対して初日サポートを提供。8枚のNVIDIA B300 GPU上でNVFP4チェックポイントを使用した際、最大80.3Kトー
ReflectionのBeamは501Bパラメータの混合エキスパート(MoE)モデルであり、SGLangがネイティブサポートを実現し、本番APIに高性能推論サービスを提供する。本記事ではそのアーキテクチャ、機能、および性能評価の詳細を紹介す