AIベンチマーク比較

489 件の記事 · ページ 1/25
AIモデルベンチマークはモデル選定の基盤です。主要なベンチマークにはMMLU、HumanEval、Chatbot Arena(LMSYS)、SuperCLUE、OpenCompassなどがありますが、多くは選択式問題やモデル相互評価に依存しており、実際の実行能力やハルシネーションリスクを検出できません。YZ指数は独立した第三者ベンチマークで、リアルコードサンドボックス実行、42組の誘導プローブによる誠実性評価、WDCD(Winzheng Dynamic Contextual Decay)指示遵守衰減テストの3つの次元を独自に備え、毎週18の主要モデルを全量評価しています。本トピックではベンチマーク方法論の比較、ランキング変動、詳細分析を収集しています。
レビュー Doubao Pro のコード実行スコアが26.2点急落、メインランキングはわずか0.03点増にとどまる
Doubao Pro の本日のSmokeテストにおいて、コード実行スコアが75.00点から48.80点へと26.2点下落した一方、資料制約スコアは100点満点に達し、メインランキングのスコアは71.81点から71.84点へとわずか0.03点の増加にとどまった。
2026/11/19
レビュー GPT-o3、素材制約スコアが16.7点急落も、コード実行は23.8点上昇——総合ランキングは5.6点アップ
GPT-o3の本日のSmoke評価では、素材制約スコアが100.00から83.30へ急落した一方、コード実行スコアが50.00から73.80へ大幅上昇し、総合ランキングスコアは72.50から78.08へ改善した。サンプル規模が小さいことから、素材制約の下落はランダムな変動によるものと見られる。
2026/11/19
レビュー GPT-6 Sol が80.54点で首位:2026-11-19 YZ Index Smoke クイックテスト速報
2026年11月19日のYZ Index Smokeクイックテストでは13モデルを対象に評価が行われ、GPT-6 Solが80.54点で当日首位を獲得した。複数モデルで大幅なスコア変動が観測されており、後続の検証が必要とされている。
2026/11/19
Astra for Lawが全通過率20.8%で法律AIベンチマーク評価のトップに
OpenAIは2026年11月17日にAstra for Law 6.2を発表し、Harvey LAB-AA v1.1ベンチマークにおいて全タスク通過率20.8%で全参加モデル中第1位を獲得した。同モデルは素材性ハルシネーション率が最低水準の0.03回/タスクを記録し、法律実務での活用可能性を示した
2026/11/18
レビュー GLM-4.6が88.6点でWDCDランキング首位、Doubao Proが65.4点で最下位
WDCD v3.1の最新評価において、GLM-4.6が88.60点で15モデル中首位を獲得し、Doubao Proが65.40点で最下位となった。上位と下位の差は23.2点に達している。
2026/11/18
レビュー GPT-5.5のコード実行スコアが24.8点急落、総合ランキングは2.8点減にとどまる
本日のSmoke評価テストにおいて、GPT-5.5のコード実行スコアが99.80点から75.00点へと24.8点急落した。一方、総合ランキングのスコアは81.58点から78.74点への2.8点減にとどまっている。
2026/11/18
レビュー GPT-6 Luna、コード実行スコアが24.1点急落——素材制約は逆に32点上昇
GPT-6 LunaのSmoke評価において、コード実行スコアが99.10点から75.00点へと急落した一方、素材制約スコアは62.80点から94.80点へと上昇した。メインランキングのスコアは82.77点から83.91点へと小幅上昇にとどまった。
2026/11/18
レビュー GPT-6 Astraが91.14点で首位:2026-11-18 YZ Index Smoke速報データブリーフィング
2026年11月18日のYZ Index Smokeクイックテストでは14モデルを対象に評価が行われ、GPT-6 Astraが91.14点で当日首位を獲得した。本レポートはコード実行と資料制約の2次元に基づく日次モニタリング速報である。
2026/11/18
レビュー GPT-6 Luna が82.77点で首位:2026-11-17 YZ Index Smoke クイックテスト速報
2026年11月17日実施のYZ Index Smokeクイックテストでは14モデルを対象に評価が行われ、GPT-6 Lunaが82.77点で当日首位を獲得した。本テストはコード実行と材料制約の2次元で構成される1日10問の小規模評価であり、短期シグナルの観察に適している。
2026/11/17
Lab 4大モデル翻訳対決:第47週品質評価、claude-sonnet-4.6が9点でトップ
今週442件の翻訳タスクを4モデルで処理し、抽出した3記事をマルチモデルブラインド評価した結果、claude-sonnet-4.6が平均9/10点で総合最優秀となった。
2026/11/16
レビュー GPT-6.1 Solのコード実行スコアが27.3点急落、総合ランキングは78.69に低下
GPT-6.1 SolがSmokeベンチマークのコード実行部門で97.30から70.00へと大幅に下落し、総合スコアは84.70から78.69に後退した。ただし、サンプル数の少なさによる抽選変動が主因と見られ、モデルの全面的な性能低下とは断定できない。
2026/11/16
レビュー GPT-6 Astraのコード実行スコアが27.3点急落――総合ランキングは84.70から78.69へ
GPT-6 AstraがSmoke評価において、コード実行スコアが97.30から70.00へと急落し、総合ランキングも84.70から78.69に低下した。ただし、素材制約スコアは同期間に上昇しており、専門家はこの変動を統計的ノイズと見ている。
2026/11/16
レビュー GPT-5.5とGPT-6 Solが92.44点で並列首位:2026年11月16日 YZ Index Smoke速報
2026年11月16日のYZ Index Smoke速報では14モデルを対象に評価が行われ、GPT-5.5とGPT-6 Solが92.44点で当日首位に並んだ。なお本速報は1日10問の小サンプル測定であり、週次フルランキングとは性質が異なる。
2026/11/16
レビュー Claude Opus 4.7のコード実行スコアが19.5点急落、素材制約は19.3点上昇
Claude Opus 4.7が本日のSmoke評価テストにおいて、コード実行スコアが94.50点から75.00点へ急落する一方、素材制約スコアが70.00点から89.30点へ上昇し、メインボードの総合スコアは83.48点から81.44点へと小幅な低下にとどまった。
2026/11/15
レビュー GPT-5.5がトレンド+10点、Gemini 2.5 Proが30.9点下落――2026年第46週データ分析
2026年11月9日~15日のSmokeベンチマークデータによると、GPT-5.5が週間最大の上昇幅(トレンド+10)を記録した一方、Gemini 2.5 Proはトレンド-30.9と最大の下落を示した。GLM-4.6は誠実性評価が複数回変化し、高リスクな組み合わせとして浮上している。
2026/11/15
レビュー Claude Sonnet 4.6とGPT-6 Lunaが同率95.19点:2026-11-15 YZ Index Smoke速報データブリーフィング
2026年11月15日のYZ Index Smoke速測では13モデルを対象に評価が行われ、Claude Sonnet 4.6とGPT-6 Lunaが95.19点で同率首位となった。Smokeは毎日10問の速測であり、短期シグナルの観察に適しているが、週次Fullランキングの結論とは同一視できない。
2026/11/15
レビュー Claude Sonnet 4.6、Smoke評価の総合スコアが11.7点急落——素材制約スコアが1日で19.9点の半減
Claude Sonnet 4.6が本日のSmoke評価において総合スコアを82.31点から70.61点へと11.7点低下させた。主な要因は素材制約スコアの19.9点急落であり、次回以降の検証が必要なシグナルとなっている。
2026/11/14
レビュー Claude Opus 4.7、主要ランキングで11.4ポイント急落——資料制約スコアが一日で19.3ポイント下落
Claude Opus 4.7が本日のSmoke評価において主要ランキングスコアを94.91点から83.48点へと11.4ポイント下落させ、資料制約ディメンションでは89.30点から70.00点へと単日19.3ポイントの大幅下落を記録した。
2026/11/14
レビュー Claude Opus 4.7が83.48点で首位:2026-11-14 YZ Index Smoke クイックテスト速報
2026年11月14日実施のYZ Index Smokeクイックテストでは13モデルを対象に評価が行われ、Claude Opus 4.7が83.48点で当日首位を獲得した。コード実行と資料制約の2次元で構成される本テストは日次モニタリング用の短期シグナルとして位置づけられている。
2026/11/14
レビュー Claude Opus 4.7が94.91点で首位:2026-11-13 YZ Index Smoke速報データブリーフィング
2026年11月13日実施のYZ Index Smoke速測では13モデルを対象に評価が行われ、Claude Opus 4.7が94.91点で当日首位を獲得した。Smokeは毎日10問の速測であり、短期シグナルの観察に適している。
2026/11/13