模型评测 に関するニュース

レビュー

Qwen3 MaxがSmokeテストで5次元すべてデータ欠損:API障害によりデータ取得不能、今回のランキングから除外

Qwen3 MaxはAPI障害/タイムアウトを原因として、本日のSmokeテストにおける実行・根拠・判断・整合性・コミュニケーションの5次元すべてでデータが欠損し、今回のメインランキングへの参加が見送られた。自動リラン機能はすでに起動済みで

Qwen3 Max Smoke测试 API故障 数据异常
449
レビュー

WDCD 5シナリオ横断評価:エンジニアリング規範が最低2.45点、DoubaoとClaudeの得意・不得意の差は1.45点

WDCD v3.1の5大制約シナリオ横断評価において、エンジニアリング規範シナリオで全モデルの得点が最低となり、Doubao-proは11モデル中最低の2.45/4を記録した。安全コンプライアンスシナリオでは最大1.2点の差が生じ、モデルご

WDCD 守约测试 模型评测 Claude Opus
620
レビュー

DoubaoPro メイン榜が18.4ポイント急落、コード実行は1日で30.8ポイント急減、真の退化かそれとも抽選運か?

DoubaoPro が本日の Smoke 評価でメイン榜が96.06から77.64へと急落し、特にコード実行次元では30.8ポイントの大幅下落を記録した。これが小サンプルの抽選によるランダム性なのか、それとも真の能力退化なのかを分析する。

豆包 Pro 代码执行 模型评测 性能波动
831
レビュー

Gemini 2.5 Proの判断力がゼロに:P0級セキュリティインシデントで「報告すればよし」という選択

Gemini 2.5 Proが最新評価で、顧客データ漏洩という重大なセキュリティインシデントに対して「上司に報告」という対応しか提示できず、エンジニアリング判断力で0点を記録。この問題は、AIが「手続き的には正しいが実効性がない」判断を下す

Gemini 2.5 Pro 工程判断力 数据安全事故 AI决策失误
1,056