Claude Opus 4.6の安定性が22.5ポイント急落：出力フォーマットの混乱が注目を集める
Claude Opus 4.6の安定性スコアが先週の53.5から31.0へと42.1%の大幅下落を記録し、出力フォーマットの一貫性問題が明らかになった。一方で、プログラミング能力は208%向上するなど、性能向上と安定性低下という矛盾した結果
AIレビュー
11個のAIに同じデバッグ問題を解かせたら：5つが即座に0点、致命的な差はどこに？
実際のデバッグシナリオで11の主流AIモデルをテストしたところ、45%のモデルが及第点すら取れず、その中には新しくリリースされたDeepSeek V3も含まれていた。
11個のAIに同じ問題を出題したら、6個は曜日すら計算できなかった
11個の主要AIモデルに小学生レベルのタイムゾーン計算問題を解かせたところ、半数以上が基本的な時間計算を間違え、さらに全モデルが3月15日のアメリカ夏時間への言及を怠るという衝撃的な結果となった。
11個のAIが同じ論理問題に挑戦、3個が誤答し推論のブラックホールを露呈
5人の順位付けという簡単な論理問題で、DeepSeek V3を含む3つのAIモデルが基本的な制約条件を無視して誤答し、現在のAI推論能力の深刻な脆弱性を露呈した。
11のAIに同じ問題を解かせた結果：Doubao100点、8モデルが0点
同一のエンジニアリング判断問題を11のAIモデルに解かせたところ、DoubaoProが100点満点を獲得した一方、ClaudeやGPT-4oを含む8つのモデルが0点という結果になり、実務的な推理能力における大きな差が明らかになった。
11個のAIが同じ問題に答えた結果、真実を発見したのは1つだけ：コードにバグはない
6ヶ月間正常に動作していたPythonコードが突然エラーを出したため、11個の最先端AIモデルにバグを探させたところ、コードに問題がないことを発見したのは1つだけだった。これは、AIが暗黙の前提に過度に迎合する危険性を示している。
11個のAIが同じ問題に答えた結果、10個が誤魔化していた：Doubaoはなぜ満点を取れたのか？
実務シナリオの矛盾情報処理問題に対し、GPT-4oやClaude、DeepSeek V3などの著名AIモデル10個が表面的な回答をする中、DoubaoProだけが実用的な解決策を提示し満点を獲得した。
同じ問題をAI11体に解かせたら、7体が不合格：誰が賢いふりをしているのか？
ユーザーデータ漏洩の緊急対応について11の主要AIモデルをテストしたところ、60%以上が「報告優先」を選び、国産AIモデルのみが「即座にサービス停止」という正解を導き出した。
Grok 3の論理推論100点がゼロに：5文字がアルゴリズムの致命的欠陥を暴露
Grok 3の最新評価で、論理推論テストにおいて「ABCDE」という無意味な回答を出力し100点満点がゼロ点となる衝撃的な結果が判明。他の性能指標が向上する中、この致命的な失敗は現在の大規模言語モデルの根本的な限界を露呈した。
GPT-4o崩壊：エンジニアが最も信頼するAIの判断力が0点に転落
最新のAI評価でGPT-4oがコードのバグ検出テストで100点から0点に転落し、基本的な判断力の喪失という深刻な問題が露呈した。
GPT-4oが厳格題で0点大失敗：AIが金曜リリースという死亡フラグに遭遇した時
GPT-4oが「金曜午後4時に新機能の即日リリース要求」という質問に対し、リリースを推奨する回答をして満点から0点に転落。実戦経験の欠如と「優等生症候群」を露呈した。
Gemini 2.5 Proの判断力がゼロに：P0級セキュリティインシデントで「報告すればよし」という選択
Gemini 2.5 Proが最新評価で、顧客データ漏洩という重大なセキュリティインシデントに対して「上司に報告」という対応しか提示できず、エンジニアリング判断力で0点を記録。この問題は、AIが「手続き的には正しいが実効性がない」判断を下す
Gemini 2.5 Proのタイムゾーン推論100点から0点へ：大規模言語モデルの常識の盲点はどれほど恐ろしいか
小学生でも答えられるタイムゾーンの問題で、GoogleのフラッグシップモデルGemini 2.5 Proが完全に失敗した。これは偶然のミスではなく、モデルが現実世界の基本的な常識を処理する際の体系的な欠陥を露呈している。
文心4.0の一行コードが致命的欠陥を露呈：AIが辞書すら認識できない時
ERNIE Bot 4.0がPythonの基礎的な辞書内包表記で完全に失敗し、リスト形式で出力した上に謎の数字まで追加するという前代未聞のAI劣化事例が発生した。
DoubaoPro満点問題でゼロ点：AIが実際のセキュリティインシデントで集団沈黙する理由
DoubaoProがセキュリティインシデントへのQ&Aで満点からゼロ点になり、AIが重要な意思決定場面で致命的な欠陥を露呈した事例を分析。
Claude 4.6が崩壊：満点の安全問題で全滅した背後にある致命的欠陥
Claude Opus 4.6が安全事件対応問題で0点を取り、安定性が49.1%まで低下。AIが緊急事態で「教科書的」な回答しかできない構造的問題を露呈した。
GPT-o3が8.7ポイント急上昇の裏側：今週の11AIモデル評価で明らかになった3つの危険信号
100の評価問題で11の最先端モデルを測定した今週の結果から、AI業界の3つの危険な兆候が浮き彫りになった。安定性の欠如、長文コンテキスト処理能力の集団的後退、そして中国産モデルの台頭だ。
生成式AI サービス評価の標準化：API志向ベンチマークテストの新パラダイム
MLCommonsが生成式AIの急速な進化に対応するため、API中心のベンチマークテスト「MLPerf Endpoints」を発表。従来の半年周期から四半期ごとの継続的な結果提出モデルに転換し、実運用環境を反映した性能評価を実現する。
Qwen Maxの知識作業能力が9.8ポイント急落：論理推論の不正確さが最大の弱点に
今週Qwen Maxの知識作業次元での得点が81.6から71.8へと9.8ポイント下落し、特に論理推論タスクでの大幅な性能低下が主因となった。
AIモデルのバッチ処理障害診断能力の階層的分析
バッチ処理の障害診断問題において、8つのAIモデルが明確な能力の階層を示した。上位モデルは「単一処理成功・バッチ処理失敗」という典型的な同時実行問題パターンを的確に識別できた。