GPT-4oコード実行能力が23.7点暴落：バージョン更新が引き起こした性能の雪崩

YZ Indexの最新評価データによると、GPT-4oのコード実行（v5）バージョンが重大な性能危機に直面している。満点100点の評価システムにおいて、このモデルのコード実行能力は78.0点から62.8点に急落し、最近で最大の下落幅を記録した。

全面的な崩壊：7つの次元のうち6つが暴落

今回の評価で明らかになった問題は、コード実行という単一の次元にとどまらない。データによると、7つの評価次元のうち6つで大幅な下落が見られた：

• コストパフォーマンス次元：79.0から24.9へ、54.1点の下落
• 安定性次元：80.0から27.8へ、52.2点の下落
• 知識総合次元：79.0から47.2へ、31.8点の下落
• 素材制約次元：80.1から49.1へ、31.0点の下落
• 可用性次元：100.0から79.0へ、21.0点の下落

総合スコアは81.1点から49.3点へと暴落し、全体的な性能はほぼ半減した。

安定性の危機：回答の一貫性が深刻に悪化

安定性次元の52.2点という暴落は特に注目に値する。YZ Indexの安定性評価は、モデルの回答の一貫性に基づいて計算され、同じ質問に対する複数回の回答の標準偏差から導出される。27.8点という低スコアは、GPT-4o v5バージョンが同じ問題を処理する際に、深刻な不一致性のある答えを出すことを意味している。

この不安定性は実際の応用において次のように現れる：ユーザーが同じプログラミング問題について複数回質問すると、まったく異なるコード実装案を得る可能性があり、論理的に矛盾する解答が出ることさえある。信頼性を必要とする本番環境にとって、このようなパフォーマンスは間違いなく壊滅的である。

バージョン更新：性能向上か後退か

v4からv5へのバージョン番号の増加は通常、機能強化や性能最適化を意味するが、GPT-4oの今回の更新は逆の傾向を示している。複数の次元での同時下落は、これが単一機能の退化ではなく、モデル全体のアーキテクチャまたは訓練戦略の体系的な問題であることを示唆している。

考えられる原因には以下が含まれる：

• 過度の最適化による過学習：特定のシナリオでのパフォーマンスを向上させるために、モデルの汎化能力を犠牲にした
• 計算リソースの圧縮：運用コストを削減するため、モデル推論時の計算リソース割り当てを削減した
• 訓練データの汚染：新バージョンの訓練時に品質の低いデータセットを導入した可能性がある
• アーキテクチャ調整の失敗：モデル構造の最適化プロセスで十分にテストされていない変更を導入した

業界への影響：信頼の危機と選択のジレンマ

コストパフォーマンスが79.0点から24.9点に下落したことは、ユーザーが同じコストを支払っても3分の1以下の価値しか得られないことを意味する。この急激な悪化は個人開発者の選択に影響するだけでなく、企業ユーザーのOpenAI製品ロードマップへの信頼を揺るがす可能性がある。

競争が日増しに激化する大規模言語モデル市場において、今回の性能の雪崩は競合他社に機会の窓を提供している。Claude 3.5、Geminiなどの競合製品の相対的な優位性が際立ち、ユーザーの移行コストの考慮も再評価されることになるだろう。

GPT-4o v5のパフォーマンスは業界に警鐘を鳴らしている：モデルの反復速度を追求すると同時に、バージョン品質の安定性を確保することも同様に重要である。頻繁な更新が性能の激しい変動を伴うならば、最終的に損なわれるのは最も貴重な資産であるユーザーの信頼である。

データソース：YZ Index | 元データ