GPT-5.5 初回テスト：YZ Index 18問定向評価

GPT-5.5 初回テスト：18問定向84.2、実行力98.3

OpenAIは近日、最新のモデルアップデートを公式発表した。今回のアップデートでは、低リソースプログラミング言語の構築・移行能力の強化に重点が置かれており、銀行・政府・企業のコアシステムを今も支えるCOBOL、Fortran、Visual Basicなどの言語が対象となっている。公式アナウンスでは、こうした進歩がこれらの言語に依存するレガシーシステムの保守に直接貢献するとしている。

Winzhengの評価チームは、公式発表から数時間以内に18問の定向評価を完了した。今回の評価は通常のスモークテストの2倍の問題数で実施された迅速な定向評価であり、完全な週次ランキング基準によるものではない。初回テストの結果は、GPT-5.5の総合スコアが84.2、実行力98.3、堅実度67、誠実性評価はpassとなった。

実行力98.3という高スコアは、公式が強調する低リソース言語対応能力と直接呼応しており、レガシーコードの移行・構築タスクにおいて迅速かつ高精度に対応できることを示している。総合スコア84.2は定向評価全体での優れたパフォーマンスを反映しているが、堅実度67は一部の深い一貫性が求められるシナリオでまだ改善の余地があることを示唆している。誠実性評価のpassは、モデルに顕著なハルシネーションや偏差の問題が見られなかったことを意味する。

特筆すべき点として、今回の18問による迅速定向評価は、メインランキングの完全週次評価とは評価基準が異なるため、直接比較はできない。現在のメインランキング（直近の完全週次評価トップ10）では、gpt-6-solが80.4で首位、続いてgrok-4が79.5、claude-opus-4.7が79.2、gpt-o3が78.4、gpt-6.1-solが78.2、claude-sonnet-4.6が77.4、gpt-5.5が77.2、gpt-6-lunaが77.0、gpt-6-astraが76.9、deepseek-v4-proが74.6となっている。メインランキングにおけるGPT-5.5のスコア77.2は完全評価基準による結果である。

初回テストのデータは迅速参照用のみであり、完全なベースラインは次回の週次Full評価をもって確定される。チームは週次ペースで全量テストを実施し、より包括的な横断比較とトレンド分析を提供する予定だ。