GPT-6 Astra 初回テスト：YZ Index 18問定向評価

GPT-6 Astra 初回テスト：18問定向総合76　実行力85.7

OpenAIは昨日、公式発表を行い、チームメンバー2名がGPT-6 Astraと協力し、1週間足らずでCodexと対話するプロトタイプデバイスの設計を完成させたと述べた。このプロジェクトはサブタスクであり、Astraが独立してケース、回路基板、インターフェース、ソフトウェアのすべての工程を担当した。この発表は業界内で即座に注目を集め、YZ Indexは速やかに18問の定向評価を開始した。設問数は通常のSmokeテストの2倍に相当する。

今回の初回テストでは18問の迅速定向評価を採用し、GPT-6 Astraの総合スコアは76、実行力85.7、堅実性64.1、誠実性評価はpassとなった。実行力85.7は、プロトタイプハードウェアとの連携および高速イテレーションタスクにおいてモデルの応答が精確であることを示しており、回路基板とインターフェース設計の工程で特に優れたパフォーマンスを発揮した。堅実性64.1は、ソフトウェアの安定性と長期的な互換性にはまだ改善の余地があることを反映している。誠実性評価のpassは、モデルに明らかな事実の虚構や逸脱が見られなかったことを示す。評価機関は、今回の18問定向評価はあくまで公式アップデートへの迅速な対応を目的とした暫定ベンチマークであり、完全なベースラインは次回の週次Full評価をもって確定すると明記している。

現在のメインランキング上位と大まかに比較する際には、評価口径の違いを特に強調しておく必要がある。メインランキングの直近の完全週次評価では、claude-opus-4.7が82.5で首位、gpt-6-astraが82.4で2位、Doubao Pro 79.6、gpt-6.1-sol 79.3、Grok-4 79.1と続いている。今回の18問定向総合スコア76とメインランキングの82.4には明確な差異があるが、これは主として設問数、評価次元のカバー範囲、および評価サイクルの違いによるものであり、直接比較することはできない。メインランキングは全量の週次口径に基づくものである一方、今回の定向テストは公式発表が言及したハードウェア連携シナリオに焦点を当て、実行力と高速プロトタイピング能力を重視している。

次のステップとして、YZ Indexは通常の週次Full評価プロセスに従い、GPT-6 Astraの完全なベースライン評価を実施する予定だ。その際にはより多くの評価次元と広範な設問数を組み込み、参考価値の高い完全なランキングを提供する。OpenAIが今後新機能やアップデートを発表した場合も、定向評価を並行して実施していく予定である。