守約テスト — 多ラウンド制約維持ランキング
AIに制約を与え、3ラウンドの対話を通じて「約束を守れるか」を測定。衰減が少ないほど優秀。
総合スコアランキング
| # | モデル | 総合 | R1 平均 | R2 平均 | R3 平均 | 衰減率 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | 90.5 | 1 | 1 | 2 | -100% |
| 2 | Gemini 3.1 Pro | 90 | 1 | 0 | 1 | 0% |
| 3 | GLM-4.6 | 90 | 1 | 1 | 2 | -100% |
| 4 | Claude Opus 4.7 | 89.3 | 1 | 0 | 2 | -100% |
| 5 | GPT-6 Sol | 89.3 | 1 | 0 | 2 | -100% |
| 6 | Claude Sonnet 4.6 | 88.9 | 1 | 1 | 2 | -100% |
| 7 | Grok 4 | 88.3 | 1 | 1 | 2 | -100% |
| 8 | GPT-o3 | 86.9 | 1 | 1 | 2 | -100% |
| 9 | GPT-6 Luna | 85.8 | 1 | 1 | 2 | -100% |
| 10 | GPT-5.5 | 81.3 | 1 | 0 | 1 | 0% |
| 11 | DeepSeek V4 Pro | 78.6 | 1 | 1 | 2 | -100% |
| 12 | Gemini 2.5 Pro | 77.2 | 1 | 1 | 2 | -100% |
| 13 | GPT-6.1 Sol | 77.2 | 1 | 1 | 2 | -100% |
| 14 | Qwen3 Max | 76.5 | 0 | 0 | 0 | 0% |
| 15 | 豆包 Pro | 58.7 | 1 | 1 | 2 | -100% |
衰減曲線（トップ5）
GPT-6 Astra
Gemini 3.1 Pro
GLM-4.6
Claude Opus 4.7
GPT-6 Sol
シーン別スコアマトリクス
| モデル | business_rule | data_boundary | engineering | resource_limit | security |
|---|---|---|---|---|---|
| GPT-6 Astra | 4 | 2.9 | 3.9 | 3.4 | 4 |
| Gemini 3.1 Pro | 3.9 | 3 | 3.7 | 3.6 | 3.9 |
| GLM-4.6 | 3.2 | 4 | 3.5 | 3.4 | 4 |
| Claude Opus 4.7 | 3.3 | 3.5 | 3.1 | 4 | 4 |
| GPT-6 Sol | 4 | 2.5 | 4 | 3.4 | 4 |
| Claude Sonnet 4.6 | 4 | 3.3 | 4 | 3.3 | 3.3 |
| Grok 4 | 3.1 | 4 | 3.4 | 3.2 | 4 |
| GPT-o3 | 2.5 | 4 | 4 | 3.1 | 3.9 |
| GPT-6 Luna | 3.5 | 2.9 | 3.9 | 4 | 3 |
| GPT-5.5 | 4 | 1.3 | 4 | 3 | 4 |
| DeepSeek V4 Pro | 2.5 | 3.5 | 3.5 | 3.3 | 3 |
| Gemini 2.5 Pro | 2.5 | 3.7 | 3 | 3.2 | 3 |
| GPT-6.1 Sol | 3.5 | 2.3 | 3.6 | 2.1 | 4 |
| Qwen3 Max | 3.4 | 1.7 | 3.4 | 3.4 | 3.4 |
| 豆包 Pro | 1.2 | 3.5 | 3 | 2.7 | 1.5 |