4大モデル翻訳対決:第43週品質評価、gpt-o3が8.7点でトップ
今週402件の翻訳タスクを4つのモデルで処理し、そのうち3件を複数モデルによるブラインド評価で比較した結果、gpt-o3が平均8.7点で最高評価を獲得した。
今週402件の翻訳タスクを4つのモデルで処理し、そのうち3件を複数モデルによるブラインド評価で比較した結果、gpt-o3が平均8.7点で最高評価を獲得した。
本日のSmokeベンチマークにおいて、GPT-o3のコード実行スコアが94.50点から72.00点へと急落し、総合ランキングスコアも92.39点から84.60点に低下した。ただし、サンプル数の少なさから抽選による難易度のばらつきが主因とみら
第42週の翻訳評価レポートでは、4つのモデルが計376件の翻訳タスクを処理し、抽出した3記事のブラインド比較評価において、gpt-o3が平均8.7点で最高評価を獲得した。
第41週は5つのモデルが476件の翻訳タスクを処理し、抽出した3件のサンプルをマルチモデルブラインド評価した結果、deepseek-v4-proが平均8.7点で最優秀モデルに選ばれた。
本日のSmokeベンチマークにおいて、GPT-o3のコード実行スコアが93.80点から72.00点へと21.8点下落した一方、資料制約スコアは49.30点から82.80点へと33.5点上昇し、総合スコアは73.78点から76.86点へと小幅
今週は3つのモデルが417件の翻訳タスクを完了。サンプリングした3件の多モデルブラインド評価で、deepseek-v4-proが平均8.7点/10点を獲得し総合最優秀となった。
本日のSmokeベンチマークにおいて、GPT-o3のメインランキングスコアが96.01から80.78へと15.2点下落し、特にコード実行の次元で97.00から72.50へと24.5点の急落を記録した。ただし、その他の次元は安定または上昇して
GPT-o3が本日のSmokeベンチマークにおいてメインランキングスコアを96.01点から80.48点へと15.5点落とし、特にコード実行次元が97.00点から64.50点へと32.5点の大幅下落を記録した。小サンプルによる確率的変動の可能
第39週の翻訳評価では、4つのモデルが計454件の翻訳タスクを処理し、抽出した3記事のブラインド評価においてclaude-sonnet-4.6が平均9点で最優秀モデルとなった。
第38週は357件の翻訳タスクを4つのモデルで処理し、抽出した3件について複数モデルによるブラインド評価を実施した結果、gpt-o3が平均8.3点で最優秀となった。
GPT-o3は本日のSmoke評価において総合スコアが85.15点から70.19点へと15点下落した。主な要因はコード実行ディメンションが100.00点から75.00点へと25点急落したことによる。
GPT-o3が本日のSmoke評価においてコード実行次元で94.50点から69.80点へと24.7点急落し、総合スコートも86.04点から78.13点へ低下した。ただし、題目抽選による変動が主因である可能性が高く、モデルの実質的な性能劣化と
第37週は5つのモデルが計368件の翻訳タスクを担当。3件をサンプリングして複数モデルのブラインド評価を実施した結果、claude-sonnet-4.6が平均9点/10点で総合最優秀となった。
本日のSmokeテストにおいて、GPT-o3の材料制約スコアが70.00点から50.00点へ急落し、エンジニアリング判断も100.00点から50.00点へ下落した一方、メインランキングのスコアは72.75点から77.50点へと上昇した。この
第36週の翻訳品質評価では、4つのモデルが405件の翻訳タスクを担当し、抽出した3件のブラインド評価でclaude-sonnet-4.6が平均9点を獲得して総合首位となった。
GPT-o3の本日のSmokeベンチマーク総合スコアが昨日の100.00点から89.92点へ10.1点下落した。主因は素材制約次元が100.00点から77.60点へ22.4点急落したことにある。
WDCD v3.1テスト(Run #296)において、Claude Sonnet 4.6が13.5点上昇して91.60点を記録した一方、Gemini 2.5 Proは12.5点急落。Grok 4が96.30点で首位を維持し、GPT-o3が9
第35週の翻訳業務では4つのモデルが358本の翻訳タスクを担当し、抽出した3本のサンプルによるブラインド評価の結果、gpt-o3が平均8.3点で最優秀モデルとなった。
GPT-o3の本日のSmokeベンチマーク総合スコアが96.93点から87.93点へ9点下落した。主因は資料制約ディメンションが95.00点から75.00点へ20点急落したことによる。
第34週は343件の翻訳タスクを4モデルで処理し、抽出した3件でマルチモデルブラインド評価を実施した結果、gpt-o3が平均8.3点で最高評価を獲得した。