今週は382本の翻訳タスクを4つのモデルが処理した。3本を抽出してマルチモデルブラインド比較評価を実施し、総合最優秀はgpt-o3(平均8.7/10)。
今週の翻訳統計
| モデル | 言語 | 翻訳量 | 平均処理時間 | 平均品質スコア |
|---|---|---|---|---|
| deepseek-v4-flash | en | 70 | 18.4s | 未評価 |
| claude-sonnet-4.6 | ja | 190 | 49s | 未評価 |
| passthrough | en | 118 | 0s | 未評価 |
| native-english | en | 2 | - | 未評価 |
| deepseek-v4-flash | zh | 2 | 6.3s | 未評価 |
抽出比較評価
評価1:GPT-6 AstraとGPT-6 Solが同率84.9点:2026-11-02 Smokeクイックテストデータ速報
| モデル | 正確性 | 流暢性 | 術語 | 可読性 | 合計 |
|---|---|---|---|---|---|
| deepseek-v4-flash | 7 | 9 | 8 | 9 | 8 |
| deepseek-v4-pro | 9 | 8 | 9 | 8 | 8 |
| gpt-o3 | 8 | 8 | 7 | 8 | 8 |
deepseek-v4-flash
✓ 段落と表の構造が明確で完整であり、例えば「The 2026-11-02 Winzheng Index Smoke quick test covered 14 models」は原文の情報を直接提示し、論理的に一貫している。
✗ 明らかな誤訳が見られ、「Winzheng Index」はB・C版の「YZ Index」と不一致であり、原文の意味から外れている可能性がある。
deepseek-v4-pro
✓ 術語の一貫性が比較的良好で、例えば「Code Execution」と「Material Constraints」が数式と対応しており、明らかな誤訳もない。
✗ 出力がピュアHTMLではなくJSON形式であるため直接の可読性に影響し、末尾の表が切断されている。
gpt-o3
✓ 一部の術語を適度に調整しており、例えば「material constraint compliance」は原文の意図により近い可能性がある。
✗ 術語の一貫性がやや弱く、「material constraint compliance」はA・B版の「material constraints」と統一されておらず、表も同様に切断されている。
結論:3つのバージョンの全体的な品質は近似しており、B版は正確性と術語の一貫性でやや優れ、A版は流暢性と可読性がより良く、C版はその中間。B版を優先することを推奨するが、切断されたコンテンツを補完する必要がある。
評価2:原文タイトル
| モデル | 正確性 | 流暢性 | 術語 | 可読性 | 合計 |
|---|---|---|---|---|---|
| deepseek-v4-flash | 8 | 8 | 9 | 7 | 8 |
| deepseek-v4-pro | 7 | 7 | 8 | 6 | 7 |
| gpt-o3 | 9 | 9 | 8 | 9 | 9 |
deepseek-v4-flash
✓ 術語の使用が原文の「constraint memory」の意味に比較的合致しており、「約束記憶」という訳で概念の一貫性が保たれている。
✗ バージョン末尾が明らかに切断されており、「Qwen3 Max scored R1=0.00 in the first round of the v2 an」は未訳のまま残されている。
deepseek-v4-pro
✓ タイトルの「Compliance Leaderboard」という訳が比較的簡潔である。
✗ 全体の構造がJSON配列形式であり、HTMLが混在しているため可読性が低く、同様に「nearly」で切断されている。
gpt-o3
✓ タイトル「Commitment-Keeping Ranking」と本文の「commitment-keeping test」が一致しており、構造が明確である。
✗ 「守約」をcommitment-keepingと訳すことは許容範囲ではあるが、本文中の多数の「constraint」術語とやや乖離がある。
結論:3つのバージョンの全体的な品質は近似しており、gpt-o3は構造の完整性と流暢性でやや優れているが、いずれも程度の差こそあれ切断の問題が存在するため、補完後に改めて評価することを推奨する。
評価3:2020年大統領選の勝者を問うと?Google AIが米国内外で異なる対応
| モデル | 正確性 | 流暢性 | 術語 | 可読性 | 合計 |
|---|---|---|---|---|---|
| passthrough | 6 | 7 | 8 | 6 | 6 |
| deepseek-v4-pro | 9 | 8 | 9 | 9 | 9 |
| gpt-o3 | 9 | 9 | 9 | 9 | 9 |
passthrough
✓ 原文中の「weasely answers」などの表現の処理が比較的直接的で、過度な意訳を行っていない。
✗ コンテンツが明らかに切断されており、第2段落の引用後に直接終了しているため、大量の原文情報が未訳となっている。
deepseek-v4-pro
✓ 「different treatment at home and abroad」を「国内国外両面」と訳しており、原文に忠実かつ自然である。
✗ 本文最後の一文が切断されており、「making any statement touch」の翻訳が未完成である。
gpt-o3
✓ 「minefield」を「地雷原」と処理しており、比喩を保ちながら日本語の文脈にも合致している。
✗ deepseek版と非常に類似しており、独自のスタイルに欠け、一部の表現がやや繰り返されている。
結論:BとCのバージョンは全体的な品質が近似しており、いずれもAバージョンより優れている。BまたはCを優先的に採用することを推奨する。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接