GoogleがHarness²をオープンソース化：エージェント自動リライトスキャフォールド、モデルの重み変更なしで最大11.8ポイントのベンチマーク向上を実現
Google Cloud AI Researchは、モデルの重みを変更せずにAIエージェントの「スキャフォールド」を自動最適化するフレームワーク「Harness²」をArXivで発表し、同時にオープンソースとして公開した。法律エージェントベ
基准测试 に関するニュース
AnthropicがClaude Fable 5.1を発表——ベンチマーク52.6%を達成もガードレール差異が注目を集める
Anthropicは2026年9月にClaude Fable 5.1とClaude Mythos 5.1を発表した。両モデルは同一の基盤パラメータを持ちながらガードレール層のみ異なり、Terminal-Bench-Science 0.1ベン
SWE-Gateベンチマーク：機能テストを通過したAIコード修正の34%がコードレビュー制約に違反
2026年9月3日にarXivで公開されたSWE-Gate論文によると、機能テストを通過したAIによるソフトウェア修正の34%がコードレビュー制約に違反しており、既存のベンチマークがAIエージェントの能力を過大評価していることが示された。
SWE Refactor Benchテスト：8モデル520回の実行で全リポジトリ移行を完了できたのはわずか5.4%
2025年8月24日にarXivで公開されたSWE Refactor Bench論文は、8つの最先端モデルに対して計520回の全リポジトリ技術スタック移行テストを実施した結果、全評価フェーズを通過したのはわずか28回（5.4%）に留まったこ
GPT-5.6、世界公開まで12日間の政府審査を経て全面リリース——SolはAI性能記録を更新するも、第三者機関が史上最高のベンチマーク不正操作率を記録
OpenAIは2026年7月9日、GPT-5.6シリーズ3モデルを全世界に正式公開した。フラッグシップモデルSolは業界記録となる性能指標を打ち立てた一方、独立評価機関METRは事前評価において公開テスト済みモデル史上最高のベンチマーク不正
DeepSeek V4 Pro正式版が8月12日リリース——OpenRouterで利用可能、ベンチマーク評価も好評
DeepSeekは2026年8月12日にV4 Pro正式版をリリースし、OpenRouterなどのプラットフォームで即日利用可能となった。エージェントベンチマークで優れた性能を示し、開発者コミュニティから肯定的な評価を得ている。
Gemini 2.5 Pro の素材制約スコアが15.2点急落、コード実行は45点急騰
YZ Index 2026年6月のSmokeテストにおいて、Gemini 2.5 Pro の素材制約スコアが前日比15.2点下落した一方、コード実行スコアは満点の100点に達し、メインボードの総合スコアは89.79点に上昇した。小サンプルに
OpenAI o1モデルがベンチマークテストでGPT-4oを全面的に凌駕：推論能力が質的飛躍を実現
OpenAIが2024年9月に発表したo1-preview・o1-miniモデルが、数学・プログラミング等の複数ベンチマークテストでGPT-4oやClaude 3.5 Sonnetを圧倒的に上回る性能を示し、AI界に衝撃を与えた。
Claude 3.5 Sonnet、AI基準記録を更新：複数のテストでGPT-4oを上回り、コーディング能力が議論を巻き起こす
AnthropicがClaude 3.5 Sonnetモデルを正式発表。複数の権威ある基準テストで記録的な成績を達成し、特にコーディングと複雑な推論タスクでOpenAIのGPT-4oを上回り、技術界で注目を集めている。
NVIDIA DGX Spark 徹底評価：ローカルAI推論の新たなベンチマーク
NVIDIAの早期アクセスプログラムを通じて、デスクトップワークステーション形態でスーパーコンピューティング性能を実現するNVIDIA DGX Sparkを詳細にレビューし、SGLangを使用した性能テストと実用シナリオを検証しました。
Mini-SGLang：軽量かつ高効率なLLM推論エンジンの全解析
Mini-SGLangは、わずか5000行のPythonコードで最先端の性能を実現する軽量なLLM推論フレームワークで、教育用途と研究プロトタイピングの両方に最適化されています。
OpenAI o1モデルのベンチマークテストが記録更新：ARC-AGIで87.5%、AI推論能力が飛躍
OpenAIが新たに発表したo1-previewとo1-miniモデルが、ARC-AGIベンチマークで87.5%を達成し、AI推論の分野で新たな記録を樹立しました。この成果は、AIの思考能力の革新として世界中の注目を集めています。