AIコーディング能力評価

251 件の記事 · ページ 1/13
どのAIモデルが最もコードを書けるのか?HumanEvalとMBPPは一般的なベンチマークですが、関数レベルの補完テストのみで、実際の開発シナリオとは乖離があります。YZ指数のコード実行次元(Execution)は、隔離されたサンドボックスでモデル生成の完全なプログラムを実行し、コンパイル通過率、ランタイムの正確性、エッジケース処理能力を検証します。モデル相互評価ではなく実際のコード実行検証を採用する数少ない独立ベンチマークの一つです。本トピックでは各モデルのコーディング能力ランキング、プログラミングツールの動向、AI支援開発の業界実践を追跡しています。
レビュー Doubao Pro のコード実行スコアが26.2点急落、メインランキングはわずか0.03点増にとどまる
Doubao Pro の本日のSmokeテストにおいて、コード実行スコアが75.00点から48.80点へと26.2点下落した一方、資料制約スコアは100点満点に達し、メインランキングのスコアは71.81点から71.84点へとわずか0.03点の増加にとどまった。
2026/11/19
レビュー GPT-5.5のコード実行スコアが24.8点急落、総合ランキングは2.8点減にとどまる
本日のSmoke評価テストにおいて、GPT-5.5のコード実行スコアが99.80点から75.00点へと24.8点急落した。一方、総合ランキングのスコアは81.58点から78.74点への2.8点減にとどまっている。
2026/11/18
レビュー GPT-6 Luna、コード実行スコアが24.1点急落——素材制約は逆に32点上昇
GPT-6 LunaのSmoke評価において、コード実行スコアが99.10点から75.00点へと急落した一方、素材制約スコアは62.80点から94.80点へと上昇した。メインランキングのスコアは82.77点から83.91点へと小幅上昇にとどまった。
2026/11/18
レビュー GPT-6.1 Solのコード実行スコアが27.3点急落、総合ランキングは78.69に低下
GPT-6.1 SolがSmokeベンチマークのコード実行部門で97.30から70.00へと大幅に下落し、総合スコアは84.70から78.69に後退した。ただし、サンプル数の少なさによる抽選変動が主因と見られ、モデルの全面的な性能低下とは断定できない。
2026/11/16
レビュー GPT-6 Astraのコード実行スコアが27.3点急落――総合ランキングは84.70から78.69へ
GPT-6 AstraがSmoke評価において、コード実行スコアが97.30から70.00へと急落し、総合ランキングも84.70から78.69に低下した。ただし、素材制約スコアは同期間に上昇しており、専門家はこの変動を統計的ノイズと見ている。
2026/11/16
レビュー Doubao Pro がメインランキングで8点急落:コード実行94.5→45.8、資料制約47.6→89.3
Doubao ProのSmokeベンチマークにおけるメインランキングスコアが昨日の73.40点から65.38点へ8.02点下落した。主な要因はコード実行スコアの急落(94.50→45.80)だが、サンプル数が少ないため抽出の揺らぎによる可能性が高い。
2026/11/15
レビュー Claude Opus 4.7のコード実行スコアが19.5点急落、素材制約は19.3点上昇
Claude Opus 4.7が本日のSmoke評価テストにおいて、コード実行スコアが94.50点から75.00点へ急落する一方、素材制約スコアが70.00点から89.30点へ上昇し、メインボードの総合スコアは83.48点から81.44点へと小幅な低下にとどまった。
2026/11/15
Google Gemini 4 Hydrogen発表:Argonより低価格ながら高スコアを記録、実行層戦略が全面展開
GoogleはGemini 4 Hydrogenを発表した。価格は入力/出力それぞれ150万ドル/750万ドル(100万トークンあたり)で、同シリーズのArgonより低価格でありながらArtificial AnalysisのAIインデックスでArgonを上回るスコアを記録している。また、同時に発表さ
2026/11/14
レビュー Claude Sonnet 4.6、Smoke評価の総合スコアが11.7点急落——素材制約スコアが1日で19.9点の半減
Claude Sonnet 4.6が本日のSmoke評価において総合スコアを82.31点から70.61点へと11.7点低下させた。主な要因は素材制約スコアの19.9点急落であり、次回以降の検証が必要なシグナルとなっている。
2026/11/14
レビュー Claude Opus 4.7、主要ランキングで11.4ポイント急落——資料制約スコアが一日で19.3ポイント下落
Claude Opus 4.7が本日のSmoke評価において主要ランキングスコアを94.91点から83.48点へと11.4ポイント下落させ、資料制約ディメンションでは89.30点から70.00点へと単日19.3ポイントの大幅下落を記録した。
2026/11/14
レビュー Doubao Pro の主要スコアが10.6点急落――エンジニアリング判断は100点から63.6点へ
Doubao Pro が本日のSmokeベンチマークで主要スコアを79.18点から68.54点へと10.6点下落させた。コード実行・素材制約の2つのコアディメンションが同時に約10〜11点低下し、エンジニアリング判断は36.4点という大幅な落ち込みを記録した。
2026/11/12
レビュー Claude Opus 4.7、材料制約スコアが16.9点急落も主榜は4.6点上昇——コード実行が下支え
Claude Opus 4.7の本日のSmokeテストでは、材料制約スコアが88.30点から71.40点へ16.9点下落した一方、コード実行スコアが22.1点上昇したことで主榜スコアは79.56点から84.11点へ4.6点上昇した。
2026/11/12
レビュー GLM-4.6、誠実性評価でfail――探針スコア25点、主要ランキング53.40・コード実行25.00
YZ IndexのSmoke速報テスト(Run#423)において、GLM-4.6は主要ランキング53.40点、コード実行25.00点、資料制約88.10点を記録し、誠実性評価はfail(探針スコア25.00点)となった。同日テストを受けた他の主要モデルはすべて誠実性探針をpassしており、GLM-4
2026/11/12
AIでバグを1つ修正したら、インディーゲーム界が大炎上した
インディーゲーム『Big Walk』の開発チームがAIツールを使ってバグを1件修正し、Independent Games Festivalへの申請時に正直に開示したところ、インディーゲームコミュニティで長年くすぶっていたAI利用をめぐる論争が一気に爆発した。
2026/11/12
AnthropicがClaude Fable 5.2とMythos 5.2を発表:速度30%向上・価格20%引き下げ、IPO直前の技術的賭け
Anthropicは2026年11月9日、Claude Fable 5.2とClaude Mythos 5.2を正式リリースした。出力生成速度が最大30%向上し、API価格を20%引き下げるとともに、プログラミングや数学、ロボティクス分野での大幅な性能向上を示した。
2026/11/10
AutomatticがSpacefastを発表、バイブコーディング市場に参入
AutomatticがAI生成アプリのデプロイを支援するプラットフォーム「Spacefast」を正式リリースし、Lovableなどの競合製品に挑む。バイブコーディング分野における競争は、コード生成からアプリの安定稼働・デプロイへと軸足を移しつつある。
2026/11/09
レビュー GLM-4.6のSmokeテスト:コード実行25分、API障害によりコミュニケーション次元欠損で主榜36.25点
GLM-4.6は本日のSmokeテストで主榜36.25点を記録したが、API障害によりcommunication次元のデータが完全に欠損し、正式ランキングへの参入は見送られた。コード実行・工程判断いずれも25.00点、材料制約のみ50.00点となった。
2026/11/09
Metaが再び動く:AIプログラミング企業Conductorを買収
MetaがAIプログラミングスタートアップのConductorを買収した。同社は複数のAIエージェントをチームとして展開し、プロジェクトを並行推進する技術を持つ。この買収はMetaの内部開発効率向上と、開発者向けツール市場でのポジション確立を狙ったものだ。
2026/11/05
レビュー Claude Sonnet 4.6、メインランキングで11.1点の急落——コード実行と資料制約が同時崩壊
Claude Sonnet 4.6が本日のSmoke評価においてメインランキングスコアを84.90点から73.76点へと11.1点落とした。コード実行・資料制約の2主要次元が同日に二桁下落し、誠実性評価もpassからwarnへ変化した。
2026/11/04
レビュー GPT-6 Luna、メインランキングで11.5点急落——コード実行スコアが100点から74.3点へ
GPT-6 LunaがSmoke評価の本日テストでメインランキングスコアを87.27点から75.79点へと11.5点下落させた。主な要因はコード実行スコアが100.00点から74.30点へと25.7点急落したことにある。
2026/11/04