AIをめぐる最も誤解されたグラフが更新:能力は上昇、判断力は追いついていない

AIをめぐる最も誤解されたグラフが更新:能力は上昇、判断力は追いついていない

AI研究コミュニティには、その理解度をはるかに超えた知名度を持つグラフが一枚ある。無数のアナリスト、投資家、政策立案者に引用されながら、ほぼ毎回誤って読まれているこのグラフは、AI評価の非営利団体METRが発表した「タイムホライズン図(time horizon plot)」である。11月21日、METRはこの図表の最新版を公開した。その結論は従来よりもさらに微妙なものとなっている。

繰り返し誤読されてきたグラフ

METRの正式名称はModel Evaluation & Threat Researchといい、最先端AIモデルの能力測定に特化した独立研究機関である。その最も著名な貢献は、AI能力を測る指標として「タイムホライズン」を提唱したことだ。モデルに一連の実際のタスクを実行させ、人間の専門家が同種のタスクを完了するのに要する時間を記録し、モデルが安定してこなせるタスクの所要時間の上限を計測する。この結果を描いた曲線がタイムホライズン図である。

「タイムホライズン」が測るのは、AIが独立してこなせるタスクの長さであり、AIがどれだけ賢いかではない。

問題は、このグラフが「AIの能力は7ヶ月ごとに倍増する」という一行の見出しに簡略化されやすいことだ。その結果、AGIの実現時期を推算する者や、特定の職業があと何年で消えると断言する者が現れた。しかしMETR自身は繰り返し強調している——タイムホライズンはあくまで特定のタスク分布における統計量であり、あらゆる認知労働に直接外挿できるものではないと。

新報告:指数的成長は継続、ただし不均一

最新報告は一つの継続的なトレンドを確認した。測定可能なタスク範囲において、一部のAI能力は依然として指数的な軌跡で向上しているというものだ。言い換えれば、モデルが独立してこなせるタスクの所要時間は、依然として顕著なペースで延び続けている。自動化の将来を注視する人々にとって、これは無視できないシグナルである。

しかし報告は同時に、重要な非対称性も指摘している。モデルはプログラミング系タスクにおける成績が、「判断力」を要するタスクよりも明らかに優れているというものだ。ここでいう判断力とは、情報が不完全な状況でのトレードオフの判断、タスク内の暗黙の前提の識別、何をすべきか・いつ人に確認すべきかの判断などを指す。これらの能力は明確な採点基準に落とし込むことが難しく、しかし現実の仕事において最も人の心力を要する部分でもある。

なぜプログラミングが「優等生」になったのか

プログラミングタスクは評価に本質的に適している。明確な正誤があり、テストの自動実行が可能で、コミュニティには大量の公開問題が存在する。このタスクでモデルの進歩が速い理由の一部は能力の真の向上であり、もう一部は測定そのものの精度が高いことにある。逆に判断力を要するタスクは検証可能な答えがなく、評価コストが高いため、進歩も遅く見えることになる。

これは過小評価されているリスクをもたらす。業界がプログラミングのベンチマークだけで進捗を追跡し続けると、オープンエンドな業務においてAIがどれだけ準備できているかを系統的に過大評価することになる。高難度のプログラミングテストに合格できるモデルが、曖昧なビジネス上の意思決定や倫理的なトレードオフにおいて必ずしも信頼できる判断を下せるとは限らない。

編集後記:統計的曲線を予言と混同するな

タイムホライズン図の価値は、いつAIが誰の仕事を代替するかを予測することにあるのではなく、比較可能で再現性のある観察窓を提供することにある。このグラフは能力が上昇していることを示すとともに、その上昇が不均一であることも示している。本当に警戒すべきなのは指数曲線そのものではなく、その曲線を運命と見なす人々である。

企業や政策立案者にとって、より実践的なアプローチは「検証可能なタスク」と「判断集約型タスク」を区別し、それぞれについて自動化のメリットとリスクを個別に評価することだ。一般の従事者にとっては、プログラミング能力のコモディティ化が予想より速く進む可能性がある一方で、判断力・領域横断的な統合能力・説明責任を担う能力は、依然として曲線では捉えにくい部分であり続けるだろう。

本記事はMIT Technology Reviewより編訳