a16zが出資するVals：AIベンチマークの「黄金標準」を定めるのは誰か

編集注：大規模モデルの発表イベントがマーケティングショーと化していく中、「ベンチマークスコア競争」はもはや一種のブラックボックスと化している。誰がAIを評価するのか、どのような基準で評価するのか、評価者とベンダーの間に利益関係はないのか——これらの問いは、業界で最もセンシティブな公共議題になりつつある。TechCrunchが報じたValsというスタートアップは、「中立的評価」を正当なビジネスとして確立しようとしている。

TechCrunchのLucas Ropek記者が2026年9月19日に報じたところによると、アンドリーセン・ホロウィッツ（Andreessen Horowitz、以下a16z）から出資を受けたスタートアップVals AIは、AIモデルが爆発的に増加する時代において、AIベンチマーク評価分野の「黄金標準」となることを目指している。その核心的な主張はシンプルかつ明確だ。評価は中立・再現可能・信頼できるものでなければならない。

ベンチマーク評価は大規模モデル競争の「第二戦線」に

この2年間で、ベンチマーク評価はテクノロジー界の一部に向けたニッチなツールから、資金調達のペース・企業調達・世論の方向性を左右する重要な変数へと変貌した。ベンダーは新モデルを発表する際、必ず長いスコア一覧を掲げる。数学的推論、コード生成、マルチモーダル理解、長文コンテキスト……それぞれの項目の後には見栄えのよい数値が続く。

しかし、それに伴う問題も生じている。ベンチマークが公開されれば「狙い打ち最適化」、つまり業界でいうデータ汚染やスコア操作の対象になりかねない。一部のランキングにはベンダーが資金提供しており、完全な独立性を保つことが難しい。異なる研究機関では評価環境・プロンプトテンプレート・判定方法がそれぞれ異なり、同じモデルでもランキングによって順位が十数位ずれることもある。一般ユーザーや企業の調達担当者にとって、これらの数値の参考価値は急速に薄れつつある。

「誰もが自分に有利なランキングを選べるとき、ランキングはもはや標準ではなく広告に過ぎない。」

Valsのアプローチ：ベンチマークを公共インフラへ

Vals AIのアプローチは、評価を「一回きりのスコア測定」から「継続的に運営される公共インフラ」へと転換することだ。公開情報を総合すると、そのアプローチはおおむね以下のいくつかの層から構成される。まず、統一された透明性の高い評価プロセスを確立し、プロンプト・採点ルール・実行環境を公開して第三方が結果を再現できるようにする。次に、法律・金融・医療などの垂直領域において、試験問題形式の知識問答ではなく、実際のワークフローに近いタスクセットを構築する。そして、モデルのバージョン変遷を継続的に追跡し、孤立したスコアではなく、横断比較・縦断比較が可能な時系列データを提供する。

言い換えれば、Valsが売ろうとしているのは「どちらが賢いか」という結論ではなく、「その結論がどのように導き出されたか」という信頼性だ。この方向性は現在の主流ランキングとは明確に一線を画している。後者が伝播効率を追求するのに対し、前者は長期的な信頼を賭けている。

なぜa16zは賭けに出たのか

a16zはAIインフラへの関心を長らく持ち続けてきた。その投資ロジックの中で、ベンチマーク評価は特殊な位置を占めている。モデル企業が意識しなければならない参入基準であると同時に、企業顧客が調達を決定する際の判断根拠でもあり、さらに業界標準となった後に自然と生まれるネットワーク効果も持ち合わせている。

より現実的な側面として、企業が「大規模モデルの試用」から「大規模展開」の段階へ移行するにつれ、選定リスクが大幅に拡大している。実際の業務でモデルがハルシネーション・コンプライアンス違反・コスト超過などの問題を起こした場合、損失は調達側が負担することになる。この状況において、十分に中立で追跡可能な評価レポートは、モデル自体の性能向上に匹敵する価値を持つ。評価はこうしてコスト項目から保険項目へと変わり、課金の余地が生まれた。

信頼こそ、このビジネスで最もコストのかかるもの

しかし、評価機関はその性質上、ある逆説に直面する。モデルベンダーとエンドユーザーの両方を同時に満足させながら、双方から適切な距離を保わなければならない。特定ベンダーのモデルがランキングで長期的にトップを維持すれば、利益供与の疑念が生じる。逆にランキングがトップモデルを意図的に「抑圧」すれば、商業的圧力と信頼性の失墜を招く。

歴史的に見れば、類似の役割を担った事例には事欠かない。学術界の標準データセット、サードパーティのベンチマークプラットフォーム、各種業界認証機関など、ほぼすべてが「疑念を持たれる→方法論を調整する→再び疑念を持たれる」というサイクルを経験してきた。このサイクルを乗り越えられるかどうかは、概ね二つの変数にかかっている。方法論が十分に透明かどうか、そして収入源が十分に多元化されており特定ベンダーと切り離されているかどうかだ。

課題と不確実性

Valsの前に立ちはだかる難題は少なくとも四つある。第一は技術面での継続的な追跡だ。モデルの能力は週単位で更新されており、評価セットの更新が遅れればすぐに陳腐化する。第二はコストだ。高品質な専門家によるアノテーションと人的レビューは極めて高価であり、垂直領域の評価はとりわけ専門人材に依存する。第三は標準をめぐる競争だ。評価市場にプレイヤーが一社だけ残るというシナリオはほぼあり得ず、デファクトスタンダードの座は技術的優劣ではなくエコシステムの連携によって決まる。第四は中立性と商業化のバランスであり、これはあらゆる「審判型」企業が宿命的に直面する問いだ。

確かなのは、AIが基幹産業に深く浸透するにつれ、「誰がAIを評価するのか」はもはや技術的な細部ではなく、コンプライアンス・調達・公共の信頼に関わる根本的な問いとなるということだ。Valsがその標準になれるかどうかはまだわからないが、Valsが体現する要求——中立・透明・再現可能な評価——は、ますます多くの人々に真剣に受け止められている。

本稿はTechCrunchより編訳