トークンを数えるのをやめて、アウトプットを数え始めよう

編集者注：AIエージェントは大規模言語モデルを「問答ツール」から「実行システム」へと変えつつある。評価の尺度がいまだにトークン消費量にとどまっている限り、コストをパフォーマンスと混同しがちだ。本当に問うべきは、何を届けたか、それは信頼できる形で届けられたか、そして単位成果あたりのコストはいくらか、という点だ。

一度の回答から多段階のクローズドループへ

MIT Technology Reviewの記事「Stop counting tokens, start counting what ships」は次のように指摘する。開発者がAIエージェントにコーディングタスクを与えた場合、エージェントは単純に一度回答するだけではない。まず要件を理解して計画を立て、次にコードを生成してテストを実行し、エラーを発見すれば修正を繰り返す。このプロセスはタスクが完了するか停止条件に達するまで続く。このような多段階のクローズドループにより、エージェントはチャットボットではなく、むしろジュニアエンジニアに近い存在となる。

開発者がAIエージェントにコーディングタスクを与えると、エージェントは一度回答するだけでなく、計画を立て、コードを生成し、テストを実行し、エラーを繰り返し修正する。一つのタスクで消費するトークン数は、基本的なチャットプロンプトの10〜50倍に達することもある。

これは、エージェントが有用であればあるほど呼び出し回数が増える理由でもある。通常のチャットはモデルの一度のフォワード計算で済むが、コーディングエージェントは多段階の推論、ツール呼び出し、コード実行、ログ読み取り、コンテキストの再ロードを伴う場合がある。試行のたびにトークンが消費され、失敗して再試行すればその消費はさらに膨らむ。ここでのトークン消費は異常ではなく、エージェントの動作方式が生む自然な結果だ。

トークン課金の盲点

過去2年間、大規模言語モデルのAPIは一般的に入出力トークン数に基づいて課金されており、トークンは最も直感的なコスト単位となってきた。しかしトークンは、モデルがどれだけのテキストを読み書きしたかを示すに過ぎず、タスクが完了したかどうか、コードがマージ可能かどうか、バグが減ったかどうかは示さない。大量のトークンを消費しながら頻繁に失敗するエージェントは、トークン消費が少なくても安定してアウトプットを届けるエージェントよりも、実際には高コストになり得る。逆に、一見トークン消費が多いエージェントでも、開発者を繰り返し作業から解放できるなら、タスクあたりの単位コストはより低くなる可能性がある。

企業が実際に支払うのはトークン代だけではない。エージェントによるコーディングタスク一件には、ツール呼び出し、テスト環境、コードホスティング、ログストレージ、人的レビュー、失敗時の手戻りコストも含まれる。これらを合算して初めて、タスクレベルのコストが見えてくる。100万トークンあたりの単価だけに注目するのは、記事の制作コストを紙とインク代だけで計算し、編集・校正・配布を無視するようなものだ。

「アウトプット」を計測単位にする

記事のタイトルが示す方向性は明確だ。トークンを数えるのをやめ、アウトプットを数え始めよ。コーディングエージェントにとって、アウトプットは具体的に、マージされたプルリクエスト数、解決されたissue数、テスト合格率、バグ漏洩率、タスクサイクルタイム、手戻り率、開発者の採用率として定義できる。さらに一歩進んだ指標が「成功タスクあたりのコスト」であり、総消費コストを品質基準を通過したアウトプット数で割ったものだ。

これを実現するには、チームがタスクレベルの可観測性を構築する必要がある。すなわち、エージェントの各実行におけるモデル呼び出し、ツール使用、再試行回数、人的介入、最終結果を記録し、それらをビジネス指標と紐付けることだ。そうして初めて、異なるモデル・異なるプロンプト戦略・異なるエージェントフレームワークの真の効率を比較でき、トークン単価に振り回されずに済む。

業界は成果ベースの価格設定へ移行しつつある

エージェントが本番環境に入り込むにつれ、AIの調達ロジックも変わりつつある。顧客はトークン単価の単純な比較よりも、「チケット1件の解決にいくらかかるか」「コードレビュー1回にいくらかかるか」「文書1000件の処理にいくらかかるか」を重視するようになっている。ベンダー側も、タスク単位・シート単位・成果単位・ハイブリッドといった課金モデルを模索する可能性がある。課金方式がどう変わるにせよ、その根底には監査可能な成果指標の仕組みが必要だ。

注意すべき点もある。アウトプットだけを数えると、数字を水増しするインセンティブが生まれかねない。品質基準のない「アウトプット」はさらなる手戻りを生む。したがって、アウトプット指標は品質・安全性・人的レビューと組み合わせなければならない。トークンは依然として運用指標として保持すべきであり、キャパシティプランニング・コスト最適化・異常検知に活用できる。ただし、価値判断の中心に置くべきではない。

まとめ

エージェントの価値は消費したトークン数にあるのではなく、どれだけの作業を真に完了まで押し進めたかにある。AI時代には新たなユニットエコノミクスが必要だ。タスクを会計単位とし、アウトプットを価値の基点とし、品質を制約条件とする。トークンを数えるのをやめ、アウトプットを数え始めること——それこそがエージェントの生産性を正しく評価するための出発点だ。

本稿はMIT Technology Reviewより編訳