Tokenの大盤振る舞い時代は終焉へ、企業がAI予算の配給制を緊急導入

「Tokenの大盤振る舞い」から「Tokenの配給」へ

過去1年間、多くの企業は短期間の「Token狂乱」期を経験した。従業員たちはChatGPTやClaudeなどのAIツールでメールを書き、要約を作成し、PowerPointを修正し、さらにはジョークまで作るなど、AI リソースが無尽蔵であるかのように振る舞っていた。しかしTechCrunchの最新報道によれば、この熱狂に急ブレーキがかかっているという。企業はようやく、一見些細に見えるAPIの呼び出し一つひとつが、実際にはリアルなコストを伴うことに気づき始めた。財務部門が月次請求書に数十万ドルものAI費用を目にした途端、大規模な予算管理への動きが一斉に始まった。

小さなタスクがなぜ巨額の予算を食い尽くすのか？

表面上は、AIに文章を磨いてもらったり表を生成してもらったりするのに数セントしかかからない。しかし、それが数千人の従業員に、1日数百回のリクエストとして掛け算されると、コストは目を疑うほどの金額になる。匿名を条件にTechCrunchに話した、あるテック企業のCTOはこう明かした。「従業員は平均して1日50回以上もAIを使って細かな作業をこなしていることがわかった。そのうち80%はAIを使う必要すらないものだ。たとえば丁寧語を普通語に直すような書式の調整がその典型だ。しかしリクエストのたびにGPT-4レベルのモデルが呼び出され、計算コストが実際の価値をはるかに上回ってしまっている。」この現象は業界では「Tokenリーク」と呼ばれており、人間が数秒で済ませられる些細なことの代替に、膨大な予算が費やされている。

「Tokenmaxxingの時代は短命だった。私たちは今、Tokenの配給時代に突入しつつあるようだ。」——TechCrunch報道原文

企業の対策：割り当て制、レイヤーフィルタリング、監査

制御不能な支出に対処するため、企業はさまざまな手段を講じ始めた。最も直接的な方法は、各従業員に1日または1週間あたりのToken割り当てを設定し、超過分は自己負担か承認待ちとするものだ。一部の企業は「タスクトリアージ」システムを導入している。まず軽量モデルがリクエストに高度なAIが本当に必要かを判断し、単純なスペルチェックであれば即座に却下する仕組みだ。テック大手のMicrosoftやGoogleも、エンタープライズ版AIツールにコストダッシュボードと閾値アラートを追加し、管理層がリアルタイムで消費状況を監視できるよう支援している。

編集者注：これは実のところ、企業のデジタルトランスフォーメーションにおいてよく見られる「過剰適応」現象だ。新しいツールが導入された当初、従業員は目新しさから乱用し、管理層は利用ルールを整備しないまま放置してしまう。しかしAIコストが可視化されるにつれ、企業はクラウドリソースを管理するようにAIリソースを管理することを学ばなければならない。すべてのタスクが数千億パラメータの大規模モデルで処理される価値を持つわけではなく、適切な階層化利用こそが長期的な解決策だ。

今後のトレンド：AI利用の「熱力学的法則」

この割り当て化の動きが2つの方向の発展を後押しすることは容易に予想できる。一つは、より多くの企業が「エッジAI」や専用の小型モデルを採用してシンプルなタスクを処理し、単位コストを下げながらプライバシーも守る方向だ。もう一つは、新たなソフトウェアカテゴリの誕生——AI費用管理プラットフォームの台頭であり、これは数年前のクラウドコスト最適化ツールに似た存在になるだろう。あるアナリストはこう語っている。「TokenはCPUサイクルに取って代わる新たな資源だが、より高価でより不可視だ。企業はコストを細かく計算する方法を改めて学ぶ必要がある。」従業員にとっては、AIに「今日の天気は？」と聞くたびに、少なくとも上司の目に届く請求書のうえでは、それが本当に価値ある問いかけかどうかを考える必要が生じるかもしれない。

本記事はTechCrunchより編訳