ByteDanceが100兆パラメータの大規模AIモデルを極秘訓練、Anthropicに挑戦状

Ars TechnicaによるFinancial Times（英国）の報道によると、TikTokの親会社ByteDanceが、パラメータ規模100兆に達するAI大規模モデルを極秘裏に訓練中であり、米国トップAIラボのAnthropicを競合目標として掲げているという。事実であれば、これは世界で公知となっている最大規模のモデル訓練プロジェクトの一つとなり、中国のインターネット大手がグローバルな生成AI競争において大胆な一歩を踏み出したことを意味する。

100兆パラメータとはどのような規模か。現在、業界ではGPT-4のパラメータ数は未公開だが、1兆から2兆程度と推定されている。100兆パラメータはモデルの容量が数倍に拡大することを意味し、計算リソース、データエンジニアリング、分散学習アルゴリズムへの要求は指数関数的に増大する。業界関係者の試算によれば、このようなモデルの訓練には最低でも数万枚規模のトップクラスAIアクセラレータを数ヶ月にわたって稼働させる必要があり、電力と計算コストだけで数億ドルに達する可能性があるという。それゆえ、超大規模モデルはある企業のAI総合力を測る「試金石」とも見なされている。

ByteDanceはなぜ超大規模モデルに賭けるのか？

ByteDanceはAI分野において新参者ではない。TikTokの推薦アルゴリズムはその中核的競争力であり、その背後にある大規模機械学習システムは業界内で高い評価を受けている。しかし大規模言語モデルの分野では、ByteDanceの参入は比較的遅かった。OpenAIおよびAnthropicが投入したClaudeシリーズが築いた技術的優位性を前に、ByteDanceはアプリケーション層のプレイヤーにとどまることを明らかに望まず、モデルの根幹から自律的な能力を確立しようとしている。

Anthropicを競合目標に選んだことも、示唆に富む。AnthropicはAIの安全性と解釈可能性を強みとし、そのClaudeモデルはエンタープライズ市場で多くの顧客を獲得している。対照的に、OpenAIは一般消費者向け市場での影響力が大きいが、Anthropicは堅牢性・コンプライアンス・安全性の整合という面での評判が際立っている。ByteDanceは「安全で信頼できる」というブランドイメージを活用してB2B市場での突破口を開きつつ、傘下のプロダクト群に対してより強力なAI基盤を提供しようとしているのかもしれない。

「大規模モデル競争の後半戦では、計算力・データ・人材のいずれも欠かせない。100兆パラメータモデルはエンジニアリングの限界への挑戦であり、同時に大きな賭けでもある——成功すれば最上位プレイヤーの仲間入りを果たし、失敗すれば巨額の埋没コストを招くことになる」と分析されている。

半導体規制と計算リソースの制約

100兆パラメータモデルの訓練における最大の障壁の一つが、チップの調達だ。米国は高性能AIチップの対中輸出に厳格な規制を課しており、NVIDIAのA100やH100などの製品は中国への直接輸出が禁止され、H800やH20といった「中国向け特別版」も時期によって制限を受けている。ByteDanceはどのように計算リソースを確保しているのか。サプライチェーン関係者の情報によれば、ByteDanceはNVIDIAのHopperアーキテクチャチップを早期に大量確保しており、海外のデータセンターやクラウドサービスプロバイダーを通じた展開により規制の回避を試みているという。しかしこれは長期的な解決策とはならず、自律的に制御可能なAIチップ能力の欠如が依然として長期的なボトルネックとなっている。

コスト・人材・規制という三重の圧力

計算リソースに加え、人材不足も大きな課題だ。100兆パラメータモデルの訓練には、トップクラスのシステムエンジニアとアルゴリズム研究者が必要だが、このような人材は世界的に非常に希少であり、ByteDanceはGoogle、OpenAI、Metaなどから高額の報酬を提示して引き抜きを行わざるを得ない状況だ。また、訓練プロセスにおける安定性とデバッグの複雑さは幾何級数的に増大し、モデルの崩壊や訓練の中断が一度でも発生すれば、数百万ドルのコスト損失につながりかねない。

コンプライアンスの面では、EUのAI法が発効し、高リスクモデルに対して厳格な透明性要件を課している。中国国内でもAI生成コンテンツの識別表示などに関する規制の整備が進んでいる。超大規模モデルが引き起こしうる偏見、誤情報、そしてエネルギー消費の問題は、ByteDanceが規制当局からの追加的な監視を受ける原因となるだろう。

編集後記：大規模モデル「軍拡競争」が新段階へ

ByteDanceのこの動きは、生成AIが「強者がより強くなる」という極端な方向へ向かっていることを改めて裏付けるものだ。モデル規模が100兆パラメータに達した場合、参加できるプレイヤーはすでに極めて限られる。大手企業は巨額の設備投資によって参入障壁を築いており、後発組が単一の突破口から市場を覆すことはほぼ不可能になっている。

業界にとって、これは技術進歩のシグナルであると同時に、潜在的なリスクも孕んでいる。超大規模モデルは「規模の効果」の限界逓減をもたらすのか？訓練コストの高騰はAI企業の収益性を圧迫しないか？さらに重要なのは、計算リソースの過度な集中が技術的な主導権のさらなる不均衡を招くのではないか、という点だ。これらの問いは、すべての関係者が深く考えるべき課題である。

現時点でByteDanceはこれらの報道に対して公式な回応を示していないが、このプロジェクトによって世界のAI競争の均衡が再び揺らぐことは想像に難くない。今後1〜2年のうちに、この「巨大な存在」に関するさらなる情報が明らかになるかもしれない。

本稿はArs Technicaより編訳