スタートアップ企業がLLMの10年来の数学的ボトルネックを突破したと宣言

一石が千の波を呼ぶ：謎のスタートアップの大胆な宣言

2026年6月19日、マイアミのAIスタートアップ企業Subquadraticは数年にわたるステルス状態を終え、業界を驚かせる発表を行った。大規模言語モデル（LLM）の発展における約10年間の核心的な数学的ボトルネックを突破したというのだ。この「ボトルネック」とは、Transformerアーキテクチャにおける自己注意機構の二次方時間計算量（O(n²)）を指す。これにより、モデルが長文を処理する際の計算コストが指数関数的に増大し、LLMの能力拡張を制約する重大な障壁となっていた。

Subquadraticの声明は非常に大胆なものだったが、当初はほとんど技術的な詳細が示されなかった。業界の反応はさまざまで、多くの専門家が懐疑的な態度を示し、単なるマーケティングの噱頭に過ぎないと見ていた。この約10年間、スパース注意、線形注意、カーネル関数などの手法でO(n²)の制限を回避しようとする無数の研究チームが存在したが、いずれも真の意味での革新的な突破には至っていなかったからだ。

「もしSubquadraticが本当にサブ二次方のボトルネックを解決したなら、それはAIの基礎アーキテクチャを書き換える大事件となるだろう。」——カーネギーメロン大学機械学習教授 Zico Kolter

懐疑から注目へ：証拠が浮かび上がる

最初の沈黙の後、Subquadraticは徐々に部分的な証拠を公開し始めた。同社が提出したプレプリント論文と内部テストデータによると、彼らが提案する新たな注意機構の計算量はO(n·log n)であり、理論上は百万規模のトークン列を処理する際にも計算コストを制御可能な範囲に保てるという。これに対し、標準的なTransformerはシーケンス長が10万を超えるとほぼ使い物にならなくなる。

SubquadraticのCEO兼共同創業者であるElena Rivasはブログでこう説明している。「私たちは単に既存のアーキテクチャを最適化したのではなく、数学的に『注意』の根底にある演算を再定義しました。簡単に言えば、各トークンがすべての他のトークンと比較するという力任せの方式を回避し、確率的なグローバル構造化近似によって長距離依存関係を捉えているのです。」ただし、論文と関連コードはまだ完全には公開されておらず、多くの専門家が独立した再現検証を求めている。

業界の背景：なぜO(n²)が「上限」となったのか

2017年にTransformerアーキテクチャが登場して以来、自己注意機構による二次方計算量はすぐに問題点として認識された。コンテキストウィンドウを拡張するため、Google、OpenAI、Metaなどの大手企業はそれぞれスパース注意（Longformer、BigBird）、線形注意（Performer、FlashAttention）、または状態空間モデル（Mamba）などの手法を採用してきたが、いずれも精度や汎用性において妥協を強いられてきた。業界では、真の「聖杯」とは、全注意の表現能力を維持しながらサブ二次方演算を実現する数学的手法であると広く認識されている。

注目すべきことに、Subquadraticが発表を行った同じ週に、DeepMindのチームもarXivで「HyperAttention」と呼ばれる近似手法を提案する論文を公開していた。しかしSubquadraticは、自分たちの手法は近似ではなく、厳密な計算による数学的変形であると主張しており、これがさらなる論争を引き起こしている。

編集者注：Subquadraticの主張が事実であれば、LLMのコンテキスト長は現在の数十万トークンから数百万、あるいは数億トークンの規模へと直接跳躍することになり、長文書の理解、会話のメモリ、コードベース分析などのシナリオに革命的な意義をもたらすことになる。しかし、過去に類似した声明（2024年にある企業がTransformerの推理速度問題を解決したと主張したが、最終的に誇張であることが判明した事例など）を踏まえ、慎重な楽観論を保つことを推奨する。数学的突破には厳格な査読とコミュニティによる再現が必要であり、Subquadraticが依然としてコアアルゴリズムのオープンソース化を拒んでいることは、多くの研究者に不安を抱かせている。

影響と展望：到来しうるパラダイムシフト

仮にSubquadraticの技術が検証を通過した場合、その影響は既存のAIモデルの学習と推論をはるかに超えるものとなる。まず、長いコンテキストを持つLLMが小説、法律契約書、医療記録などの超長文テキストをより自然に処理できるようになり、チャンク分割やコンテキスト圧縮が不要になる。次に、サブ二次方の計算量によってハードウェアのハードルが下がり、小規模チームでも百万単位のコンテキストウィンドウを持つ大規模モデルを訓練できるようになり、大企業による計算資源の独占が崩れる可能性がある。第三に、この突破が連鎖反応を引き起こし、より多くの基礎研究が数学的本質へと立ち返ることを促すかもしれない——たとえば、TransformerとRNNの関係を改めて問い直すなど。

もちろん、リスクも存在する。Subquadraticの数学的証明に隠れた前提条件（たとえば特定のデータ分布にのみ適用可能など）があれば、実際の運用において予期しない性能劣化が生じる可能性がある。さらに、計算量が削減されたとしても、理論から実際のエンジニアリングへの落とし込みにはメモリ帯域幅や分散通信などの現実的な障壁を克服する必要がある。MetaのLLaMA-3が推論最適化において多くのエンジニアリング上の難問に直面したことを参考にすれば、Subquadraticのチーム規模（わずか20名余り）が完全なシステムレベルの最適化を支えられるかどうかは未知数だ。

本稿執筆時点で、Subquadraticは来月開催されるNeurIPS 2026ワークショップにて詳細な方案を発表し、一部のベンチマークテスト結果を公開すると表明している。MIT Technology Reviewはこの論争的な宣言の最新動向を引き続き注視する。あるいは私たちは今、LLMの能力が飛躍する前夜に立っているのかもしれない。あるいはこれは魅惑的な数学的幻想に過ぎないのかもしれない。唯一確かなのは、AI研究のペースが決して緩むことはないということだ。

本記事はMIT Technology Reviewより編訳