2026年8月17日、カリフォルニア大学バークレー校とテキサス大学オースティン校の共著論文がarXivに公開された。6日後、この論文はHuggingFaceデイリー論文ランキングの上位に浮上した。論文が示す構成には、8GBメモリのノートPC用GPUで35Bモデルを動作させ、ゲーミングデスクトップで284Bモデルを動作させ、ワークステーション1枚のGPUでZ.aiのGLM-5.2——7,530億パラメータを持つモデル——を動作させるというものが含まれている。
このシステムはFreeTokenと呼ばれ、正式タイトルは『FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution』である。最前線モデルのデプロイをラボでのデモから、個人マシンにインストールしてOpenAI互換APIを公開できるソフトウェアへと転換させた。
なぜ今なのか
Mixture of Experts（MoE）アーキテクチャが重要な前提となっている。論文中で名指しされたDeepSeek-V4-Flashを例に挙げると、284Bのパラメータを持ちながら、各トークン処理時に実際に活性化されるのは43のデコード層のうち6つのルーティング専門家のみで、実際に演算に参加するパラメータ量は約13Bにとどまる。スパース性はモデルの重みの総量を縮小するわけではない——FP4量化で保存すると完全な専門家プールは約140GBを占める——しかし、任意の単一推論においては大多数の専門家をホストメモリに常駐させ、必要に応じてロードできることを意味する。
既存のエンジン——llama.cpp、Ollama、KTransformers、MoE-Infinity——はこの特性を十分に活用できていない。複数の独立した情報源によれば、FreeToken論文は3つの構造的問題を特定している。プリフィル段階において大量のトークンが各層でほぼすべての専門家にルーティングされ、完全な専門家プールをPCIe経由で転送することになり、RTX 5090では約2秒、PCIe 4.0デスクトップGPUでは最大5秒、x8リンクのノートPCでは10秒以上かかる場合がある。静的オフロード戦略は異種リソース分布に適応できない。エージェント型ワークロードの実行パターンは継続的に変化するが、既存エンジンはこれを認識できない。
FreeTokenの3層機構
FreeTokenは、GPU、CPU、ホストメモリ、相互接続帯域幅を含む個人マシン全体を、統合された弾力的な推論プラットフォームとして扱う。
帯域幅適応型CPU-GPU協調実行が第1層だ。システムは実際に利用可能な帯域幅を継続的に測定し、専門家の計算をGPU側またはCPU側のいずれで実行するかを動的に決定する。同時に、全層ダブルバッファリングによるプリフィルストリーミング転送を採用して重みの転送と計算を並列化し、グローバルLRU専門家キャッシュによって高頻度専門家を再利用する。
セマンティック対応キャッシュが第2層で、エージェント型ワークロード向けに設計されている。FreeTokenはセマンティックアンカーチェックポイントを通じてKVキャッシュ内の再利用可能な部分を特定し、コンテキスト全体の再計算を回避する。
弾力的メモリ管理が第3層だ。VRAMは専門家キャッシュとKVメモリの間で動的に再割り当てされ、ワークロードパターンの切り替え時にはメモリレイアウトもそれに応じて移行する。
数字は実際に達成できるのか
複数の情報源によれば、RTX 5090でQwen3.6-35B-A3Bを実行した速度は毎秒77〜83トークン、DeepSeek-V4-Flashは毎秒22〜25トークン、RTX 4060ノートPC（8GB VRAM）で35Bモデルを実行した速度は毎秒39.3トークン、llama.cpp・Ollama・KTransformersと比較したスループット向上幅は1.5〜2.3倍、すべてのテストシナリオで最初のトークンまでの応答時間は最大44秒であった。
毎秒39.3トークンは人間の読書速度の上限に近く、インタラクティブなコーディングエージェントとして十分実用的だ。753Bモデルをワークステーション1枚のGPUで動作させたデータについては、論文中で言及されているものの、標準化されたスループット指標は示されていない。
このシステムはApache 2.0ライセンスでオープンソース公開されており、GitHub（FlashML-org/FreeToken）にてfreetoken v0.1.2としてPyPIに登録され、WindowsおよびLinuxのデスクトップアプリとしてワンクリックインストールも提供されている。コマンドラインツールのft serveはローカルの1919番ポートでOpenAIおよびAnthropic互換インターフェースを公開し、ft launch claudeによってClaude Code、Codexといったエージェントツールをローカルマシンに直接接続できる。2026年8月24日時点で、このリポジトリはGitHubスターを4,100件以上獲得している。
ハードウェア要件：NVIDIA RTX 30/40/50シリーズGPU、ドライバーr580以降（CUDA 13）が必要。CLIはLinux x86_64のみ対応、デスクトップアプリはWindowsとLinuxに対応、macOSは現時点で未対応。
署名者が意味するもの
論文の署名者は11名で、Song Han（MIT）、Matei Zaharia（Apache Spark共同創設者、Databricks共同創設者）、Ion Stoica（DatabricksおよびAnyscale共同創設者、Rayフレームワーク創設者）が含まれる。背後の組織はFlashMLであり、コードベースとインストールパッケージはすでに公開されている。
コスト構造における実質的な変化
2026年のコスト分析データによれば、AWS H100のオンデマンド価格はGPU1基あたり時間4.10〜6.88ドル、コンシューマー向けクラウドのRTX 4090レンタル価格は時間約0.44ドルであるのに対し、RTX 4090ローカルワークステーションの市場価格は約4,700〜5,000ドル、RTX 5090デュアルGPUワークステーションは約5,000〜8,000ドルの範囲だ。高稼働率（80%超）の継続利用シナリオにおいては、3年という時間軸でローカルハードウェアの総所有コストがクラウドの継続レンタルを下回り得る。
FreeTokenは同一ワークステーションGPUで動作可能なパラメータ規模を数十億から最前線レベルへと引き上げた。エージェント型ワークロードのAPI料金に苦しむ個人開発者や小規模エンジニアリングチームにとって、ローカルデプロイの経済的実行可能性の閾値が実質的に変化した。
データ主権も別の次元として存在する。FreeToken論文は医療・法律・国防・金融を最も適合するユースケースとして挙げている。エアギャップ隔離環境で最前線パラメータ規模のモデルを動作させる際に、プライベートなコードレビュー、オフラインでの契約書分析、ローカルでの大規模合成データ生成といった応用経路が開かれる。
独立した判断
FreeTokenはローカル推論のパラメータ上限をおよそ70Bから7,530億パラメータのGLM-5.2へと押し上げた。スループットがデータセンターには及ばないとはいえ、ローカルで選択可能なモデルのセットをこれまで到達不可能だった領域へと拡張した。
MoEのスパース活性化はすべての性能数値の前提条件だ。密なアーキテクチャ（Dense）のモデルに対しては、この機構がもたらす恩恵は大幅に縮小する。FreeTokenの適用範囲はMoEモデルの普及度と強く結びついており、2026年の主流フロンティアオープンウェイトモデルはほぼすべてがMoEアーキテクチャを採用しているという状況は、この点で好都合だ。
システムエンジニアリングの観点から見れば、FreeTokenは異種ハードウェアの動態スケジューリングを、安定したAPIインターフェースを持つデプロイ可能なソフトウェアとして実現した。6日間で4,100件のGitHubスターが積み上がったことは、開発者コミュニティがこの答えを肯定的に評価していることを示している。
ローカル推論がフロンティアパラメータ規模に到達したことの影響は、今後数ヶ月かけて徐々に明らかになっていくだろう。それはコスト面だけでなく、クラウド推論サービスプロバイダーが価格戦略に対して受けるプレッシャーとしても現れるはずだ。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接