Google DeepMindがDiffusionGemmaを発表：ローカルAIの実行速度が4倍に飛躍

AI分野において、拡散モデル（Diffusion Models）は画像生成で長らく強みを発揮してきた——DALL·EからStable Diffusionに至るまで、ランダムノイズから段階的にノイズを除去することで、リアルな画像を復元してきた。しかし、Google DeepMindが最新発表したDiffusionGemmaモデルは、この固定観念を打ち破った：拡散メカニズムを初めてテキスト生成に導入し、ローカルデバイス上で従来のTransformerモデルより4倍速い推論速度を達成したのである。

画像からテキストへ：拡散モデルの分野横断的革新

従来のテキスト生成モデル（GPTシリーズなど）は自己回帰メカニズムに基づき、次のtokenを単語ごとに予測する。この方式は精度は高いものの、計算コストが高く遅延も大きい。特にローカルデバイスで大規模言語モデル（LLM）を実行する際には、VRAMと演算能力がボトルネックとなる。DiffusionGemmaは画像拡散モデルの発想を取り入れている：完全にランダム化されたテキストベクトルから出発し、複数ステップの反復的なノイズ除去を通じて、目標出力に徐々に近づけていく。自己回帰モデルとは異なり、拡散プロセスは複数のtokenを並列処理できるため、生成時間が大幅に短縮される。

Ars Technicaの報道によると、DiffusionGemmaはGoogleがオープンソース化したGemmaシリーズの軽量モデルをベースに、拡散アーキテクチャ向けに専用の最適化が施されている。標準ベンチマークテストにおいて、DiffusionGemmaは同サイズの自己回帰モデルと同等の生成品質（パープレキシティ、BLEUスコアなど）を維持しながら、推論速度を約4倍に向上させた。さらに重要なのは、これが完全にローカルデバイス上で実現されており、インターネット接続やクラウドAPIの呼び出しを必要としない点である。

「拡散パラダイムは画像分野でその強力さを証明してきましたが、今やテキストにも同様に適用できることが分かりました。DiffusionGemmaの核心的な貢献は、ノイズ除去プロセスがピクセルを復元するだけでなく、構造化された言語の再構築も可能であることを証明した点にあります。」 ——DeepMind研究チームリーダー

業界背景：ローカルAIの課題と打開策

現在、大規模言語モデル（GPT-4、Claudeなど）は強力な能力を有するが、主にクラウド推論に依存している。プライバシーに敏感なシーン（医療、金融など）やオフラインアプリケーション（車載アシスタント、翻訳機など）にとって、ローカルAIは必須のニーズである。しかし、ローカルデバイスの演算能力とメモリの制約により、フルサイズモデルのデプロイは困難である。そのため、業界ではモデル量子化、知識蒸留、スパース活性化など、さまざまな戦略が採られてきた。拡散モデルは別のアプローチを提供する：非自己回帰生成によって、tokenごとの計算依存を回避するのである。

実際、学界では非自己回帰テキスト生成（Mask-Predict、CMLMなど）の研究が早くから行われてきたが、生成品質と長さ制御性の不足という問題が常に存在してきた。DiffusionGemmaは連続時間拡散プロセスと精緻に設計されたノイズスケジュールを導入することで、品質と速度のバランスをより良く取ることに成功した。Google DeepMindが公開した論文によれば、同モデルはSQuAD、WMTなどのデータセットで同規模のTransformerと同等の性能を示しながら、遅延を75％削減している。

編集後記：拡散時代の可能性

DiffusionGemmaの登場は、AI推論パラダイムの新たな転換を予感させる。画像とテキストの両分野が拡散手法を共有し始めたとき、マルチモーダル統一モデルへのハードルはさらに下がる可能性がある。将来のAIシステムが、同一のノイズ除去フレームワークで画像、テキスト、音声、さらには3Dデータを処理できる姿を想像してほしい。これはモデルアーキテクチャ設計を大幅に簡素化することになるだろう。

もちろん、テキスト生成における拡散モデルには依然として限界がある：例えば、厳密な因果論理を必要とする長文推論タスク（数学証明、コード生成など）では、単語ごとの自己回帰の方が優れている可能性がある。しかし、DiffusionGemmaはすでにリアルタイム対話やバッチ生成などのシナリオにおいて大きな潜在能力を示している。これは、より効率的で、よりプライバシーを保護するローカルAIへの重要な一歩となるかもしれない。

本記事はArs Technicaから編訳した。