GoogleがAndroid BenchにLLMテストを導入、自社Geminiの評価は振るわず

Googleは先日、Android Benchに対する大幅なアップデートを発表し、初めて大規模言語モデル（LLM）テストをモバイル端末の性能評価体系に組み込んだ。しかし意外なことに、Google自社のGeminiモデルは初期テストで平凡な結果にとどまり、GPT-4やClaudeといったサードパーティモデルに後れを取った。この結果は、モバイル端末におけるAI演算リソース配分とモデル最適化をめぐる新たな議論を業界で引き起こしている。

Android Benchの進化：CPU/GPUからAIへ

Android BenchはGoogleがAndroid開発者向けに提供するクロスデバイス性能ベンチマークツールであり、従来はCPU・GPU・メモリ・ストレージといった従来型ハードウェア指標のテストを主としていた。モバイル端末におけるAI機能の普及、特にローカルLLM推論需要の急増を受け、Googleは最新バージョンに専用のLLMテストモジュールを導入することを決定した。このモジュールは、異なる規模のモデル（Gemini Nano、Gemini Proのモバイル向け変種など）を実行することで、デバイスの推論速度・消費電力・メモリ使用量を評価する。

Ars Technicaの報道によれば、開発者はフィードバックを提出することでテスト手法の発展に影響を与えられるようになった——例えば、モデルの精度設定の調整やテストケースの指定などが可能だ。Googleは公式ブログで「Android Bench is evolving, and developers can help guide that process（Android Benchは進化しており、開発者がそのプロセスを導く手助けができる）」と強調している。これは将来のテスト基準が、より実際のユースケースに即したものになることを意味する。

Geminiの不振：予想外でも、納得できる？

Googleはクラウド上でGeminiシリーズを積極的に展開しているものの、モバイル端末ではその性能が大きく低下する結果となった。Android Benchの初期テストでは、Gemini Nanoを搭載したデバイスはテキスト生成および要約タスクにおいて速度が遅く、消費電力も高かった。一方、同クラスのサードパーティモデル（MetaのLlama 3モバイル版など）は、レイテンシと電力効率のいずれにおいても優れた結果を示した。これはGeminiのモデルアーキテクチャがクラウド向けに設計されており、モバイル向けの量子化バージョンにはまだ最適化の余地があることと関係している可能性がある。

"Android Bench is evolving, and developers can help guide that process." —— Ars TechnicaによるGoogle声明の引用

ただし、一部のアナリストは、Android BenchのLLMテストは現在もベータ段階にあり、モデルの最適化やハードウェア適合はまだ不完全だと指摘している。モバイル端末におけるGeminiの不振は、その技術的方向性の失敗を意味するのではなく、モバイル端末へのAI展開が直面する共通の課題——演算能力と消費電力のバランス、モデル圧縮と精度損失のトレードオフ——を反映しているに過ぎない。

業界背景：モバイル向けLLMベンチマークがなぜ重要なのか？

スマートフォンメーカーがリアルタイム翻訳から画像生成に至るまでAIをコアな訴求点として打ち出す中、統一された信頼性の高いベンチマーク標準の重要性がますます高まっている。従来は業界がGeekbench MLやMLPerf Mobileに主に依存していたが、これらのツールは従来型の機械学習タスク（画像分類など）に重点を置いていた。Android BenchのLLMアップデートはこのギャップを埋めるものであり、特にテキスト系大規模モデルのモバイル端末上での実際のパフォーマンスに焦点を当てている。

注目すべきは、Appleも今年初めに開発者向けの大規模言語モデルテストスイートを発表したことだ（ただしA17 Pro以上のチップに限定）。Googleの今回の取り組みは明らかに競合する参照軸を形成する狙いがあり、さらにチップメーカー（QualcommやMediaTekなど）がAIエンジン設計において主流のLLMに向けた最適化を進めるきっかけになる可能性もある。

編集後記：テストの公平性に注目し、「スコア稼ぎ目的の最適化」に警戒を

Android BenchへのLLMテスト導入は前向きな一歩だが、開発者は初期データの解釈には慎重であるべきだ。まず、モデルによって優先する最適化の方向が異なる——低消費電力を重視するものもあれば、低レイテンシを追求するものもある。次に、ハードウェアの適合度も結果に大きく影響する。Googleはドキュメントの中で、テストコードは新しいAPIや実行時環境を反映するために継続的に更新されると明記している。したがって、開発者がデバイスのAI性能を評価する際には、自身のアプリケーションシナリオに合わせてクロス検証を行うことが推奨される。

さらに、今回のGeminiの結果は、クラウドで強いモデルがモバイル端末でも強いとは限らないことをテック大手に示唆している。モデル圧縮・量子化認識トレーニング・ハードウェア協調設計は、引き続きモバイルAIの成否を左右する鍵となる。小規模モデルの開発者にとっては、これこそが追い抜きを図る絶好の機会と言えるだろう。

本記事はArs Technicaより編訳