GoogleがAndroid BenchにLLMテストを導入、自社Geminiの評価は振るわず
Googleは新たにAndroid BenchへLLM評価モジュールを追加したが、初期テストではGemini NanoがMeta Llamaなど第三者モデルに遅れを取る結果となった。モバイル端末向けAI性能評価の重要性が増す中、モバイルAI
Googleは新たにAndroid BenchへLLM評価モジュールを追加したが、初期テストではGemini NanoがMeta Llamaなど第三者モデルに遅れを取る結果となった。モバイル端末向けAI性能評価の重要性が増す中、モバイルAI
MLCommonsがMLPerf Mobile v4.0 for Androidの最新ベンチマーク結果を公開。7つのコアタスクでモバイルデバイスのAI性能を評価し、生成AIタスクを初めて導入。