GoogleがAndroid BenchにLLMテストを導入、自社Geminiの評価は振るわず
Googleは新たにAndroid BenchへLLM評価モジュールを追加したが、初期テストではGemini NanoがMeta Llamaなど第三者モデルに遅れを取る結果となった。モバイル端末向けAI性能評価の重要性が増す中、モバイルAI
Googleは新たにAndroid BenchへLLM評価モジュールを追加したが、初期テストではGemini NanoがMeta Llamaなど第三者モデルに遅れを取る結果となった。モバイル端末向けAI性能評価の重要性が増す中、モバイルAI
MLCommonsがクライアント推論シナリオ向けの最新ベンチマークテストスイート「MLPerf Client 1.5」を発表。モバイルデバイスやノートPC、エッジデバイスでのAI性能評価に焦点を当て、実際のアプリケーションに近い測定基準を提