MLPerf Mobile Android v4.0ベンチマーク結果が重大発表

MLCommons組織は先日、MLPerf Mobile v4.0 for Androidの最新ベンチマーク結果を公開しました。これはモバイルデバイスのAI性能評価分野におけるマイルストーン的なアップデートです。このベンチマークはAndroidプラットフォームに焦点を当て、実際のユーザーシナリオをシミュレートし、メーカーがハードウェアを最適化してAIアプリケーションの展開を加速することを支援します。

ベンチマークテストの概要

MLPerf Mobile v4.0 Android版は7つのコアタスクを導入し、コンピュータービジョン、自然言語処理、生成AIなどの主要分野をカバーしています：

• Image Classification (ResNet50)：画像分類、ImageNetデータセットを使用。
• Object Detection (SSD-MobileNet)：物体検出、COCOデータセットに基づく。
• Super Resolution (EDSR)：画像超解像、低解像度画像の品質向上。
• Speech Recognition (RNN-T)：音声認識、リアルタイム書き起こしをサポート。
• 3D-UNet：医療画像セグメンテーションタスク。
• BERT Squad：質問応答タスク、NLP能力を評価。
• Stable Diffusion：初めて導入されたテキストから画像生成、生成AI性能をテスト。

テストは低消費電力と高スループットを強調し、スマートフォンやタブレットなどのデバイスに適用されます。

トップパフォーマンス表現

今回の提出はQualcomm、Samsung、MediaTek、Googleなどのメーカーからのものです。以下は一部のハイライト結果です（Offlineシナリオを例に、単位：Samples/second）：

• Qualcomm Snapdragon 8 Gen 3はResNet50で1,200+のピークスループットを達成し、複数のタスクで首位を獲得。
• Samsung Galaxy S24 Ultra（Snapdragon 8 Gen 3搭載）はStable Diffusionタスクで優れたパフォーマンスを示し、生成速度でリード。
• MediaTek Dimensity 9300+は音声認識タスクで僅差で追随。
• Google Tensor G3はBERT Squadで強力なNLP能力を発揮。

完全な結果表は公式ページで確認でき、SingleStream、Server、Offlineの3つのシナリオをサポートしています。

意義と展望

今回のアップデートはベンチマークフレームワークを最適化し、より多くのNPUとGPUアクセラレーターをサポートし、AndroidエコシステムのAI標準化を推進しています。Stable Diffusionの追加は、生成AIのモバイル端末への浸透を示しています。結果の公開により、開発者はより良いハードウェア選択が可能になり、リアルタイム画像生成やインテリジェントアシスタントなどのon-device AIイノベーションが加速すると予想されます。

MLPerf Mobileは業界をリードし続け、効率的で持続可能なモバイルAIの発展を推進しています。