MLCommons、MLPerf Mobile v6.0をリリース——デバイス上でのLLMベンチマークを新たに追加

MLCommonsは本日、MLPerf Mobile v6.0のリリースを発表した。Androidデバイス上で大規模言語モデル（LLM）を実行するための生成AIベンチマークテストが新たに追加されている。これらのテストは、MLPerf Mobileアプリにすでに搭載されている画像生成、物体検出、超解像などのベンチマークと組み合わせ、完全なテストスイートを構成する。

新たに追加されたデバイス上でのLLMベンチマークテスト

MLPerf Mobile v6.0では、以下のモデルを新たなLLMベンチマークとして採用している：

• Llama 3.2 1B Instruct
• Llama 3.2 3B Instruct
• Llama 3.1 8B Instruct

各モデルはTinyMMLUおよびIFEvalデータセットからのリクエストを処理し、デバイス上でのAI推論のパフォーマンスと精度を定量化する。

LLMテストは、十分なメモリを持つデバイスであればカスタムアクセラレーターなしにCPUで実行可能だ。また、今回のリリースではQualcomm Snapdragon 8 Elite Gen 5 SoC上でNPUアクセラレーションを用いたLlama 3.1 8B Instructモデルの実行もサポートしている。ワーキンググループは今後、より多くのデバイスおよびプラットフォームへのLLMアクセラレーションサポートの拡張を計画している。

SoCサポートの拡張と幅広い利用可能性

新デバイスサポートの迅速な統合に向け、v6.0ではMediaTek Dimensity 9500シリーズチップを搭載したデバイスへの対応が新たに追加された。また、以下のチップへのサポートも更新されている：

• Qualcomm Snapdragon 8 Elite Gen 5
• Samsung Exynos 2600

アプリは多数のモバイルデバイスでのNPUアクセラレーション実行をすでにサポートしている。

MLPerf MobileアプリはGoogle Playストア、Apple App Store、およびMLPerf Mobile GitHubリポジトリから入手可能だ。GitHubリポジトリにはApache 2.0ライセンスに基づく完全なオープンソースコードも提供されている。