MLPerf Tiny v1.3ベンチマークテスト結果が重要発表

MLCommons組織は先日、MLPerf Tiny v1.3ベンチマークテスト結果を正式に発表した。これはエッジAI分野における重要なマイルストーンである。このベンチマークはリソースが制限されたマイクロコントローラーと組み込みデバイスに焦点を当て、実際の展開におけるモデルの性能を評価する。

テストシナリオの概要

今回のテストは4つのコアタスクをカバーしている:

  • Image Classification:ImageNetデータセットのMobileNet V2モデルを使用。
  • Keyword Spotting:Google Speech Commandsデータセットに基づく。
  • Anomaly Detection:産業用センサーデータを対象とする。
  • Visual Wake Words:視覚的な覚醒検出。

テストは低消費電力、高スループット、低遅延を重視し、実際のエッジシナリオをシミュレートしている。

トップ成績一覧

Image Classification Offlineカテゴリーでは、ArmのCortex-M85 + Ethos-U85 NPU1895.1点で優勝し、前回の記録を大きく上回った。NXP i.MX RT700が1623.4点で2位、STMicroelectronics STM32N6シリーズが1512.8点で3位に続いた。

カテゴリートップ提出スコア
Image Classification OfflineArm Cortex-M85 + Ethos-U851895.1
Image Classification ServerIntel Core Ultra2487.2
Keyword SpottingNXP i.MX RT7003124.5

IntelはServer側で優れた成績を示し、x86プラットフォームのエッジ最適化の潜在能力を示した。

LMSYS Orgの貢献

提出者の一つとして、LMSYS Orgは特定の最適化タスクで実力を発揮し、効率的な推論フレームワークを利用してモデル展開効率を向上させた。この組織はChatbot ArenaやSGLangなどのプロジェクトで知られており、今回の参加によりエッジAI分野での展開をさらに拡大した。

技術的ハイライトと進歩

  • RISC-Vアーキテクチャへのサポートを新たに追加し、エコシステムの互換性を拡大。
  • 量子化最適化とINT8/INT4精度テストを導入し、メモリ使用量を削減。
  • 性能向上が顕著:Image Classificationはv1.2と比較して平均25%向上。

これらの結果は、ハードウェアとソフトウェアの協調最適化の重要性を際立たせ、AIのより小型デバイスへの浸透を推進している。

今後の展望

MLPerf Tinyは引き続き反復改良され、v1.4ではより多くのマルチモーダルタスクが統合される予定である。開発者は公式リンクから完全なデータセットと提出詳細をダウンロードでき、エッジAIのイノベーションを加速することができる。