MLPerf Tiny v1.3 概要
MLPerf Tiny v1.3はMLCommonsが発表した最新のエッジAIベンチマークバージョンで、マイクロコントローラー（MCU）や低消費電力エッジプロセッサーなどのリソース制約デバイス向けに設計されている。このベンチマークはTinyMLモデル評価の標準化を目指し、開発者が異なるハードウェアとソフトウェアスタックの精度、レイテンシ、消費電力の性能を比較できるよう支援する。
前バージョンと比較して、v1.3では2つの全く新しいベンチマークを導入：Image Classification (IC)とVisual Wake Words (VWW)、さらに既存のKeyword Spotting (KWS)とAnomaly Detection (AD)を最適化した。これらのアップデートは、スマートホーム、ウェアラブルデバイス、IoTにおけるエッジAIの実際のニーズを反映している。
新規ベンチマーク詳解
Image Classification (IC)
ICベンチマークはCIFAR-10データセットを使用し、モデルはMobileNetV2アーキテクチャに基づいている。タスクでは224x224解像度の画像で高精度を実現しつつ、推論レイテンシを30ms以内に制御することが要求される。評価指標にはTop-1精度とワットあたりのスループットが含まれ、ビジュアルエッジアプリケーションに適している。
- データセット：CIFAR-10（60,000枚の32x32カラー画像）
- モデル：MobileNetV2（INT8に量子化）
- 性能目標：精度>70%、レイテンシ<30ms
Visual Wake Words (VWW)
VWWはデバイス起動シナリオをシミュレートし、10万枚の画像（起動ジェスチャあり/なし）を含むカスタムデータセットを使用する。モデルは軽量CNNを採用し、ジェスチャーなどの起動ワードを検出することを目標とする。低消費電力を重視し、常時オンデバイスに適している。
- データセット：VWW v1.0（正負サンプルのバランス）
- モデル：EfficientNet-Lite（最適化版）
- 指標：リコール率>90%、消費電力<1mJ/推論
最適化ベンチマークの更新
Keyword Spotting (KWS)
Google Speech Commands v2データセットに基づき、複数キーワードのサポート（10クラスのコマンドなど）を導入。モデルはTC-ResNetを使用し、精度目標を95%以上に引き上げた。
Anomaly Detection (AD)
産業用センサーデータ向けに、NABデータセットを使用。モデルはAutoencoder変形で、異常検出の閾値F1スコア>0.85。
評価ルールとフレームワーク
すべてのベンチマークはクローズドモデルルール（Closed Division）を採用し、カスタム実装（Open Division）もサポート。推論フレームワークにはTensorFlow Lite Micro、TVM、SGLangが含まれる。提出にはオフライン精度、リアルタイムファクター（RTF）およびハードウェア仕様の報告が必要。初回提出期限は2025年第1四半期。
- ハードウェア範囲：MCU（<1MB RAM）、エッジSoC
- 量子化サポート：INT8/FP16
- 消費電力測定：標準電源追跡
意義と展望
MLPerf Tiny v1.3はTinyMLエコシステムの成熟を推進し、最初の結果は2025年に発表される予定。開発者はMLCommons公式サイトからベンチマークスイートをダウンロードし、最適化デプロイを開始できる。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接