MLPerf Client 1.5 正式リリース

MLPerf Client 1.5 リリース発表

MLCommons組織はMLPerf Client 1.5の提供開始を発表しました。これはクライアント推論シナリオ向けの最新ベンチマークテストスイートです。このバージョンはモバイルデバイス、ノートパソコン、エッジデバイスにおけるAI性能評価に焦点を当て、実際のアプリケーションにより近いテスト基準を提供します。

主要な更新と新機能

• 新しいベンチマークシナリオの追加：リアルタイム画像分類、NLPタスク、生成AIなど、より多くのクライアント典型的な負荷を導入し、BERT、Stable Diffusionなどの人気モデルをサポート。
• テストプロトコルの最適化：SingleStream（シングルストリーム）とServer（サーバー型マルチストリーム）カテゴリを改善し、実際のユーザーインタラクションをシミュレートして再現性と公平性を向上。
• 性能指標の拡張：消費電力、レイテンシ、スループットの総合評価を追加し、エネルギー効率比を重視。

初回結果のハイライト

今回のリリースには複数の大手メーカーからの初回提出結果が含まれています。NVIDIAがGPUアクセラレーションシナリオでトップを走り、QualcommとMediaTekがSoCプラットフォームで優れた性能を示しました。結果はElo Ratingに似たランキングシステムを採用し、システム性能を直感的に表示します。

• NVIDIA A100：SingleStream BERTタスクで最高スループットを達成。
• Qualcomm Snapdragon：低消費電力Serverシナリオでリード。
• 全体的な傾向：ソフトウェアスタックの最適化（TensorRT、ONNX Runtimeなど）がスコアを大幅に向上。

業界への意義

MLPerf Client 1.5は開発者に標準化ツールを提供し、リソースが限られたデバイスでのAIモデルの展開を最適化するのに役立ちます。GenAIがクライアントで普及するにつれ、このベンチマークはハードウェアイノベーションを加速し、スマートフォンからIoTデバイスまでのAI実装を推進します。

詳細については公式リンクをご覧ください。