MedPerf、WebUI機能を追加しプライバシー保護ベンチマークテストの体験を向上

MLCommonsは最近、そのオープンソースプライバシー保護機械学習ベンチマークプラットフォーム MedPerf に正式に WebUI 機能を追加したことを発表しました。この更新によりプラットフォームの使いやすさが大幅に向上し、開発者は複雑な環境設定なしに、ブラウザを通じてモデル評価とベンチマークテストを実行できるようになりました。

MedPerfの紹介

MedPerfは、MLCommonsが発表した初のプライバシー保護MLベンチマークフレームワークで、連合学習と差分プライバシーのシナリオ専用に設計されています。これにより、ユーザーは生データを共有することなく、画像分類、NLPなど様々なタスクでのモデルの性能を評価できます。Leaderboardシステムを通じて、ユーザーは世界中のモデルのランキングと Elo Rating を見ることができます。

WebUI新機能のハイライト

• ブラウザですぐ使える：PythonやDockerのインストール不要で、Webインターフェースに直接アクセスしてテストを実行できます。
• SGLang統合：バックエンドは高効率な推論エンジンをサポートし、テスト速度を向上させます。
• 可視化ダッシュボード：テストの進行状況、精度、レイテンシなどの指標をリアルタイムで表示し、Elo Ratingランキングを生成します。
• マルチタスクサポート：コンピュータビジョン、自然言語処理などの主要なベンチマークをカバーします。

例えば、ユーザーがモデルをアップロードすると、WebUIは自動的にデータセットとマッチングし、プライバシー保護評価を実行します。全プロセスはわずか数分で完了します。

使用ガイド

1. MedPerf WebUIにアクセス（リンクは原文参照）。
2. ベンチマークタスクとデータセットを選択。
3. モデルをアップロードまたは選択し、テストを開始。
4. 結果を確認し、Leaderboardに提出。

今後の展望

MLCommonsは、WebUIをさらに拡張し、より多くのプライバシープロトコルとカスタムデータセットをサポートする計画です。この更新はLMSYS Orgによって貢献され、オープンソースコミュニティの協力を推進しました。開発者は今すぐ体験でき、プライバシーML研究開発の効率を向上させることができます。