生成式AI基准に関するニュース

生成式AI サービス評価の標準化：API志向ベンチマークテストの新パラダイム

MLCommonsが生成式AIの急速な進化に対応するため、API中心のベンチマークテスト「MLPerf Endpoints」を発表。従来の半年周期から四半期ごとの継続的な結果提出モデルに転換し、実運用環境を反映した性能評価を実現する。