MLCommonsがAILuminate Safety 1.2.1とJailbreak 1.1ベンチマークを公開

開発者およびデプロイ担当者は、AILuminate Safety 1.2.1とAILuminate Jailbreak 1.1という2つのMLCommonsベンチマークを用いて、AIシステムが有害コンテンツを生成する傾向や、攻撃者が違反を誘発する難易度を自ら検証できるようになった。両ベンチマークはMLCommonsが新たに提供を開始したCandela サービス上でオンデマンド実行が可能であり、27システムの最新公開結果も同時に公表された。

AILuminateベンチマークはコンセンサス方式で構築されており、80以上の機関に属するAI開発者、企業、学術研究者、市民社会団体がMLCommonsワーキンググループに参加し、違反レスポンスの基準を共同で定義した。このコンセンサスにより、AI開発者・調達担当者・規制当局のいずれもその結果を信頼できる仕組みとなっている。

9か月の軌跡：コンセンサスから迅速なイテレーションへ

本日の発表は、過去9か月にわたる複数のマイルストーンの集大成である。2月にグローバル保護プログラムとJailbreak 0.7分類法を公開、4月にベンチマーク管理プログラムとAI信頼性マップを開始、5月に評価基準バージョン1.4を公開、6月にJailbreak 1.0をプライベートリリースするとともに機密結果の開示方針を提示、8月に専有モデルを対象とした初の二重盲検信頼性評価を完了、9月にSafety 1.2で自動評価器アーキテクチャを導入、10月にJailbreak 1.0論文を発表した。

AILuminate Safety 1.2.1

Safetyベンチマークは、危害につながる可能性のあるリクエストをテキストAIシステムが拒否またはセーフリダイレクトする能力を検証する。プロンプトは、暴力犯罪、非暴力犯罪、武器、ヘイト、プライバシー、名誉毀損、ならびに健康・法律・金融に関する専門的アドバイスを含む12種類の危害カテゴリをカバーしており、推測的懸念ではなく実際のデプロイ環境で頻出するリスクに焦点を当てている。

最近のSafetyベンチマークには3つの重要なアップデートが加えられた。LLM判定器をMLCommonsが独自に訓練した決定論的評価器に置き換えたこと、3,900件の公式プロンプトを含むProblem Set 2.0を新たに追加したこと、そして単一の参照システムに基づく相対的なランク付けに代えて、0〜100の百分位参照スケールによるスコアリングを採用したことである。Safety 1.2.1は、Jailbreak 1.1との整合を図ったマイナーなスコアリング更新版である。

本日公表された27システムの結果には、Google、IBM、NVIDIA、OpenAIなどが提供する22のオープンウェイトモデルと5つのガードレールシステムが含まれる。オープンウェイトモデルのスコアは第4百分位から第98百分位まで広く分布しており、モデルの選択がデプロイ時の安全プロファイルに大きな影響を与えることが示された。ガードレールシステムのスコアは100に近いか、あるいは100に達している。

AILuminate Jailbreak 1.1

Jailbreakベンチマークは、同一の有害リクエストが攻撃的な書き換えを施された場合のレスポンスの変化を測定する。Safetyベンチマークと同一の危害プロンプトを使用し、既知の攻撃技術を適用する。両ベンチマークは同じ評価基準に基づいているため、スコアを比較することで攻撃者がベースラインの安全対策をどの程度突破できるかを把握できる。

MLCommonsのJailbreak分類法では、攻撃をロールプレイ・テンプレート攻撃、ラッピング・パターン攻撃など4つのカテゴリに分類している。Jailbreak 1.0では、違反率が通常プロンプト時の11.08%から攻撃下で18.65%に上昇し、ロールプレイ攻撃とラッピング攻撃が最も効果的であることが示された。

決定論的評価器とCandela サービス

LLM判定器が攻撃技術の影響を受けやすいという問題を解決するため、MLCommonsは自動評価器として専用の決定論的分類器を開発した。この評価器は人間の判断との一致度が高く、モデル開発者間の競合利益が生じない設計となっている。Safety 1.2では既に新評価器が採用されており、Jailbreak 1.1にも導入済みで、テストにかかる時間は約3時間から1時間に短縮された。

MLCommonsはあわせてCandela（ベンチマーク・アズ・ア・サービス）を提供開始した。ユーザーはテナント環境内で実践的なテストを実行し、SafetyとJailbreakの百分位スコアおよび生スコアのレポートを取得して、内部改善や製品開発に活用できる。