MLPerf、エンドツーエンドRAG推論ベンチマークを発表

MLCommons MLPerf Inferenceワーキンググループは、初のエンドツーエンド検索拡張生成（RAG）推論ベンチマークを発表した。RAGはクエリ時にモデルの重みだけでなく検索されたドキュメントから回答を生成することで、幻覚を大幅に低減しつつ最新のプライベートな知識を活用できるため、言語モデルの最も一般的なデプロイ方式の一つとなっている。

RAGの本番システムは通常複数のモデルで構成され、ドキュメントの検索から回答生成までの完全なパイプラインを形成する。本ベンチマークはこのプロセス全体を計測し、2つのワークロードを含む。

エンドツーエンドRAGの意義

RAGは、クエリ時に検索されたドキュメントから回答を取得できることから急速に普及している。幻覚を減らし、回答の鮮度を保ち、汎用モデルが学習時に見ていなかった独自知識を活用できるようにする。

RAGは複数コンポーネントで構成されるシステムであるため、その性能は単一モデルではなく各コンポーネントの協調から生まれる。単一モデルのLLMベンチマークではパイプラインレベルの挙動を捉えることができず、複数モデルの統合最適化の機会を明らかにすることもできない。

本ベンチマークはエージェントAIベンチマークへの道も開くものであり、複数モデルのサービング課題は将来のベンチマークの出発点となる。

最適化の対象領域には以下が含まれる：

• モデル配置：異なる規模のモデルを異なるアクセラレータにマッピングする
• 共同配置：メモリ分割によりデバイスを共有する
• 多段階スケジューリング：異種アクセラレータにまたがるマクロ・マイクロバッチ処理を実現する
• プレフィックスキャッシング：マルチホップで共有されるプレフィックスを再利用して計算量を削減する

データセットとタスク

本ベンチマークはFRAMESマルチホップクエリデータセットを基盤とし、824件のクエリ、2,515本のWikipedia記事、および約107,000件の768文字セグメントを含む。

サンプルのマルチホップクエリは、3本の記事をまたいで連鎖的に推論することで初めて回答を導き出せる。

図1：マルチホップE2E RAGのサンプル

インジェストとQ&Aパイプライン

ベンチマークは2つの独立したパイプラインで構成される：インジェストパイプライン（e2e-rag-db）はベクターデータベースを一度だけ構築し、Q&Aパイプライン（e2e-rag-qna）がエンドツーエンドのスコアリングを実行する。

図2：E2E RAGのインジェストとQ&Aパイプライン

インジェストのフローには解析、チャンク分割、埋め込み、およびFAISS HNSWインデックス構築が含まれる。Q&Aフローでは、クエリリライター、エンベッダー、リトリーバー、リランカー、ドキュメントスコアラー、および充足性チェッカーを通じてマルチホップ推論を反復的に実行する。