Chakraの成熟へ：AI システムベンチマークテスト標準化エコシステム

2023年7月、MLCommonsはChakraワーキンググループの設立を発表した。その核心となる理念はシンプルながら野心的なものだ。従来のベンチマークテスト手法は、AI システムの急速なイテレーションに追いつけなくなっているというものである。本番環境のワークロードはプロプライエタリなコードとモデルの背後に隠されており、各種シミュレーターやリプレイツールはそれぞれ独立して機能している。また、次世代AI スーパーコンピューターを駆動する最先端のLLM トレーニング、スパースMoE モデル、デカップルド推論などのワークロードは、かつてないスピードで変化している。

2026年5月21日、MLSys 2026産業フォーラムにおいて、Chakraワーキンググループはマイルストーンとなる論文「MLCommons Chakra: Advancing Performance Benchmarking and Co-design using Standardized Execution Traces」を発表した。この論文はNVIDIAのSrinivas SridharanとGeorgia TechのTushar Krishnaが共同で主導し、NVIDIA、AMD、Metaなど複数の機関が貢献している。

断片化した協調設計の困難

現代のAI プラットフォーム設計は数千個のNPU クラスターと高速インターコネクトを伴い、イテレーションサイクルには本番ワークロードの観測、代表的なベンチマークの構築、シミュレーター評価、シリコン検証、大規模展開が含まれる。しかし既存のツールは高度に断片化している。ハイパースケール事業者はプロプライエタリなモデルを共有しにくく、各ベンダーのシミュレーターは互換性がなく、MLPerfなどのオープンベンチマークは更新が遅れているため、最適化が孤立化し、市場投入までの時間が延長されている。

Chakraのソリューション：オープンな実行トレースエコシステム

Chakraの中核はExecution Trace（ET）であり、グラフベースのポータブルな表現形式として、モデルの重みやデータセットを公開することなく、計算オペレーション、通信パターン、メモリアクティビティ、依存関係、並列化戦略を捉える。ソフトウェアベンダーはハードウェアベンダーとトレースを共有し、内部シミュレーションとリプレイを駆動することで、IP漏洩のない協力関係を実現できる。

AI インフラのライフサイクル全体をカバー

ChakraはPyTorch、NVIDIA NeMo、vLLMから直接トレースを収集し、実際のトレーニングと推論ワークロードを忠実に再現する。既存プラットフォーム上でリプレイしてボトルネックを特定したり、将来のアーキテクチャシミュレーションに活用したり、ハードウェアインザループ検証によってシステム上の問題を早期に発見したりすることも可能だ。

ワーキンググループから成熟したエコシステムへ

Chakraワーキンググループはハイパースケール事業者、シリコンプロバイダー、学術機関を含む40社以上のメンバーに拡大した。エコシステムの進展としては、PyTorchとNeMoのネイティブサポート、vLLMの統合、ASTRA-simとの互換性、そしてKeysightとScala Computingによる商業採用が挙げられる。

オープンソーストレースライブラリとコミュニティへの貢献

ワーキンググループは同時にオープンソーストレースライブラリを公開した。このライブラリはGPT-3、Llama、Mixtralなどの実際のワークロードトレースを収録しており、Georgia TechとHPEのサポートのもと収集されている。研究者やスタートアップ企業はプロプライエタリな環境へのアクセスなしに、これを活用してベンチマークテストやプラットフォーム評価を行うことができる。

産業界からの声

NVIDIAのCTO Michael Kaganは、ChakraはAI システムのデバッグと最適化に不可欠なフレームワークだと述べた。AMDなどのベンダーも、Instinctプラットフォームにおける活用価値を強調している。