RadixArkとGoogleが提携：SGLangの全機能をTPUへ本格展開

RadixArkとGoogle Cloudは正式に提携を発表し、オープンソース推論フレームワーク「SGLang」をTPUエコシステムへ全面導入することで、開発者にハードウェア選択の究極の柔軟性を提供する。

SGLangの技術的優位性と現状

SGLangは、高スループット・低レイテンシの本番環境向けに設計されたオープンソース推論フレームワークである。現在すでに世界中の数十万基のGPU上で稼働し、1日あたり数兆トークンを生成しており、GitHubのスター数は3万を超え、コントリビューターは1,700人以上にのぼる。コアメンテナーであるRadixArkは、今回の提携によりSGLangをGoogle TPU上でも動作させる。

現在のサポート状況と今後のロードマップ

開発者は現在、SGL-JAXを通じて最新のTPU上でSGLangを実行できる。Gemma、Qwen、DeepSeek、GLM、Mimo、Kimiなどの主要大規模モデルやマルチモーダルモデルをサポートするほか、WanやFluxといった動画・画像生成の拡散モデルにも対応している。

今年後半には、RadixArkがPyTorchネイティブのTPUバックエンドとしてSGL-torchtpuをリリース予定だ。eager execution、PyTorchエコシステムとの互換性、MPMDをサポートし、データ並列・テンソル並列・エキスパート並列・コンテキスト並列・パイプライン並列に加え、Radix Cache、HiCache、量子化、スペキュラティブデコードといった機能を提供する。これらはすべて、RadixArk・Google・コミュニティが共同開発したTPU Pallasカーネルによって駆動される。

業界的意義と両社のコメント

今後、SGLangは新しいオープンソースモデルのTPU上でのDay 0サポートを実現し、TPUをGPUと同等のコスト効率に優れた最先端推論基盤として位置づける。開発者は完全に同一のSGLang APIを使用し、コストパフォーマンスに応じてGPUとTPUを自由に切り替えることができる。

「RadixArkのミッションは、最先端のAIインフラをすべての開発者が利用できるようにすることです。SGLangはまさにその理念の体現であり、Google Cloudと協力してそのパフォーマンスと柔軟性をTPUエコシステムへ届けられることを嬉しく思います。」——RadixArk CEO Ying Sheng

「最先端のAIイノベーションを真に加速するには、開発者がパフォーマンス・信頼性・スケーラビリティ・コストのより優れた学習・推論プラットフォームを自由に選択できる必要があります。」——Googleエンジニアリング担当バイスプレジデント Bill Jia

SGL-JAXはすでに公開されており、プロジェクトのリポジトリはgithub.com/sgl-project/sglang-jaxにて参照できる。SGLシリーズはオープンで高性能な推論エンジンの構築に向け、引き続き新しいコントリビューターを歓迎している。