SGLang-TorchTPU:TPU上のPyTorchネイティブ本番級サービング
SGLang-TorchTPUが本日正式にオープンソース化された。RadixArkのSGLangチームがGoogleおよびMetaと共同開発し、TPU上でフルSGLang機能を提供する本番環境向けプラグインである。
SGLang-TorchTPUが本日正式にオープンソース化された。RadixArkのSGLangチームがGoogleおよびMetaと共同開発し、TPU上でフルSGLang機能を提供する本番環境向けプラグインである。
RadixArkとGoogle Cloudがオープンソース推論フレームワーク「SGLang」をTPUエコシステムへ全面導入する提携を正式発表した。開発者はGPUとTPUを同一APIで使い分けられるようになる。