大模型服务に関するニュース

SGLang-TorchTPU：TPU上のPyTorchネイティブ本番級サービング

SGLang-TorchTPUが本日正式にオープンソース化された。RadixArkのSGLangチームがGoogleおよびMetaと共同開発し、TPU上でフルSGLang機能を提供する本番環境向けプラグインである。