SGLang-TorchTPU:TPU上のPyTorchネイティブ本番級サービング
SGLang-TorchTPUが本日正式にオープンソース化された。RadixArkのSGLangチームがGoogleおよびMetaと共同開発し、TPU上でフルSGLang機能を提供する本番環境向けプラグインである。
SGLang-TorchTPUが本日正式にオープンソース化された。RadixArkのSGLangチームがGoogleおよびMetaと共同開発し、TPU上でフルSGLang機能を提供する本番環境向けプラグインである。
GoogleはAmazonに続き、PyTorchユーザーがAIアプリケーションをNVIDIA GPUから他のハードウェアへ移行しやすくする開発者向けツールを公開した。この動きは、NVIDIAのCUDAエコシステムが形成してきた開発者囲い込み
AmazonはAI開発ツール「TorchNeuron」を正式発表し、NVIDIAが長年築いてきたPyTorchエコシステムとの深い連携関係に揺さぶりをかけようとしている。同ツールは開発者が既存のPyTorchコードを大幅に改変することなく、