TPU推理に関するニュース

SGLang-Jax：ネイティブTPU推論のためのオープンソース利器

SGLang-JaxはJaxとXLAに基づく最先端のオープンソース推論エンジンで、高速なネイティブTPU推論を実現し、他のTPU推論ソリューションに匹敵またはそれを上回る性能を発揮します。