SGLang-JAXがTPU上でLing-2.6-1Tを最適化：単一Pallasカーネルでおよそ MoEのデータ移動を隠蔽
SGLang-JAXがTPU v7x上でLing-2.6-1Tの効率的なデプロイをサポートし、新たなFused MoE V2 Pallasカーネルによりscatter・expert FFN・gatherを融合してTPUの計算とデータ移動を同
SGLang-JAXがTPU v7x上でLing-2.6-1Tの効率的なデプロイをサポートし、新たなFused MoE V2 Pallasカーネルによりscatter・expert FFN・gatherを融合してTPUの計算とデータ移動を同
SGLang-JaxはJaxとXLAに基づく最先端のオープンソース推論エンジンで、高速なネイティブTPU推論を実現し、他のTPU推論ソリューションに匹敵またはそれを上回る性能を発揮します。