好吞吐量に関するニュース

PD-Multiplexing：GreenContextによる高いGoodputを実現するLLMサービスの新パラダイム

NVIDIA GPUのGreenContext技術を活用し、同一インスタンス内でprefillとdecodeを効率的に多重化する新しいLLMサービスパラダイム「PD-Multiplexing」を提案し、SGLangで実装した初期成果を紹介し