SGLang优化に関するニュース

1Tパラメータを秒単位で更新：大規模分散RLにおけるP2P重み転送

SGLangのRLワークロード向けに、従来のNCCLブロードキャスト方式を補完するRDMAベースのポイントツーポイント重み更新メカニズムを導入。1TパラメータのKimi-K2モデルの重み転送時間を53秒から7.2秒へと7倍高速化した。

MLCommonsが発表した最新のVLM推論ベンチマークテストにおいて、Shopifyチームが優れた最適化により業界をリードする性能を達成し、電子商取引分野でのVLM実装に新たな基準を示した。