AMD GPU に関するニュース

SGLang 低レイテンシモード：カーネルとランタイムの最適化

SGLangの低レイテンシモードは、特定のモデル・ハードウェア・ワークロード向けに設計されており、プラグインフレームワークを通じて専用カーネルを導入することで、コードの重複を避けつつレイテンシを大幅に低減する。

AMD GPUでFP4量子化モデルを効率的に実行するためのGPUカーネル集「Petit」を開発し、Llama 3.3 70Bモデルで1.74倍の推論性能向上を実現しました。