混合精度推理に関するニュース

AMD GPU上のFP4混合精度推論最適化

AMD GPUでFP4量子化モデルを効率的に実行するためのGPUカーネル集「Petit」を開発し、Llama 3.3 70Bモデルで1.74倍の推論性能向上を実現しました。