大模型金字塔向量量化技术研究

我们关于大语言模型金字塔向量量化（Pyramid Vector Quantization，简称 PVQ）的最新研究成果，实现了最先进水平（SOTA）的训练后量化效果，并在模型性能、每权重位数（bits per weight）与每激活位数（bits per activation）之间成功达成了帕累托最优（Pareto-optimal）的权衡。