【推理优化】权重量化的两种主流思路：GPTQ 与 AWQ

训练后量化与量化感知训练：两条路径的分野

当我们决定将一个模型从 FP16 压缩到 INT4 或 INT8 时，面临的第一道选择题并非「用哪种量化算法」，而是「在什么阶段做量化」。这个选择决定了后续所有技术路线的走向，也直接影响了工程投入与收益的权衡。

PTQ：推理前的离线校准

训练后量化（Post-Training Quantization, PTQ） 的核心思路是：模型已完成训练，权重已固化，量化过程发生在推理部署之前。整个过程可以概括为三个步骤：

1. 收集统计信息：输入少量校准数据（通常是验证集的一个子集，几百到几千个样本），前向传播一遍模型，统计各层权重和激活值的数值分布范围（min/max、分位数或直方图）。
2. 计算量化参数：根据统计结果，为每个张量或每个通道确定缩放因子（scale）和零点（zero point）。这一步的目标是让量化后的整数表示尽可能精确地还原原始浮点数值。
3. 转换权重与推理：将 FP16 权重映射为 INT4/INT8 整数，替换原始权重矩阵，之后推理过程完全在整数域（或混合精度域）中进行——矩阵乘法使用 INT8 乘加指令，计算速度远快于浮点运算。

这一步的计算量极低——相对于训练，校准