onnx之量化

量化的核心本质——从一个连续区间到离散整数集的保序映射。

📐 数学形式化表达

可以精确地用下面的公式表达：

量化值 = clamp(round((浮点值 - range_min) / scale) + zero_point, q_min, q_max)

其中：

• scale = (range_max - range_min) / (q_max - q_min) ← 决定映射的"缩放比例"

• zero_point = q_min - round(range_min / scale) ← 决定映射的"平移基准"

这个公式确保了：

1. 保序性：float(x) < float(y) → quant(x) <= quant(y)（单调递增映射）

2. 双射区间：[range_min, range_max] ↔ [q_min, q_max] 是一一对应的

3. 截断处理：超出[range_min, range_max]的值会被clamp到边界

💡 为什么用更少的bit能加速？

1️⃣ 计算密度提升

# 浮点计算（32bit）
conv2d_float = sum(W_f32[i] * X_f32[i])  # 每次乘法需32bit乘法器

# 整型计算（8bit）
conv2d_int8 = (sum(W_i8[i] * X_i8[i]) - bias) * scale  # 8bit乘法器速度快4-10倍

2️⃣ 内存带宽减负

3️⃣ SIMD指令集优势

现代CPU/GPU的SIMD单元：

• AVX2：1个指令同时处理32个INT8，但只能处理8个FP32

• Tensor Core：单周期完成4x4 INT8矩阵乘法，比FP16快2倍

量化中可能遇到的问题汇总如下，

核心问题总览