模型量化原理：INT8量化、精度损失分析、提速原理作者：黒漂技术佬 | 系列：嵌入式端目标检测部署实战一、量化的本质：从"高精度浮点数"到"低精度整数"先讲一个生活中的类比。你在菜市场买菜，电子秤显示萝卜重0.874公斤，你跟摊主说"凑个整，1公斤吧"。这就是一种量化——用较粗的粒度表示一个精确值，牺牲一些精度换取便利。深度学习模型的推理过程本质上是大量的矩阵乘法和卷积运算。训练时，这些运算全部使用32位浮点数（FP32），每个数占4字节，精度极高。但在部署推理时，我们不需要这么高的精度，就像菜市场不必精确到毫克一样。模型量化就是把FP32的权重和激活值，映射到低比特整数（通常是INT8，即8位整数）上。转换后每个数只占1字节，模型大小直接腰斩再腰斩。具体来说，FP32和INT8的张量值范围对比：FP32: 大约 -3.4×10^38 到 +3.4×10^38，可以表示小数点后多位 INT8: -128 到 127（总共256个离散值），只能表示整数你要把一个近乎连续的实数空间"塞"进只有256个格子的离散空间中，其中的映射关系就是量化参数（scale + zero_point）来定义的。二、量化为什么能加速？2.1 内存带宽的大幅减少这是一个关键但容易被忽视的点。模型推理时，权重和中间激活值要在内存和计算单元之间来回搬运。FP32下搬4个字节，INT8下只搬1个字节——内存带宽需求直降到原来的1/4。对于嵌入式设备，内存带宽往往是瓶颈，而不是算力。想象一下无人售货柜里的RK3566，它的内存带宽大约只有10GB/s。一个FP32的YOLOv5s参数量约28MB，加上中间激活，一次推理可能需要几百MB的内存搬运。换成INT8后，这个数据传输量骤降到四分之一——光这一步就能带来成倍的推理加速。2.2 整数运算比浮点运算快现代CPU和NPU都对整数运算有硬件级别的优化：ARM NEON指令集：一次可以处理16个INT8的乘加运算（SIMD），而FP32只能一次处理4个。吞吐量直接提升4倍。NPU（神经网络处理单元）：瑞芯微RK35xx系列的NPU对INT8卷积有专门的硬件加速电路，INT8推理吞吐量可能是FP32的十几倍。简单说：一次操作能算更多数，算得还更快——这就是量化加速的核心逻辑。2.3 功耗节省INT8运算消耗的能量也比FP32少。对于用电池供电的智慧农业传感器节点，功耗直接决定设备能撑多久。一个每天推理几万次的目标检测节点，使用INT8量化后功耗可能降低50%以上。三、PTQ vs QAT：两种量化路线3.1 训练后量化（PTQ, Post-Training