在YOLOv11中实现量化感知训练(QAT):INT8量化后模型缩小75%的完整流程
一、为什么你的YOLOv11模型需要QAT?部署深度学习模型到生产环境,尤其是边缘设备时,模型体积和推理速度永远是最让人头疼的两个问题。YOLOv11作为Ultralytics于2024年9月30日在YOLO Vision 2024(YV24)上正式发布的最新一代目标检测模型,在架构效率上相比前代有了显著提升。根据Ultralytics官方博客介绍,YOLO11m的参数量比YOLOv8m减少了22%,同时在COCO数据集上实现了更高的mAP。最小的目标检测模型YOLO11n仅有260万个参数——其大小相当于一张JPEG图片。最大的YOLO11x拥有约5600万个参数,与其他同类模型相比依然非常小。但即使如此,一个YOLO11n的FP32模型权重文件大约6.3MB,对于部署在资源受限的边缘设备(如ARM架构的移动端、Jetson Nano、ESP32等)来说,仍然不够友好。模型量化应运而生。模型量化是指将深度学习中通常使用的32位浮点数(FP32)权重和激活值用位数更少的数值类型(如8位整数INT8)来近似表示的过程。INT8量化可以将模型体积压缩约75%,推理速度提升2-4倍,但同时也会带来精度损失。那么问题来了:如何在做INT8量化的同时,最大程度地保住检测精度?答案是:量化感知训练(Quantization-Aware Training,QAT)。