基于YOLOv8的人脸表情识别系统

基于YOLOv8的人脸表情识别系统## 项目简介本项目以YOLOv8目标检测框架为核心构建了一套完整的人脸表情识别系统涵盖数据集处理、模型训练与调优、可视化分析以及交互式推理系统的全流程开发。系统能够在图片、视频及摄像头实时画面中同步完成人脸定位与表情分类支持 7 种基础表情类别的端到端识别。目录深度学习开发流程数据集说明模型训练训练参数训练指标与可视化系统功能技术栈项目结构快速开始深度学习开发流程本项目完整复现了深度学习系统从零到部署的标准流程数据集构建与预处理 ↓ 预训练模型选型与配置 ↓ 多策略数据增强 ↓ 模型训练与实时监控 ↓ 指标评估与超参调优 ↓ 最优权重导出 ↓ GUI 推理系统集成数据集说明数据集概况项目内容数据集名称FERFacial Expression RecognitionYOLO 格式标注格式YOLO txt每行类别ID cx cy w h归一化坐标训练集图片数约 10,000 张测试集图片数约 3,068 张总计约 13,068 张类别数量7 类表情类别ID英文标签中文含义说明0Surprise惊讶眉毛上扬、嘴巴张开1Fear恐惧眉毛皱起、眼神紧张2Disgust厌恶鼻子皱起、嘴角下撇3Happiness高兴嘴角上扬、面部舒展4Sadness悲伤眉毛下垂、嘴角下拉5Anger愤怒眉毛紧锁、目光锐利6Neutral中性面部无明显情绪特征数据集目录结构fer-dataset-yolo/ ├── loopy.yaml # 数据集配置文件 ├── train/ │ ├── images/ # 训练集图片 │ └── labels/ # 训练集标注YOLO格式 └── test/ ├── images/ # 测试集图片 └── labels/ # 测试集标注标注格式示例# 格式类别ID 中心点x 中心点y 宽度 高度均为相对图片宽高的归一化值 4 0.5097 0.3528 0.3948 0.3183数据预处理与增强策略训练时采用多种在线数据增强增强模型对不同场景的鲁棒性增强方式参数作用HSV 色调抖动hsv_h0.015模拟不同光源色温HSV 饱和度抖动hsv_s0.7模拟低/高饱和场景HSV 明度抖动hsv_v0.4模拟亮度变化随机水平翻转fliplr0.5增加左右对称样本Mosaic 拼接mosaic1.04 图合并扩充上下文MixUp 混合mixup0.1提升决策边界平滑性模型训练预训练模型选用YOLOv8sSmall作为基础模型在 COCO 数据集预训练权重上进行迁移学习。该规格在精度与推理速度之间取得最佳平衡适合表情识别这类细粒度分类任务。训练流程加载yolov8s.pt预训练权重冻结骨干网络初期层以小学习率预热Warmup3 轮逐步适应新任务分布余弦退火Cosine Annealing调度器动态调整学习率启用早停Early Stopping机制patience25防止过拟合每 10 轮保存一次检查点最优验证 mAP 自动保存为best.pt运行训练python train.py所有训练产物权重、曲线图、混淆矩阵等自动保存至train_result/fer_yolov8s/。训练参数参数名值说明模型yolov8sSmall 规格兼顾精度与速度输入分辨率640 × 640标准 YOLO 输入尺寸训练轮次100早停于第 93 轮patience25 触发早停批大小16适配 12 GB 显存优化器AdamW自适应权重衰减优化初始学习率0.001余弦退火衰减终止学习率lr0 × 0.01衰减至 0.00001权重衰减0.0005L2 正则化抑制过拟合预热轮次3稳定初期梯度训练设备NVIDIA RTX 3060 12GCUDA 加速数据加载线程4DataLoader workers训练指标与可视化最终评估指标测试集指标数值含义mAP500.8649IoU 阈值 0.5 下的平均精度均值mAP50-950.7177IoU 从 0.5~0.95 步长 0.05 的综合均值Precision0.8316预测为正类中真正正类的比例Recall0.8105实际正类中被正确预测的比例损失曲线说明训练过程中记录三类损失均保存于train_result/fer_yolov8s/results.csv损失类型含义正常趋势Box Loss预测框与标注框的位置偏差CIoU Loss持续下降并趋于平稳Cls Loss表情分类交叉熵损失快速下降后趋于平稳DFL Loss分布式焦点损失优化边界框回归精度缓慢下降验证集损失val/box_loss、val/cls_loss与训练损失同步下降且差距不大说明模型未出现明显过拟合。指标曲线说明曲线含义Precision 曲线随训练轮次提升代表误检率下降Recall 曲线随训练轮次提升代表漏检率下降mAP50 曲线综合精度指标早期快速爬升后趋于收敛mAP50-95 曲线更严格的定位精度指标收敛更慢但更能体现模型质量项目截图系统功能系统基于PyQt6构建可视化交互界面采用浅色主题顶部导航栏设计包含六大功能模块图片识别支持 JPG / PNG / BMP / WebP 格式一键加载图片YOLOv8 推理检测人脸区域并输出表情类别带标注的结果图实时展示彩色检测框 中文标签统计摘要检测人脸总数、表情种类、平均置信度、最高置信度表情分布可视化Matplotlib 横向条形图支持导出标注图片、导出 CSV 检测明细视频识别支持 MP4 / AVI / MOV / MKV 等主流视频格式可设定每隔 N 帧检测一次兼顾速度与密度实时播放标注画面 帧进度条当前帧与累计检测统计同步展示摄像头实时检测支持多摄像头设备切换设备号 0~10实时推流 表情检测可随时开启/暂停检测截图保存功能保存至train_result/screenshots/本次会话累计统计一键存入历史记录检测历史自动记录每次图片、视频、摄像头检测结果支持按类型筛选图片 / 视频 / 摄像头及关键词搜索点击记录查看详细检测信息支持历史数据导出为 CSV模型管理默认加载train_result/fer_yolov8s/weights/best.pt支持浏览加载任意 YOLOv8 权重文件可动态调节置信度阈值conf与 IoU 阈值实时生效展示模型基本信息、文件大小及全部类别说明训练指标展示自动扫描train_result/下所有实验目录绘制训练/验证损失曲线、mAP 曲线、Precision/Recall 曲线展示最终轮次四项核心指标的汇总柱状图技术栈层次技术用途深度学习框架PyTorch模型训练底层计算目标检测Ultralytics YOLOv8人脸定位 表情分类图形界面PyQt6桌面 GUI 框架样式系统QSSQt Style Sheets浅色主题图表绘制Matplotlib训练曲线、分布图图像处理OpenCV视频读写、帧处理中文标注Pillow检测框中文标签渲染数据处理NumPy矩阵运算与图像转换历史存储JSON轻量级本地检测历史编程语言Python 3.9—项目结构c166/ │ ├── app.py # 系统启动入口 ├── train.py # 模型训练入口 │ ├── fer-dataset-yolo/ # 数据集 │ ├── loopy.yaml # 数据集配置 │ ├── train/ # 训练集图片 标注 │ └── test/ # 测试集图片 标注 │ ├── config/ │ └── train_config.py # 训练超参数配置 │ ├── core/ # 核心逻辑层 │ ├── detector.py # YOLOv8 推理封装 标注绘制 │ ├── workers.py # QThread 后台检测线程 │ └── trainer.py # 训练器封装 │ ├── ui/ # 界面层 │ ├── main_window.py # 主窗口顶部导航 页面堆栈 │ ├── utils/ │ │ ├── styles.py # 全局 QSS 样式表 │ │ ├── history.py # 检测历史读写管理 │ │ └── image_utils.py # 图像格式转换工具 │ └── pages/ │ ├── image_page.py # 图片识别页 │ ├── video_page.py # 视频识别页 │ ├── camera_page.py # 摄像头实时检测页 │ ├── history_page.py # 检测历史页 │ ├── model_page.py # 模型管理页 │ └── metrics_page.py # 训练指标展示页 │ └── train_result/ # 训练产物自动生成 └── fer_yolov8s/ ├── weights/ │ ├── best.pt # 最优模型权重 │ └── last.pt # 最终轮次权重 ├── results.csv # 逐轮训练指标 ├── confusion_matrix.png # 混淆矩阵 └── ... # PR 曲线、F1 曲线等快速开始环境安装pipinstall-rrequirements.txt启动训练python train.py训练完成后权重自动保存至train_result/fer_yolov8s/weights/best.pt。启动系统python app.py系统会自动加载默认最优权重若权重不存在可在【模型管理】页手动选择。开发信息作者Jay定制联系vxJay8059开发年份2026本项目支持二次开发和定制扩展可根据实际需求调整功能模块、页面样式、模型参数、数据库字段和部署方式。如需定制开发或远程部署可通过微信 Jay8059 联系。