简介在计算机视觉领域目标检测与图像分类是两大核心任务。传统的人脸表情识别通常依赖分类网络但真实场景中往往存在多张人脸、姿态多变等问题导致检测与分类割裂、流程冗长。YOLOv11作为新一代单阶段目标检测模型将人脸定位与表情分类统一到一条推理链路中显著降低了工程复杂度。其C3k2模块与注意力机制的引入在保证速度的同时提升了细微特征的提取能力为表情识别提供了更高效的技术方案。本文从环境配置出发介绍基于Anaconda搭建YOLOv11训练环境、将公开表情数据集转换为YOLO格式、训练参数调优以及推理结果保存的完整流程并结合实际踩坑经验给出模型改进方向。无论你是入门深度学习还是已有目标检测基础这套基于YOLOv11的人脸表情识别系统都能为你提供可复现的工程参考。 去年我从某个项目分享群里拖下来一个压缩包名字很直白——基于YOLOv11的人脸表情识别系统.zip。解压之后发现里面不是什么花哨的演示demo而是一套从标注数据、写训练脚本到推理保存结果的完整工程。人脸表情识别Facial Expression Recognition, FER这个任务过去几年基本被ResNet、Vision Transformer这类分类模型承包了但用YOLOv11来做检测式表情识别的人正在变多真实场景里画面中往往不止一张脸纯分类模型只能处理裁好的单张人脸而检测加分类一条链路跑下来从整图到结果一步到位。这篇文章会把系统的搭建过程拆开讲从Anaconda里的YOLOv11环境配置、表情数据集的YOLO格式改造到训练参数和推理结果的保存方式最后聊聊我实测中遇到的坑和模型改进方向给正在用YOLOv11做类似项目的朋友一个可复盘的参考。1. 这套压缩包里到底装了什么把表情识别当成检测任务来做1.1 一个zip拆出三层核心拿到这套系统时我先做了一件事看目录结构。一个正经的YOLOv11表情识别工程通常由三层组成数据层原始表情图片、标注文件txt格式的YOLO标签、数据划分脚本训练层YOLOv11模型文件yolo11n.pt、yolo11s.pt等、数据配置文件data.yaml、训练入口脚本推理层predict脚本、结果输出目录、可视化脚本。很多初学者会把目光全放在训练上上来就敲yolo train结果数据集没准备好训练出来的模型自然没法看。这套系统的设计顺序是先把数据格式理顺再配置环境最后才谈训练和推理。这个顺序本身就是最大的经验。1.2 为什么是YOLOv11而不是传统分类网络人脸表情识别如果只做单张人脸的七分类确实不需要YOLO。但真实业务里摄像头画面中经常同时出现多个人或者一张图里既有正脸也有侧脸。如果用分类网络你得先套一个人脸检测器比如MTCNN、RetinaFace把脸框出来再逐张送进分类模型流程长、链路耦合高还容易累积误差。YOLOv11这种单阶段检测器直接输出检测框和类别一次推理就同时完成“人脸在哪”和“表情是什么”两个任务工程复杂度一下子降下来了。另一个原因是YOLOv11本身在精度和速度的平衡上做得不错。Ultralytics在2024年9月发布的YOLOv11在检测头、特征融合和C3k2模块上做了不少优化对小目标、遮挡场景的鲁棒性比前代更好。表情识别常见的问题是面部区域占比小、表情差异细微YOLOv11在这些方面并不吃亏。如果你的需求是做一个能够实时处理视频流的系统YOLOv11在速度和精度上的综合表现确实比“检测器 分类器”的两段式方案更省心。2. Anaconda里配置YOLOv11环境指令、验证与版本玄学2.1 从创建虚拟环境到装完YOLOv11YOLOv11官方推荐的安装方式是使用Ultralytics的Python包在Anaconda里走的流程其实很固定。我习惯用Python 3.10建一个独立的虚拟环境避免和别的项目打架conda create -n yolov11 python3.10 -y conda activate yolov11接下来是安装PyTorch。这一步之前先确认自己的显卡驱动支持哪个CUDA版本。用nvidia-smi能看到驱动支持的最高CUDA版本但PyTorch的安装版本一般跟着cu118、cu121、cu124这类的预编译包走不用把完整的CUDA Toolkit装到conda环境里。我的实测环境是RTX 3060安装命令如下# GPU版本以CUDA 11.8为例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 装ultralytics即YOLOv11的官方支持包 pip install ultralytics如果机器没有独立显卡直接把torch那行换成CPU版本就行pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu2.2 怎么确认安装真的成功了很多人装完包就急着训练结果在导入时报错然后开始怀疑人生。我自己的习惯是先跑一个最小验证python -c import ultralytics; print(ultralytics.__version__) python -c import torch; print(torch.__version__, torch.cuda.is_available())如果torch.cuda.is_available()返回的是False说明PyTorch装成了CPU版或者CUDA不匹配这时候先别急着往下走回头检查驱动。另外再跑一个最简推理确认YOLOv11的权重文件能下载、推理管线能通yolo predict modelyolo11n.pt sourcehttps://ultralytics.com/images/bus.jpg看到bus.jpg的检测结果输出环境就算正式通了。很多教程忽略这一步导致后面训练到一半才暴露环境问题浪费时间。我见过不少人在这一步卡住原因五花八门但九成出在PyTorch的CUDA版本和显卡驱动不匹配上多花两分钟验证能省半小时的排错时间。2.3 CUDA、PyTorch和YOLOv11的版本匹配这一块是新手最容易踩坑的地方我单独拿出来说。YOLOv11对PyTorch版本的要求不算苛刻但有几个点要注意组件建议版本说明Python3.9-3.113.10最稳3.12部分依赖编译有问题PyTorch1.8.0建议2.0训练速度差距明显CUDA11.8 / 12.1取决于PyTorch预编译包Ultralytics8.3.0YOLOv11需要较新的ultralytics版本注意YOLOv11的模型文件名是yolo11n.pt不是yolov11n.pt。如果你发现权重文件名对不上多半是把YOLOv11和YOLOv8的命名习惯搞混了。3. 表情数据集的获取与YOLO格式改造3.1 公开数据集怎么选做表情识别数据是第一步。目前社区常用的公开数据集有三个FER201348x48灰度图7种基本表情愤怒、厌恶、恐惧、开心、悲伤、惊讶、中性总量约35000张优点是下载容易、类别标准缺点是分辨率太低直接训练YOLO效果一般RAF-DB约30000张真实场景人脸7类基本表情加12类复合表情分辨率比FER2013高一个档次AffectNet约45万张含8类表情和强度标注是目前规模最大的表情数据集但标注噪声也大。如果只是复现这套系统我建议先从FER2013的原始图片或者用RAF-DB的7类版本入手。原因很简单类别定义清晰、公开标注多、社区里现成的转换脚本也多。等这套流程跑通了再换AffectNet提升上限。3.2 把分类格式转成YOLO标注格式YOLO的标注格式是class_id center_x center_y width height坐标都归一化到0-1。表情识别数据集基本都是整张图配一个表情标签没有现成的检测框。所以转换的核心思路是先用一个人脸检测器MTCNN或OpenCV的Haar级联都行从原图里把人脸区域裁出来把这个框坐标归一化再配上表情类别ID。我这里给一个参考脚本的骨架import cv2 import numpy as np import glob # 假设你已经把图片按表情类别分好目录 # dataset/train/happy/xxx.jpg, dataset/train/sad/xxx.jpg ... classes [angry, disgust, fear, happy, sad, surprise, neutral] # 用OpenCV Haar级联做人脸框检测 face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) def convert_to_yolo(img_path, label_id, out_txt_path): img cv2.imread(img_path) h, w img.shape[:2] gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.1, 5) if len(faces) 0: return False # 检测不到人脸就跳过 x, y, fw, fh faces[0] cx (x fw / 2) / w cy (y fh / 2) / h nw fw / w nh fh / h with open(out_txt_path, w) as f: f.write(f{label_id} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}\n) return True这里有个细节Haar级联对侧脸和大角度姿态的检出率一般如果你用的数据集里有很多非正脸建议换MTCNN或RetinaFace来出框。框的质量直接影响后面训练的定位精度别在这里省时间。3.3 类别不均衡和数据增强表情数据集的类别分布通常很不均匀中性、开心样本多厌恶、恐惧样本少。YOLO训练时如果类别不平衡模型会偏向头部类别。我用下来比较有效的手段是对少数类做图像增强水平翻转、小角度旋转、亮度对比度扰动、随机裁剪注意翻转不要改变表情语义在训练配置里给少数类设更高的类别权重YOLOv11可以通过class_weights参数传入用mosaic增强时确保少数类样本被充分混入。这些操作不用写单独的脚本Ultralytics在训练时会自动应用mosaic、hsv增强等策略你要做的主要是把数据分布调到相对健康的状态。另外如果某个类别的图片实在太少还有一个土办法直接复制几份虽然会造成数据重复但至少比让模型完全没见过这个类要强这也是我在第一次试验时用过的方法。4. 训练自己的模型YOLOv11网络结构、配置与超参4.1 YOLOv11网络结构的变化点先简单说一下YOLOv11的结构不然训练参数出了问题都不知道去哪查。YOLOv11整体还是Backbone Neck Head的经典结构但有几个值得注意的变化C3k2模块替代了YOLOv8的C2f用更少的参数拿到了更好的特征提取效果C2PSA引入注意力机制放在Backbone的深层强化全局特征的建模能力检测头仍然是无锚框anchor-free设计配合DFLDistribution Focal Loss做框的回归。用一句话概括YOLOv11在结构上更“抠”了同样的计算量下精度更高。这对表情识别这种大类别数不多、但特征差异极细的任务是有利的因为模型可以把更多容量用在区分细微的面部肌肉变化上而不是花在一堆背景特征的冗余计算上。4.2 data.yaml与模型配置训练自定义数据集第一步是把数据配置文件写对。以下是我在项目里使用的data.yaml示例# data.yaml path: D:/Projects/fer_yolov11/dataset train: images/train val: images/val test: images/test nc: 7 names: [angry, disgust, fear, happy, sad, surprise, neutral]这里path是数据集根目录train/val/test填相对路径即可。模型配置文件一般不用自己写直接用官方预训练权重对应的yaml。YOLOv11提供了n/s/m/l/x五个规格从yolo11n.pt到yolo11x.pt表情识别这类单目标检测任务用n或s作为起点就足够了太大的模型容易过拟合推理速度还慢。4.3 训练指令和关键超参训练命令是Ultralytics统一封装的非常简单yolo detect train datadata.yaml modelyolo11n.pt epochs100 imgsz640 batch16 device0但简单不等于随便有几个超参在这个任务里影响很大imgsz表情区域一般不大建议先用640训练如果人脸区域占比很小再考虑用768或更高但训练时间会显著上升batch取决于显存。RTX 3060 12G的卡yolo11n配batch16没问题如果爆显存就降到8epochsFER2013这种数据量100轮基本收敛早停参数patience建议设20lr0默认0.01如果数据集小可以降到0.005防止一开始就震荡optimizer默认是auto但小数据集上我建议显式指定SGD比Adam这类自适应优化器更容易收敛到更优解cache机器内存够的话设成True把图片预先加载进内存能省不少训练时间。训练过程要重点盯两个曲线Box Loss和Cls Loss。如果Cls Loss下降缓慢说明类别特征的区分度不够这时候要回去看数据质量而不是盲目加大epoch。另外训练中断也不要慌Ultralytics会在runs/detect/train/weights/下保存last.pt用resumeTrue就能接着上次的进度继续训练yolo detect train resumeTrue modelruns/detect/train/weights/last.pt5. 推理并保存结果predict之后的成果落地5.1 推理脚本的调用逻辑训练完模型下一步就是把成果接到推理流程上。YOLOv11的推理方式有两种CLI和Python API。CLI适合快速验证Python API适合集成到自己的系统里。基础用法yolo detect predict modelruns/detect/train/weights/best.pt sourcetest_images/ saveTrue但工程里我基本都用Python API因为要对接后处理逻辑from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(sourcetest_images/, conf0.5, saveTrue) for r in results: print(r.boxes.cls, r.boxes.conf, r.boxes.xyxy)conf参数是置信度阈值表情识别这种类别间差异很小的任务建议阈值别设太高0.3到0.5之间比较合适。iou参数控制NMS的IoU阈值默认0.7如果画面里人脸有遮挡可以适当调低到0.5减少重叠框的误保留。5.2 保存预测结果的三种方式“保存推理结果”是社区里问得最多的问题因为.predict()默认只返回一个Results对象列表不显式设置的话检测结果不会落到磁盘。“保存”这件事实际有三种常见手段方式参数/API适用场景保存标注后的图片saveTrue可视化验证直观但量大保存标签txtsave_txtTrue后续做数据分析、串流程保存到结构化对象results[0].boxes.data接数据库、做接口返回如果你想一张图同时保存带框图片和标签文件可以这样results model.predict(sourcetest_images/, conf0.5, saveTrue, save_txtTrue, save_confTrue, projectoutput, nameexp)这样会在output/exp/labels/下生成每张图对应的txt里面每一行是class_id x1 y1 x2 y2 confidence坐标是原始像素值不是归一化的直接用即可。5.3 批量图片和视频流推理人脸表情识别系统不少场景是接摄像头或者视频。source参数可以直接传视频路径或摄像头ID# 视频文件推理 results model.predict(sourcedemo.mp4, saveTrue, vid_stride1) # 摄像头实时推理0表示第一个摄像头 results model.predict(source0, showTrue, conf0.5)需要注意实时推理时showTrue会弹窗显示但不会自动保存。如果你既要实时显示又要留存结果建议用saveTrue配合project参数指定输出目录或者自己在循环里用cv2.VideoWriter逐帧写入这样还能在写帧前叠加自定义信息。我实际做系统时更推荐后者因为可以顺带加上帧率、人数统计这类业务数据而Ultralytics自带的保存逻辑只能展示检测框和标签。6. 效果不达标时的排查路线与模型改进思路6.1 训练效果差先查这六件事我复现这套系统时第一次训练的结果只能用“惨不忍睹”来形容——mAP50只有0.4左右困惑了半天。后来一条条排查发现是数据集里的标注框有很多偏了因为Haar级联对部分倾斜人脸出的框不准。如果你也遇到效果差我的建议是按顺序排查标注文件是否正确。随机抽100张图用results model.predict(sourcetrain_images/, saveTrue)看一眼框和标签的匹配度类别ID是否从0开始。YOLO的类别索引严格要求从0开始如果你把愤怒标成7训练会直接错乱数据集划分是否干净。train和val之间不能有重复图片否则验证集的意义就没了学习率是否合适。小数据集配上默认学习率容易过拟合图像质量。FER2013那种48x48的低分辨率图直接拉伸到640表情纹理基本糊了能用原始分辨率高的数据集就尽量用人脸框质量。框太大把背景包进去模型会学到背景特征框太小把表情特征切没了。6.2 YOLOv11的常见改进方向基础流程跑通后想进一步提升精度我试过几条路线都有一定效果用更好的预训练权重从yolo11n.pt换成yolo11s.pt或yolo11m.pt在数据量够的前提下mAP通常能提升2-4个点融合注意力机制在Neck部分加入SE或者CBAM模块让模型更关注面部关键区域但会增加一点推理延迟做模型蒸馏用yolo11x当老师蒸馏到yolo11n精度提升比直接换大模型更划算使用WBF加权框融合推理时同时跑n和s两个模型把框做融合精度有提升但速度会打折。这些改进不是无脑叠加得根据你自己的硬件条件和实时性要求来选。如果你只是做实验先把基础流程跑通、保存结果、可视化确认再谈改进。6.3 实测后的个人体会这个项目整体走下来我最想提醒后来人的一句话是别把时间花在魔改模型上先保证数据和人脸框的质量。YOLOv11本身已经够强了表情识别这类任务90%的效果瓶颈在数据不在模型结构。我在把人脸框从Haar换成RetinaFace之后mAP50直接涨了7个点这就是数据端带来的收益比你换任何网络结构都来得实在。另外训练过程中的日志和可视化一定要保留不然出了问题根本无从下手。最后再分享一个我自己一直在用的小技巧跑完一个阶段就把results对象里的关键字段存成一个pkl或者csv方便后面对比不同版本的模型效果。表情识别这种主观性很强的任务光看mAP数字是不够的多留一些推理可视化结果让真人在实际场景里看一眼往往比盯着指标更容易发现问题。本文还有配套的精品资源点击获取 基于YOLOv11的人脸表情识别系统搭建与实战
简介在计算机视觉领域目标检测与图像分类是两大核心任务。传统的人脸表情识别通常依赖分类网络但真实场景中往往存在多张人脸、姿态多变等问题导致检测与分类割裂、流程冗长。YOLOv11作为新一代单阶段目标检测模型将人脸定位与表情分类统一到一条推理链路中显著降低了工程复杂度。其C3k2模块与注意力机制的引入在保证速度的同时提升了细微特征的提取能力为表情识别提供了更高效的技术方案。本文从环境配置出发介绍基于Anaconda搭建YOLOv11训练环境、将公开表情数据集转换为YOLO格式、训练参数调优以及推理结果保存的完整流程并结合实际踩坑经验给出模型改进方向。无论你是入门深度学习还是已有目标检测基础这套基于YOLOv11的人脸表情识别系统都能为你提供可复现的工程参考。 去年我从某个项目分享群里拖下来一个压缩包名字很直白——基于YOLOv11的人脸表情识别系统.zip。解压之后发现里面不是什么花哨的演示demo而是一套从标注数据、写训练脚本到推理保存结果的完整工程。人脸表情识别Facial Expression Recognition, FER这个任务过去几年基本被ResNet、Vision Transformer这类分类模型承包了但用YOLOv11来做检测式表情识别的人正在变多真实场景里画面中往往不止一张脸纯分类模型只能处理裁好的单张人脸而检测加分类一条链路跑下来从整图到结果一步到位。这篇文章会把系统的搭建过程拆开讲从Anaconda里的YOLOv11环境配置、表情数据集的YOLO格式改造到训练参数和推理结果的保存方式最后聊聊我实测中遇到的坑和模型改进方向给正在用YOLOv11做类似项目的朋友一个可复盘的参考。1. 这套压缩包里到底装了什么把表情识别当成检测任务来做1.1 一个zip拆出三层核心拿到这套系统时我先做了一件事看目录结构。一个正经的YOLOv11表情识别工程通常由三层组成数据层原始表情图片、标注文件txt格式的YOLO标签、数据划分脚本训练层YOLOv11模型文件yolo11n.pt、yolo11s.pt等、数据配置文件data.yaml、训练入口脚本推理层predict脚本、结果输出目录、可视化脚本。很多初学者会把目光全放在训练上上来就敲yolo train结果数据集没准备好训练出来的模型自然没法看。这套系统的设计顺序是先把数据格式理顺再配置环境最后才谈训练和推理。这个顺序本身就是最大的经验。1.2 为什么是YOLOv11而不是传统分类网络人脸表情识别如果只做单张人脸的七分类确实不需要YOLO。但真实业务里摄像头画面中经常同时出现多个人或者一张图里既有正脸也有侧脸。如果用分类网络你得先套一个人脸检测器比如MTCNN、RetinaFace把脸框出来再逐张送进分类模型流程长、链路耦合高还容易累积误差。YOLOv11这种单阶段检测器直接输出检测框和类别一次推理就同时完成“人脸在哪”和“表情是什么”两个任务工程复杂度一下子降下来了。另一个原因是YOLOv11本身在精度和速度的平衡上做得不错。Ultralytics在2024年9月发布的YOLOv11在检测头、特征融合和C3k2模块上做了不少优化对小目标、遮挡场景的鲁棒性比前代更好。表情识别常见的问题是面部区域占比小、表情差异细微YOLOv11在这些方面并不吃亏。如果你的需求是做一个能够实时处理视频流的系统YOLOv11在速度和精度上的综合表现确实比“检测器 分类器”的两段式方案更省心。2. Anaconda里配置YOLOv11环境指令、验证与版本玄学2.1 从创建虚拟环境到装完YOLOv11YOLOv11官方推荐的安装方式是使用Ultralytics的Python包在Anaconda里走的流程其实很固定。我习惯用Python 3.10建一个独立的虚拟环境避免和别的项目打架conda create -n yolov11 python3.10 -y conda activate yolov11接下来是安装PyTorch。这一步之前先确认自己的显卡驱动支持哪个CUDA版本。用nvidia-smi能看到驱动支持的最高CUDA版本但PyTorch的安装版本一般跟着cu118、cu121、cu124这类的预编译包走不用把完整的CUDA Toolkit装到conda环境里。我的实测环境是RTX 3060安装命令如下# GPU版本以CUDA 11.8为例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 装ultralytics即YOLOv11的官方支持包 pip install ultralytics如果机器没有独立显卡直接把torch那行换成CPU版本就行pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu2.2 怎么确认安装真的成功了很多人装完包就急着训练结果在导入时报错然后开始怀疑人生。我自己的习惯是先跑一个最小验证python -c import ultralytics; print(ultralytics.__version__) python -c import torch; print(torch.__version__, torch.cuda.is_available())如果torch.cuda.is_available()返回的是False说明PyTorch装成了CPU版或者CUDA不匹配这时候先别急着往下走回头检查驱动。另外再跑一个最简推理确认YOLOv11的权重文件能下载、推理管线能通yolo predict modelyolo11n.pt sourcehttps://ultralytics.com/images/bus.jpg看到bus.jpg的检测结果输出环境就算正式通了。很多教程忽略这一步导致后面训练到一半才暴露环境问题浪费时间。我见过不少人在这一步卡住原因五花八门但九成出在PyTorch的CUDA版本和显卡驱动不匹配上多花两分钟验证能省半小时的排错时间。2.3 CUDA、PyTorch和YOLOv11的版本匹配这一块是新手最容易踩坑的地方我单独拿出来说。YOLOv11对PyTorch版本的要求不算苛刻但有几个点要注意组件建议版本说明Python3.9-3.113.10最稳3.12部分依赖编译有问题PyTorch1.8.0建议2.0训练速度差距明显CUDA11.8 / 12.1取决于PyTorch预编译包Ultralytics8.3.0YOLOv11需要较新的ultralytics版本注意YOLOv11的模型文件名是yolo11n.pt不是yolov11n.pt。如果你发现权重文件名对不上多半是把YOLOv11和YOLOv8的命名习惯搞混了。3. 表情数据集的获取与YOLO格式改造3.1 公开数据集怎么选做表情识别数据是第一步。目前社区常用的公开数据集有三个FER201348x48灰度图7种基本表情愤怒、厌恶、恐惧、开心、悲伤、惊讶、中性总量约35000张优点是下载容易、类别标准缺点是分辨率太低直接训练YOLO效果一般RAF-DB约30000张真实场景人脸7类基本表情加12类复合表情分辨率比FER2013高一个档次AffectNet约45万张含8类表情和强度标注是目前规模最大的表情数据集但标注噪声也大。如果只是复现这套系统我建议先从FER2013的原始图片或者用RAF-DB的7类版本入手。原因很简单类别定义清晰、公开标注多、社区里现成的转换脚本也多。等这套流程跑通了再换AffectNet提升上限。3.2 把分类格式转成YOLO标注格式YOLO的标注格式是class_id center_x center_y width height坐标都归一化到0-1。表情识别数据集基本都是整张图配一个表情标签没有现成的检测框。所以转换的核心思路是先用一个人脸检测器MTCNN或OpenCV的Haar级联都行从原图里把人脸区域裁出来把这个框坐标归一化再配上表情类别ID。我这里给一个参考脚本的骨架import cv2 import numpy as np import glob # 假设你已经把图片按表情类别分好目录 # dataset/train/happy/xxx.jpg, dataset/train/sad/xxx.jpg ... classes [angry, disgust, fear, happy, sad, surprise, neutral] # 用OpenCV Haar级联做人脸框检测 face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) def convert_to_yolo(img_path, label_id, out_txt_path): img cv2.imread(img_path) h, w img.shape[:2] gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.1, 5) if len(faces) 0: return False # 检测不到人脸就跳过 x, y, fw, fh faces[0] cx (x fw / 2) / w cy (y fh / 2) / h nw fw / w nh fh / h with open(out_txt_path, w) as f: f.write(f{label_id} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}\n) return True这里有个细节Haar级联对侧脸和大角度姿态的检出率一般如果你用的数据集里有很多非正脸建议换MTCNN或RetinaFace来出框。框的质量直接影响后面训练的定位精度别在这里省时间。3.3 类别不均衡和数据增强表情数据集的类别分布通常很不均匀中性、开心样本多厌恶、恐惧样本少。YOLO训练时如果类别不平衡模型会偏向头部类别。我用下来比较有效的手段是对少数类做图像增强水平翻转、小角度旋转、亮度对比度扰动、随机裁剪注意翻转不要改变表情语义在训练配置里给少数类设更高的类别权重YOLOv11可以通过class_weights参数传入用mosaic增强时确保少数类样本被充分混入。这些操作不用写单独的脚本Ultralytics在训练时会自动应用mosaic、hsv增强等策略你要做的主要是把数据分布调到相对健康的状态。另外如果某个类别的图片实在太少还有一个土办法直接复制几份虽然会造成数据重复但至少比让模型完全没见过这个类要强这也是我在第一次试验时用过的方法。4. 训练自己的模型YOLOv11网络结构、配置与超参4.1 YOLOv11网络结构的变化点先简单说一下YOLOv11的结构不然训练参数出了问题都不知道去哪查。YOLOv11整体还是Backbone Neck Head的经典结构但有几个值得注意的变化C3k2模块替代了YOLOv8的C2f用更少的参数拿到了更好的特征提取效果C2PSA引入注意力机制放在Backbone的深层强化全局特征的建模能力检测头仍然是无锚框anchor-free设计配合DFLDistribution Focal Loss做框的回归。用一句话概括YOLOv11在结构上更“抠”了同样的计算量下精度更高。这对表情识别这种大类别数不多、但特征差异极细的任务是有利的因为模型可以把更多容量用在区分细微的面部肌肉变化上而不是花在一堆背景特征的冗余计算上。4.2 data.yaml与模型配置训练自定义数据集第一步是把数据配置文件写对。以下是我在项目里使用的data.yaml示例# data.yaml path: D:/Projects/fer_yolov11/dataset train: images/train val: images/val test: images/test nc: 7 names: [angry, disgust, fear, happy, sad, surprise, neutral]这里path是数据集根目录train/val/test填相对路径即可。模型配置文件一般不用自己写直接用官方预训练权重对应的yaml。YOLOv11提供了n/s/m/l/x五个规格从yolo11n.pt到yolo11x.pt表情识别这类单目标检测任务用n或s作为起点就足够了太大的模型容易过拟合推理速度还慢。4.3 训练指令和关键超参训练命令是Ultralytics统一封装的非常简单yolo detect train datadata.yaml modelyolo11n.pt epochs100 imgsz640 batch16 device0但简单不等于随便有几个超参在这个任务里影响很大imgsz表情区域一般不大建议先用640训练如果人脸区域占比很小再考虑用768或更高但训练时间会显著上升batch取决于显存。RTX 3060 12G的卡yolo11n配batch16没问题如果爆显存就降到8epochsFER2013这种数据量100轮基本收敛早停参数patience建议设20lr0默认0.01如果数据集小可以降到0.005防止一开始就震荡optimizer默认是auto但小数据集上我建议显式指定SGD比Adam这类自适应优化器更容易收敛到更优解cache机器内存够的话设成True把图片预先加载进内存能省不少训练时间。训练过程要重点盯两个曲线Box Loss和Cls Loss。如果Cls Loss下降缓慢说明类别特征的区分度不够这时候要回去看数据质量而不是盲目加大epoch。另外训练中断也不要慌Ultralytics会在runs/detect/train/weights/下保存last.pt用resumeTrue就能接着上次的进度继续训练yolo detect train resumeTrue modelruns/detect/train/weights/last.pt5. 推理并保存结果predict之后的成果落地5.1 推理脚本的调用逻辑训练完模型下一步就是把成果接到推理流程上。YOLOv11的推理方式有两种CLI和Python API。CLI适合快速验证Python API适合集成到自己的系统里。基础用法yolo detect predict modelruns/detect/train/weights/best.pt sourcetest_images/ saveTrue但工程里我基本都用Python API因为要对接后处理逻辑from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(sourcetest_images/, conf0.5, saveTrue) for r in results: print(r.boxes.cls, r.boxes.conf, r.boxes.xyxy)conf参数是置信度阈值表情识别这种类别间差异很小的任务建议阈值别设太高0.3到0.5之间比较合适。iou参数控制NMS的IoU阈值默认0.7如果画面里人脸有遮挡可以适当调低到0.5减少重叠框的误保留。5.2 保存预测结果的三种方式“保存推理结果”是社区里问得最多的问题因为.predict()默认只返回一个Results对象列表不显式设置的话检测结果不会落到磁盘。“保存”这件事实际有三种常见手段方式参数/API适用场景保存标注后的图片saveTrue可视化验证直观但量大保存标签txtsave_txtTrue后续做数据分析、串流程保存到结构化对象results[0].boxes.data接数据库、做接口返回如果你想一张图同时保存带框图片和标签文件可以这样results model.predict(sourcetest_images/, conf0.5, saveTrue, save_txtTrue, save_confTrue, projectoutput, nameexp)这样会在output/exp/labels/下生成每张图对应的txt里面每一行是class_id x1 y1 x2 y2 confidence坐标是原始像素值不是归一化的直接用即可。5.3 批量图片和视频流推理人脸表情识别系统不少场景是接摄像头或者视频。source参数可以直接传视频路径或摄像头ID# 视频文件推理 results model.predict(sourcedemo.mp4, saveTrue, vid_stride1) # 摄像头实时推理0表示第一个摄像头 results model.predict(source0, showTrue, conf0.5)需要注意实时推理时showTrue会弹窗显示但不会自动保存。如果你既要实时显示又要留存结果建议用saveTrue配合project参数指定输出目录或者自己在循环里用cv2.VideoWriter逐帧写入这样还能在写帧前叠加自定义信息。我实际做系统时更推荐后者因为可以顺带加上帧率、人数统计这类业务数据而Ultralytics自带的保存逻辑只能展示检测框和标签。6. 效果不达标时的排查路线与模型改进思路6.1 训练效果差先查这六件事我复现这套系统时第一次训练的结果只能用“惨不忍睹”来形容——mAP50只有0.4左右困惑了半天。后来一条条排查发现是数据集里的标注框有很多偏了因为Haar级联对部分倾斜人脸出的框不准。如果你也遇到效果差我的建议是按顺序排查标注文件是否正确。随机抽100张图用results model.predict(sourcetrain_images/, saveTrue)看一眼框和标签的匹配度类别ID是否从0开始。YOLO的类别索引严格要求从0开始如果你把愤怒标成7训练会直接错乱数据集划分是否干净。train和val之间不能有重复图片否则验证集的意义就没了学习率是否合适。小数据集配上默认学习率容易过拟合图像质量。FER2013那种48x48的低分辨率图直接拉伸到640表情纹理基本糊了能用原始分辨率高的数据集就尽量用人脸框质量。框太大把背景包进去模型会学到背景特征框太小把表情特征切没了。6.2 YOLOv11的常见改进方向基础流程跑通后想进一步提升精度我试过几条路线都有一定效果用更好的预训练权重从yolo11n.pt换成yolo11s.pt或yolo11m.pt在数据量够的前提下mAP通常能提升2-4个点融合注意力机制在Neck部分加入SE或者CBAM模块让模型更关注面部关键区域但会增加一点推理延迟做模型蒸馏用yolo11x当老师蒸馏到yolo11n精度提升比直接换大模型更划算使用WBF加权框融合推理时同时跑n和s两个模型把框做融合精度有提升但速度会打折。这些改进不是无脑叠加得根据你自己的硬件条件和实时性要求来选。如果你只是做实验先把基础流程跑通、保存结果、可视化确认再谈改进。6.3 实测后的个人体会这个项目整体走下来我最想提醒后来人的一句话是别把时间花在魔改模型上先保证数据和人脸框的质量。YOLOv11本身已经够强了表情识别这类任务90%的效果瓶颈在数据不在模型结构。我在把人脸框从Haar换成RetinaFace之后mAP50直接涨了7个点这就是数据端带来的收益比你换任何网络结构都来得实在。另外训练过程中的日志和可视化一定要保留不然出了问题根本无从下手。最后再分享一个我自己一直在用的小技巧跑完一个阶段就把results对象里的关键字段存成一个pkl或者csv方便后面对比不同版本的模型效果。表情识别这种主观性很强的任务光看mAP数字是不够的多留一些推理可视化结果让真人在实际场景里看一眼往往比盯着指标更容易发现问题。本文还有配套的精品资源点击获取