多模态可穿戴传感器融合检测身体聚焦重复行为Body-Focused Repetitive Behaviors简称 BFRB是我最近完整跑过一遍的项目方向。它要解决的问题很直接戴着 IMU、肌电、心电这类贴身传感器让深度学习模型自动识别拔头发、抓皮肤、咬指甲、咬嘴唇这些无意识重复动作。这个方向最有价值的地方不是模型能刷多高准确率而是能不能把一条从数据采集、标注、训练、评估到边缘端实时推理的链路完整落地。适合正在做健康监测、行为识别、边缘 AI 的学生和工程师阅读。我的整体判断是这类项目真正的难点不在调参而在多模态数据同步、标注一致性和跨用户泛化。下面按实操顺序拆开讲。1. 先想清楚BFRB 检测要识别什么才算真正可用1.1 BFRB 行为的定义和重复性特征BFRB 是 Body-Focused Repetitive Behaviors 的缩写包含拔毛、抠皮肤、咬指甲、咬唇颊等。工程上不需要做医学诊断只需要把“行为动作”准确识别出来。但这类动作有两个特点直接决定后面所有技术选型。第一动作时间短。一次咬指甲从手抬起到放下往往只有 1 到 3 秒。如果滑窗太长行为片段会和前后的普通动作混在一起模型很难学到清晰的边界。第二发生频率稀疏。连续记录 8 小时真正的行为窗口可能只占几分钟不到总量的 5%。这会带来严重的类别不平衡也是后面评估指标要单独设计的原因。如果不先意识到这两点后面很容易陷入“准确率很高但完全不可用”的假象。1.2 把任务拆成三个层次我在做这个项目时会把目标拆成三个层次分别对应不同实现成本。第一层是窗口级分类。把传感器数据切成固定长度的窗口每个窗口输出“是否发生 BFRB 行为”。这是模型训练的最小单元也是后面所有功能的基础。第二层是事件级检测。把相邻的阳性窗口合并成一个行为事件输出开始时间、持续时长、结束时间。这一层才是健康监测真正需要的统计口径因为医生或用户想知道的是“今天发生了几次”而不是“哪个窗口概率高”。第三层是实时触发。行为开始后 1 到 2 秒内输出提醒信号用于振动反馈或 app 提示。这一层最复杂因为要同时兼顾延迟、误报和功耗。建议新手先做第一层跑通后再加事件合并和实时触发。1.3 为什么必须用多模态而不是只看一个传感器单只手腕加速度计确实可以识别“手在动”但无法区分咬指甲、摸头发、调整耳机、揉眼睛这些动作。它们都会让手腕产生一定的旋转和加速波形形态也很接近。加入前臂肌电后模型能捕捉手指和腕部的主动肌肉激活模式。抓握、揉搓、轻敲的肌电包络差异比较大。再加入 PPG 或 EDA可以知道当前用户是紧张还是放松给行为提供一个上下文信号。多模态融合的本质是减少单一传感器的歧义。它不是把识别变成“更强的手势识别”而是用多个维度的物理信号去逼近“无意识重复动作”这个真正需要检测的事件。2. 传感器选型与数据采集别让采样率从一开始就埋坑2.1 一套可复制的传感器组合下面这个组合是我在类似可穿戴识别项目里常用的起点不一定是最优但足够验证完整链路。传感器推荐佩戴位置主要作用常见采样率起点IMU加速度计 陀螺仪手腕识别手部运动节奏、动作幅度50–100 HzEMG肌电前臂捕捉抓握、揉搓等肌肉激活模式500 Hz 起PPG / 心率手腕或指尖提供自主神经反应背景10–50 Hz 多模态可穿戴传感器融合检测身体聚焦重复行为
多模态可穿戴传感器融合检测身体聚焦重复行为Body-Focused Repetitive Behaviors简称 BFRB是我最近完整跑过一遍的项目方向。它要解决的问题很直接戴着 IMU、肌电、心电这类贴身传感器让深度学习模型自动识别拔头发、抓皮肤、咬指甲、咬嘴唇这些无意识重复动作。这个方向最有价值的地方不是模型能刷多高准确率而是能不能把一条从数据采集、标注、训练、评估到边缘端实时推理的链路完整落地。适合正在做健康监测、行为识别、边缘 AI 的学生和工程师阅读。我的整体判断是这类项目真正的难点不在调参而在多模态数据同步、标注一致性和跨用户泛化。下面按实操顺序拆开讲。1. 先想清楚BFRB 检测要识别什么才算真正可用1.1 BFRB 行为的定义和重复性特征BFRB 是 Body-Focused Repetitive Behaviors 的缩写包含拔毛、抠皮肤、咬指甲、咬唇颊等。工程上不需要做医学诊断只需要把“行为动作”准确识别出来。但这类动作有两个特点直接决定后面所有技术选型。第一动作时间短。一次咬指甲从手抬起到放下往往只有 1 到 3 秒。如果滑窗太长行为片段会和前后的普通动作混在一起模型很难学到清晰的边界。第二发生频率稀疏。连续记录 8 小时真正的行为窗口可能只占几分钟不到总量的 5%。这会带来严重的类别不平衡也是后面评估指标要单独设计的原因。如果不先意识到这两点后面很容易陷入“准确率很高但完全不可用”的假象。1.2 把任务拆成三个层次我在做这个项目时会把目标拆成三个层次分别对应不同实现成本。第一层是窗口级分类。把传感器数据切成固定长度的窗口每个窗口输出“是否发生 BFRB 行为”。这是模型训练的最小单元也是后面所有功能的基础。第二层是事件级检测。把相邻的阳性窗口合并成一个行为事件输出开始时间、持续时长、结束时间。这一层才是健康监测真正需要的统计口径因为医生或用户想知道的是“今天发生了几次”而不是“哪个窗口概率高”。第三层是实时触发。行为开始后 1 到 2 秒内输出提醒信号用于振动反馈或 app 提示。这一层最复杂因为要同时兼顾延迟、误报和功耗。建议新手先做第一层跑通后再加事件合并和实时触发。1.3 为什么必须用多模态而不是只看一个传感器单只手腕加速度计确实可以识别“手在动”但无法区分咬指甲、摸头发、调整耳机、揉眼睛这些动作。它们都会让手腕产生一定的旋转和加速波形形态也很接近。加入前臂肌电后模型能捕捉手指和腕部的主动肌肉激活模式。抓握、揉搓、轻敲的肌电包络差异比较大。再加入 PPG 或 EDA可以知道当前用户是紧张还是放松给行为提供一个上下文信号。多模态融合的本质是减少单一传感器的歧义。它不是把识别变成“更强的手势识别”而是用多个维度的物理信号去逼近“无意识重复动作”这个真正需要检测的事件。2. 传感器选型与数据采集别让采样率从一开始就埋坑2.1 一套可复制的传感器组合下面这个组合是我在类似可穿戴识别项目里常用的起点不一定是最优但足够验证完整链路。传感器推荐佩戴位置主要作用常见采样率起点IMU加速度计 陀螺仪手腕识别手部运动节奏、动作幅度50–100 HzEMG肌电前臂捕捉抓握、揉搓等肌肉激活模式500 Hz 起PPG / 心率手腕或指尖提供自主神经反应背景10–50 Hz