WESAD 数据集 Python 预处理实战15名受试者 8通道信号重采样与标签对齐1. 数据集概览与工程挑战WESADWearable Stress and Affect Detection是目前情绪计算领域最具代表性的多模态生理信号数据集之一由德国乌尔姆大学团队于2018年发布。该数据集通过胸戴式RespiBAN和腕戴式Empatica E4设备同步采集了15名受试者在四种情绪状态基线、压力、娱乐、冥想下的8种生理信号总时长超过22小时。核心工程挑战采样率异构性胸戴设备700Hz ECG/EMG/EDA与腕戴设备4Hz EDA/64Hz BVP存在175倍采样率差异标签对齐复杂度实验阶段边界存储在CSV文件而信号标签以700Hz序列形式存在于pkl文件内存管理压力单个受试者原始数据解压后约1.1GB全数据集加载需16GB内存# 典型信号规格对比 signal_specs { chest: { ECG: 700, EDA: 700, EMG: 700, RESP: 700 }, wrist: { BVP: 64, EDA: 4, TEMP: 4 } }2. 预处理技术方案设计2.1 技术架构选择我们采用分层处理架构解决多速率信号整合问题物理层对齐利用官方提供的双击事件时间戳信号层处理基于SciPy的信号重采样标签层映射精确到采样点的时间戳转换内存优化生成器模式逐受试者处理关键提示官方pkl文件中的label数组已经与胸戴设备信号完成700Hz级别的对齐这是所有时间计算的基准点。2.2 重采样策略对比信号类型原始采样率目标采样率抗混叠滤波器截止频率插值方法ECG700Hz128Hz64Hz线性插值BVP64Hz128Hz32Hz三次样条EDA4Hz128Hz2Hz最近邻from scipy.signal import resample_poly def resample_ecg(original_signal): ECG信号700Hz→128Hz重采样 return resample_poly(original_signal, up32, down175, window(kaiser, 5.0))3. 完整预处理流程实现3.1 环境准备与依赖安装# 推荐使用conda创建虚拟环境 conda create -n wesad python3.8 conda activate wesad pip install numpy1.21.6 scipy1.7.3 pandas1.3.5 pyarrow7.0.03.2 核心处理代码import pickle import numpy as np from pathlib import Path from tqdm import tqdm def load_subject_data(subject_dir): 加载单个受试者数据并解析时间标签 pkl_path next(subject_dir.glob(*.pkl)) with open(pkl_path, rb) as f: data pickle.load(f, encodinglatin1) # 注意编码问题 # 解析实验阶段时间边界 quest_path next(subject_dir.glob(*_quest.csv)) phase_times parse_quest_times(quest_path) return { signals: data[signal], labels: data[label], phase_times: phase_times } def resample_signals(raw_signals, original_fs, target_fs128): 统一重采样到目标频率 ratio target_fs / original_fs n_samples int(len(raw_signals) * ratio) return scipy.signal.resample(raw_signals, n_samples) def generate_samples(subject_data, window_sec60, stride_sec10): 生成滑动窗口样本 fs 128 # 统一采样率 window_size window_sec * fs stride_size stride_sec * fs for phase in subject_data[phase_times]: start_idx int(phase[start] * 60 * fs) end_idx int(phase[end] * 60 * fs) for i in range(start_idx, end_idx - window_size 1, stride_size): window { ecg: subject_data[signals][chest][ECG][i:iwindow_size], bvp: subject_data[signals][wrist][BVP][i:iwindow_size], label: phase[label] } yield window4. 关键问题解决方案4.1 标签漂移校正由于实验协议时间记录存在约±2秒的启动延迟我们开发了基于加速度信号峰值的动态对齐算法def align_with_acc_peaks(acc_signal, expected_peaks3): 利用胸带加速度信号校正标签偏移 peaks, _ find_peaks(np.abs(acc_signal), heightnp.std(acc_signal)*3) if len(peaks) expected_peaks: return peaks[0] # 返回第一个显著运动的索引 return 04.2 内存优化技巧分块处理每个受试者单独处理并立即保存PyArrow序列化比pickle节省40%存储空间Zstandard压缩实现2:1压缩比import pyarrow as pa import zstandard as zstd def save_compressed(data, path): 使用PyArrowZstd高效压缩 batch pa.RecordBatch.from_pydict(data) with pa.OSFile(path, wb) as sink: with pa.ipc.new_file(sink, batch.schema) as writer: writer.write_batch(batch) # 追加Zstd压缩 with open(path, rb) as f_in: with open(f{path}.zst, wb) as f_out: cctx zstd.ZstdCompressor() cctx.copy_stream(f_in, f_out)5. 质量验证与可视化5.1 信号对齐验证import matplotlib.pyplot as plt def plot_alignment(ecg, bvp, eda): 绘制重采样后信号对齐情况 fig, (ax1, ax2, ax3) plt.subplots(3, 1, figsize(12, 6)) ax1.plot(ecg[:500], labelECG 128Hz) ax2.plot(bvp[:50], labelBVP 128Hz) ax3.plot(eda[:5], labelEDA 128Hz) plt.tight_layout()5.2 标签分布统计情绪状态样本数平均时长(分钟)信号特征基线2,34020.0心率变异性高压力1,87215.0皮电活动剧烈娱乐1,40411.5肌电信号活跃6. 工程实践建议增量处理对大型数据集建议采用Dask进行分布式处理版本控制使用dvc管理预处理流水线异常处理特别注意S10、S15受试者的数据完整性问题SPECIAL_SUBJECTS { S10: {issue: 缺失胸戴EDA信号, workaround: 使用腕戴EDA}, S15: {issue: 标签错位, offset: -2300} # 采样点偏移 }7. 扩展应用方向预处理后的数据可支持多种分析场景多模态融合使用1D-CNNLSTM混合架构跨设备迁移比较胸戴与腕戴EDA信号差异个性化建模基于受试者聚类构建专属模型from sklearn.ensemble import IsolationForest def detect_artifact_windows(signal, window_size256): 基于孤立森林的异常片段检测 clf IsolationForest(n_estimators50) windows np.array_split(signal, len(signal)//window_size) preds clf.fit_predict(np.vstack(windows)) return np.where(preds -1)[0]处理这类多速率生理信号数据时最耗时的往往不是代码编写而是反复验证各个传感器通道的时间对齐精度。建议在关键对齐步骤插入可视化检查点确保不会因累积误差导致后续分析失效。