如有侵权或其他问题欢迎留言联系更正或删除。目录一 提出动机二 Methodology三. 实验结果出处 ICLR workshop 2023代码Jhryu30/AnomalyBERT可视化效果一 提出动机动机无监督 TSAD 领域内“训练集” 也缺失真值标签GT换句话说一个点在训练集内是否异常是未知的 →data degradation scheme受 NLP 领域 BERT 的启发通过替换输入数据的随机部分训练模型以找到退化部分来修改掩模语言建模MLM此方法有助于检测真实的时序内的各类非自然序列。二 Methodology1. 模型架构基于 “分类” 的时序异常检测方法从标准时间序列中截取特定片段并通过指定的异常值生成方法制造异常样本。将这些异常样本输入Transformer模型以获取各片段的异常评分预测。该过程针对的是片段级别的异常分类任务。经过大量此类数据训练后的BERT模型能够有效识别时间序列中每个片段是否出现异常。2. 详细讲解2.1 注意力机制的改进在每个注意力头中自注意力的计算公式为添加相对位置偏置 B 模型能更好地理解特征间的相对位置关系提高对时序异常的检测能力。2.2 合成异常及数据增强随机选择每个时序窗口内的时序片段通过下列四种 “合成异常” 方式进行相应数据增强1. 带有窗口外部的加权序列软替换替换为原始区间和外部区间的加权和2. 恒定序列统一替换3. 加长或缩短的序列长度调整4. 单个峰值峰值噪声。2.3 训练损失函数(交叉熵损失)期望模型对人工构造的异常片段进行评分时结果应接近1以确保这些异常能够被准确识别。三. 实验结果PS. 为什么模型取名为 “Anomaly Bert” ?个人猜想指的是这种时序异常检测框架与 Bert 的某种预训练方式雷同受到其启发