优点具备线性特性计算开销小输出区间为[0,∞)能缓解梯度消失问题。缺点非零中心化训练稳定性偏弱需要更多迭代优化负输入会被完全抑制易出现dead ReLU神经元坏死甚至让网络部分失效输出无界权重 / 偏置偏大时容易出现梯度爆炸。ReLU 计算简单、可缓解梯度消失但存在非零中心化、神经元坏死、易梯度爆炸三大缺陷。Leaky ReLU优点负区间赋予微小斜率解决 ReLU 神经元坏死dead ReLU一定程度缓解深层网络梯度消失梯度传递更顺畅正负区间均含线性特性适配更多数据分布。缺点最优负斜率无通用标准需针对任务调参选值不当会降低效果正负区间函数形态不一致正区间恒 1 梯度、负区间固定小斜率模型行为不统一可解释性差。一句话速记Leaky ReLU 给负值保留微弱梯度解决神经元死亡、缓解梯度消失但负斜率需手动调优函数分段行为不一致。FaceNet算法损失函数:三元组损失重点PPT第一章激活函数:ReLU函数优缺点ReLU() max(0, )ReLU激活函数优点:1由于其线性特性计算成本非常低。2ReLU函数的输出范围在[0, ∞)之间这使得它不会遇到梯度消失问题。ReLU激活函数缺点:1ReLU函数不是零中心化的训练可能稍显不稳定需要更多迭代来获得更好的性能。2它会完全抑制负值输入导致这些神经元无效。在某些情况下这可能导致整个网络架构处于非响应状态这被称为“dead ReLU”。3由于ReLU是无界的当权重或偏置值较大时可能容易受到梯度爆炸问题的影响。Leaky ReLU函数LeakyReLU(x){x,αx,​x0x≤0​多层感知器结构输入层、隐藏层、输出层反向传播算法损失函数计算梯度下降算法损失函数卷积神经网络结构CNN结构不考计算 池化层滤波器结果最大池化层和平均池化层 全连接层展平第二章:FaceNet人脸识别算法三元组损失函数是维度为128的向量表示人脸识别的作用三个词、三元组损失函数的名称AL人脸特征身份识别协议的数字、流程图第三章考得最多步态识别概念、优势基于切片特征的步态识别算法三个核心组件及各自的作用、组成、第二个组件的三个构成的作用 Al步态特征身份认证系统的工作流程全背下来第四章较多指纹的特点三个性AL指纹识别系统的五个步骤记住第二个和第三个步骤 指纹的第一级特征基本认识、记住奇异点包括什么 专门用于指纹细节点提取的深度学习模型FingerNet的工作流程 指纹匹配的技术:全部记住两页PPT 算法执行例子计算距离和角度差看是否相似会考 AL指纹特征身份识别系统工作流程考/不考