1. 深度学习模型基础核心考点1.1 CNN结构原理与高频问题卷积神经网络通过局部连接和权值共享显著降低了参数量。以输入图像224x224x3为例使用3x3卷积核时单个滤波器的参数量仅为3x3x327个而全连接层的参数量可能高达数百万。这种稀疏交互的特性使得CNN能够高效提取图像的局部特征。感受野的计算公式为RF (RF_prev - 1) * stride kernel_size。例如VGG16网络中经过4次池化后最后一个卷积层的感受野达到212x212几乎覆盖整个输入图像。这种层次化的特征提取方式使得浅层网络学习边缘纹理等基础特征深层网络学习语义级特征。经典面试题解析当被问到两个3x3卷积核与一个5x5卷积核的区别时可以从三个维度分析计算量两个3x3卷积的乘加运算次数为2×918次而5x5卷积为25次非线性能力中间加入ReLU激活函数增加模型表达能力参数量3x3组合的参数量更少2×9C² vs 25C²C为通道数1.2 RNN/LSTM的时序建模机制循环神经网络通过隐藏状态传递历史信息但其简单结构存在梯度消失问题。LSTM通过三个门控单元输入门、遗忘门、输出门和细胞状态实现了对长序列的有效建模。具体计算公式如下# LSTM核心公式 forget_gate σ(W_f · [h_{t-1}, x_t] b_f) input_gate σ(W_i · [h_{t-1}, x_t] b_i) output_gate σ(W_o · [h_{t-1}, x_t] b_o) cell_state forget_gate * cell_state_prev input_gate * tanh(W_c · [h_{t-1}, x_t] b_c) hidden_state output_gate * tanh(cell_state)GRU作为LSTM的变体将遗忘门和输入门合并为更新门参数更少但效果相当。在面试中常被问及两者的区别关键点在于GRU参数更少两个门控 vs LSTM的三个门控GRU没有单独的记忆单元直接在当前状态进行信息整合实际效果取决于具体任务和数据特性1.3 Transformer的自注意力机制Transformer通过多头注意力实现全局依赖建模其核心是QKVQuery-Key-Value计算Attention(Q,K,V) softmax(QK^T/√d_k)V实际面试中常要求手写Self-Attention的实现代码。以下是一个简化版示例import torch import torch.nn.functional as F def self_attention(query, key, value, maskNone): d_k query.size(-1) scores torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) p_attn F.softmax(scores, dim-1) return torch.matmul(p_attn, value), p_attn位置编码是另一个重点Transformer使用正弦函数生成位置信息PE(pos,2i) sin(pos/10000^(2i/d_model)) PE(pos,2i1) cos(pos/10000^(2i/d_model))2. 模型训练与优化关键技术2.1 梯度消失/爆炸解决方案梯度问题本质上是链式法则中的连乘效应导致的。假设网络有L层每层梯度为α则最终梯度会呈α^L指数变化。解决方案包括初始化策略Xavier初始化W ~ U[-√6/(n_inn_out), √6/(n_inn_out)]He初始化W ~ N(0, √2/n_in)归一化技术# BatchNorm实现公式 running_mean momentum * running_mean (1-momentum) * batch_mean running_var momentum * running_var (1-momentum) * batch_var x_hat (x - batch_mean) / sqrt(batch_var eps) y γ * x_hat β残差连接 ResNet通过跳跃连接将梯度直接回传output F(x, {W_i}) x # 恒等映射2.2 优化算法比较与选择优化器核心思想适用场景超参数SGD纯梯度下降凸优化问题lr, momentumAdam自适应矩估计大多数深度学习任务lr, β1, β2RAdam方差修正的Adam训练初期稳定性要求高warmup steps面试高频问题Adam和SGD哪个更容易达到全局最优 回答要点Adam更适合快速收敛和自适应学习率SGDmomentum在精心调参下可能找到更优解实际应用中Adam是默认选择对超参更鲁棒2.3 正则化方法实践Dropout训练时以概率p随机置零神经元# PyTorch实现 x torch.rand(5,5) mask (torch.rand(5,5) p).float() output x * mask / (1-p) # 注意scale保持期望不变L1/L2正则化L1产生稀疏解loss λ∑|w|L2限制参数幅度loss λ∑w²早停法监控验证集性能当连续N个epoch不提升时终止训练3. 前沿技术与模型压缩3.1 注意力机制变体多头注意力将QKV投影到不同子空间并行计算head_i Attention(QW_i^Q, KW_i^K, VW_i^V) MultiHead Concat(head_1,...,head_h)W^O稀疏注意力限制每个位置只关注局部区域或关键点内存压缩注意力通过线性投影减少KV缓存3.2 模型压缩技术对比方法压缩率精度损失硬件支持量化(FP16)2x1%广泛知识蒸馏2-4x3-5%无需特殊支持结构化剪枝5-10x5-10%需要编译优化知识蒸馏示例# 温度调节的softmax def softmax_with_temp(logits, temp): return torch.exp(logits/temp) / torch.sum(torch.exp(logits/temp), dim-1) # 蒸馏损失 loss α * KLDiv(teacher_logits, student_logits) (1-α) * CE(student_logits, labels)4. 计算机视觉专项突破4.1 图像分类核心模型ResNet残差块解决梯度问题class BasicBlock(nn.Module): def __init__(self, inplanes, planes, stride1): super().__init__() self.conv1 nn.Conv2d(inplanes, planes, 3, stride, 1) self.bn1 nn.BatchNorm2d(planes) self.conv2 nn.Conv2d(planes, planes, 3, 1, 1) self.bn2 nn.BatchNorm2d(planes) self.shortcut nn.Sequential() if stride !1 or inplanes ! planes: self.shortcut nn.Sequential( nn.Conv2d(inplanes, planes, 1, stride), nn.BatchNorm2d(planes)) def forward(self, x): out F.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(x) return F.relu(out)Vision Transformer将图像分块处理为序列# 图像分块 B, C, H, W x.shape x x.reshape(B, C, H//P, P, W//P, P) # P为patch大小 x x.permute(0,2,4,3,5,1).reshape(B,-1,P*P*C)4.2 目标检测关键创新Anchor设计Faster R-CNN使用9个anchor3尺度×3长宽比NMS改进def soft_nms(boxes, scores, sigma0.5, thresh0.001): # 实现soft-nms算法 ... return keep_indices损失函数演进IoU Loss直接优化检测框重叠度Focal Loss解决类别不平衡问题pt torch.where(target1, p, 1-p) loss -α_t * (1-pt)^γ * log(pt)在实际项目中选择模型时需要权衡精度和推理速度。比如YOLOv5在COCO数据集上能达到140FPS的实时性能而Cascade R-CNN虽然精度更高但速度仅5FPS。