目录注意力可视化的设计动机注意力权重的提取注意力热力图多头注意力分析注意力交互可视化注意力可视化的边界与失效模式摘要注意力可视化是理解 Transformer 模型内部机制的核心技术通过展示注意力权重分布揭示模型在推理过程中关注哪些输入 Token。本文从注意力可视化的设计动机出发分析注意力权重的提取方法、热力图可视化、多头注意力分析以及交互式可视化工具。1. 注意力可视化的设计动机Transformer 模型的核心机制是自注意力它决定了模型在生成每个 Token 时关注输入序列中的哪些位置。注意力权重直接反映了模型的信息源理解注意力分布是理解模型行为的关键。1.1 为什么需要注意力可视化需求描述重要性理解模型行为知道模型关注哪些 Token高诊断错误发现模型是否关注了错误的信息高分析头功能理解不同注意力头的分工中调试模型检查注意力分布是否合理中建立信任可视化展示模型的决策依据高1.2 注意力可视化的核心挑战注意力可视化的核心挑战是从高维的注意力权重中提取有意义的信息并以人类可理解的方式展示。注意力权重矩阵原始: 多头 × 序列长度 × 序列长度可视化: 2D 热力图挑战: 高维数据难以直接理解挑战: 如何展示最有价值的信息解决方案: 聚合、筛选、交互1.3 注意力可视化的历史演进简单注意力热力图2017→ 多头注意力分析2018→ 交互式注意力可视化2019→ 注意力流2020→ 可解释注意力2023。1.4 注意力可视化的产业应用应用可视化方法典型产品NLP 模型调试注意力热力图BertViz机器翻译对齐可视化内部工具问答系统关注点可视化内部工具代码生成注意力流内部工具1.5 注意力可视化的局限性注意力可视化的局限性包括注意力权重不等同于重要性高注意力权重未必意味着高重要性、多头聚合困难多个头的注意力难以统一解释以及可视化误导过度简化的可视化可能误导理解。2. 注意力权重的提取2.1 提取方法defextract_attention_weights(model,input_ids,output_attentionsTrue):提取注意力权重outputsmodel(input_ids,output_attentionsoutput_attentions,output_hidden_statesFalse)# attentions: tuple of (batch, heads, seq_len, seq_len) for each layerreturnoutputs.attentions2.2 注意力权重的形状注意力权重矩阵的形状Attention Weights ∈ R L × H × S × S \text{Attention Weights} \in \mathbb{R}^{L \times H \times S \times S}Attention Weights∈RL×H×S×S维度描述典型值L层数12-96H头数12-96S序列长度128-40962.3 注意力权重的聚合defaggregate_attention(attentions,methodmean):聚合注意力权重# attentions: list of (batch, heads, seq, seq)stackedtorch.stack(attentions)# (layers, batch, heads, seq, seq)ifmethodmean:# 平均所有层和头returnstacked.mean(dim(0,2))# (batch, seq, seq)elifmethodmax:# 取最大值returnstacked.max(dim0).values.max(dim1).valueselifmethodhead_concat:# 按头拼接returnstacked.view(-1,*stacked.shape[2:])3. 注意力热力图3.1 热力图基本实现defplot_attention_heatmap(attention_weights,tokens,titleAttention):绘制注意力热力图importmatplotlib.pyplotaspltimportseabornassns plt.figure(figsize(10,8))sns.heatmap(attention_weights.detach().numpy(),xticklabelstokens,yticklabelstokens,cmapBlues,annotFalse)plt.title(title)plt.xlabel(Input Tokens)plt.ylabel(Output Tokens)returnplt3.2 热力图变体热力图类型展示内容适用场景全局热力图所有 Token 间注意力全局理解行归一化每行归一化关注来源列归一化每列归一化关注目标对角线分析对角线附近注意力局部依赖3.3 注意力模式分析注意力模式描述常见位置对角线模式关注相邻 Token浅层垂直模式关注特定 Token深层块状模式关注短语中层分散模式关注多个位置任务相关4. 多头注意力分析4.1 头功能分析defanalyze_attention_heads(attentions,tokens):分析注意力头功能# attentions: (layers, heads, seq, seq)results{}forlayer_idxinrange(attentions.shape[0]):forhead_idxinrange(attentions.shape[1]):head_attnattentions[layer_idx,head_idx]# 计算注意力集中度entropy-(head_attn*torch.log(head_attn1e-8)).sum(dim-1).mean()# 计算对角线集中度diaghead_attn.diagonal().mean()results[fL{layer_idx}_H{head_idx}]{entropy:entropy.item(),diagonal_concentration:diag.item()}returnresults4.2 头分类头类型熵值对角线集中度功能局部头低高关注相邻 Token全局头高低关注全局信息特殊头中中关注特定 Token死头高低均匀分布无作用4.3 头剪枝defprune_attention_heads(model,heads_to_prune):剪枝注意力头forlayer_idx,head_idxinenumerate(heads_to_prune):# 将注意力头权重置零model.layers[layer_idx].attention.output.weight[head_idx]0returnmodel5. 注意力交互可视化5.1 交互式可视化工具工具特点适用场景BertViz多视图交互式通用TensorBoard与训练集成训练监控exBERT可搜索探索式分析AttentionViz可排序比较分析5.2 BertViz 使用frombertvizimporthead_view,model_view# 头视图展示所有头的注意力head_view(attentionattentions,tokenstokens,layer0,# 选择层heads[0,1,2]# 选择头)# 模型视图展示所有层和头model_view(attentionattentions,tokenstokens,html_actionauto)5.3 注意力流注意力流Attention Flow通过追踪注意力路径展示信息如何在 Token 间流动。6. 注意力可视化的边界与失效模式6.1 注意力权重≠重要性问题描述解决方案注意力权重高但无关模型关注了无关 Token验证注意力与输出的关系注意力权重低但重要模型关注了重要 Token 但权重低使用归因方法补充多头混淆多个头的注意力难以统一解释聚合方法6.2 可视化误导问题描述解决方案过度简化聚合后丢失细节提供多视图颜色误导颜色映射可能误导使用标准颜色映射上下文缺失只看注意力不看上下文结合上下文展示6.3 注意力可视化的优缺点总结优点缺点直观展示注意力≠重要性揭示模型关注点高维数据难以展示支持交互探索可视化可能误导7. 注意力可视化的工程实践7.1 分析流程classAttentionAnalyzer:注意力分析器def__init__(self,model,tokenizer):self.modelmodel self.tokenizertokenizerdefanalyze(self,text):分析注意力的完整流程tokensself.tokenizer.tokenize(text)input_idsself.tokenizer(text,return_tensorspt)# 提取注意力attentionsextract_attention_weights(self.model,input_ids.input_ids)# 计算统计指标statsanalyze_attention_heads(attentions,tokens)# 可视化head_view(attentions,tokens)return{tokens:tokens,attentions:attentions,statistics:stats}7.2 注意力监控指标描述告警阈值注意力熵注意力分布的平均熵3.0 nats对角线集中度对角线附近注意力占比0.3死头比例均匀分布的注意力头比例20%8. 注意力可视化在模型调试中的应用8.1 错误诊断注意力可视化可以帮助诊断模型错误错误类型注意力模式诊断方法关注错误 Token在错误位置有高注意力对比正确与错误样本的注意力注意力分散注意力过于均匀检查熵值注意力缺失关键 Token 未被关注检查关键 Token 的注意力权重头功能退化死头过多检查头熵值分布8.2 模型比较注意力可视化可以比较不同模型或不同版本的注意力模式defcompare_model_attention(model_a,model_b,input_text,tokenizer):比较两个模型的注意力模式tokenstokenizer.tokenize(input_text)input_idstokenizer(input_text,return_tensorspt)# 提取两个模型的注意力attn_aextract_attention_weights(model_a,input_ids.input_ids)attn_bextract_attention_weights(model_b,input_ids.input_ids)# 计算差异difftorch.stack(attn_a)-torch.stack(attn_b)# 可视化差异plt.figure(figsize(10,8))plt.imshow(diff.abs().mean(dim(0,2)).detach().numpy(),cmapReds)plt.title(Attention Difference)returnplt8.3 训练过程监控在训练过程中监控注意力分布的变化可以评估模型是否在学习合理的注意力模式训练阶段注意力熵对角线集中度说明初期高低注意力分布均匀中期中中开始形成局部注意力后期低高注意力集中在关键 Token9. 注意力可视化的扩展应用9.1 跨语言注意力跨语言注意力可视化分析机器翻译模型的对齐质量对齐类型注意力模式优势精确对齐对角线附近的强注意力翻译质量高跳跃对齐跨距离的强注意力语序差异空白对齐无对应关系功能词处理9.2 多模态注意力多模态注意力可视化展示模型在跨模态任务中的关注点任务注意力来源注意力目标可视化方法图像描述文本 Token图像区域热力图叠加视觉问答问题 Token图像区域注意力映射图文检索查询 Token图像区域交叉注意力9.3 代码注意力代码生成模型的注意力可视化代码结构注意力模式意义变量引用变量定义到使用理解变量作用域函数调用调用到定义理解函数关系控制流条件分支理解逻辑10. 注意力可视化工具的实现10.1 BertViz 实现原理classBertVizAttention:BertViz 注意力可视化简化版def__init__(self,model,tokenizer):self.modelmodel self.tokenizertokenizerdefget_attention(self,text):获取注意力数据inputsself.tokenizer(text,return_tensorspt)outputsself.model(**inputs,output_attentionsTrue)returnoutputs.attentionsdefrender_head_view(self,text,layer0,headsNone):渲染头视图attentionsself.get_attention(text)tokensself.tokenizer.tokenize(text)# 选择指定层和头layer_attnattentions[layer][0]# (heads, seq, seq)ifheads:layer_attnlayer_attn[heads]# 生成 HTMLhtmlself._generate_attention_html(tokens,layer_attn)returnhtml10.2 自定义可视化defcustom_attention_visualization(attention,tokens,save_pathNone):自定义注意力可视化importmatplotlib.pyplotaspltimportnumpyasnp fig,axesplt.subplots(2,4,figsize(20,10))axesaxes.flatten()foridx,axinenumerate(axes):ifidxattention.shape[0]:imax.imshow(attention[idx].detach().numpy(),cmapBlues,aspectauto)ax.set_title(fHead{idx})ax.set_xlabel(Input Tokens)ax.set_ylabel(Output Tokens)plt.colorbar(im,axax)plt.tight_layout()ifsave_path:plt.savefig(save_path)returnplt11. 注意力可视化的趋势11.1 自动化注意力分析自动化分析工具自动检测注意力异常模式辅助模型调试。11.2 注意力与归因结合将注意力可视化与归因方法结合提供更全面的解释。11.3 实时注意力监控在推理过程中实时监控注意力分布及时发现异常。12. 注意力可视化在工业界的实际案例12.1 机器翻译对齐机器翻译中注意力可视化展示源语言和目标语言 Token 之间的对齐关系帮助评估翻译质量对齐质量注意力模式翻译质量精确对齐对角线附近强注意力高跳跃对齐跨距离注意力中语序差异混乱对齐注意力分散低12.2 情感分析解释情感分析中注意力可视化展示模型关注哪些词语来判断情感情感极性关注词语注意力模式正面“好”、“优秀”、“喜欢”这些词语上有高注意力负面“差”、“糟糕”、“讨厌”这些词语上有高注意力中性无明显情感词注意力分散在多个词语12.3 问答系统分析问答系统中注意力可视化展示模型在回答问题时关注了哪些上下文问题类型关注区域注意力模式事实性相关事实段落强注意力集中在包含答案的段落推理型多个相关段落跨段落注意力比较型对比对象在两个对象上都有高注意力13. 注意力可视化的最佳实践13.1 选择正确的视图分析目标推荐视图原因理解单头行为头视图展示单个头的注意力比较多头模型视图展示所有层和头追踪信息流注意力流展示信息传递路径分析对齐对齐视图展示跨语言对齐13.2 避免常见陷阱陷阱描述避免方法过度信任注意力假设注意力权重代表重要性结合归因方法验证忽略多头只展示一个头使用聚合方法误导性颜色颜色映射选择不当使用标准颜色映射13.3 注意力可视化与其他方法结合结合方法目的效果注意力 梯度归因验证注意力关注点更全面的解释注意力 激活探测关联注意力和内部表示深入理解模型注意力 模型剪枝识别冗余头模型压缩总结注意力可视化是理解 Transformer 模型内部机制的核心技术。注意力热力图直观展示 Token 间注意力权重多头注意力分析揭示不同头的功能差异交互式可视化工具如 BertViz支持深入探索。注意力可视化在模型调试、错误诊断和信任建立中有重要应用。需要注意注意力权重不等同于重要性需要结合其他方法全面理解模型行为。外部引用BertViz 注意力可视化https://github.com/jessevig/bertviz注意力机制分析https://arxiv.org/abs/1906.04341注意力头分析https://arxiv.org/abs/1905.09418注意力流https://arxiv.org/abs/2003.00933注意力可视化综述https://arxiv.org/abs/2303.04226头剪枝https://arxiv.org/abs/1905.09418注意力模式分析https://arxiv.org/abs/1906.04341exBERT 交互式可视化https://arxiv.org/abs/1906.04341注意力监控https://arxiv.org/abs/2303.04226注意力可视化工具对比https://arxiv.org/abs/2303.04226 注意力可视化：透视Transformer模型的“思维之眼”
目录注意力可视化的设计动机注意力权重的提取注意力热力图多头注意力分析注意力交互可视化注意力可视化的边界与失效模式摘要注意力可视化是理解 Transformer 模型内部机制的核心技术通过展示注意力权重分布揭示模型在推理过程中关注哪些输入 Token。本文从注意力可视化的设计动机出发分析注意力权重的提取方法、热力图可视化、多头注意力分析以及交互式可视化工具。1. 注意力可视化的设计动机Transformer 模型的核心机制是自注意力它决定了模型在生成每个 Token 时关注输入序列中的哪些位置。注意力权重直接反映了模型的信息源理解注意力分布是理解模型行为的关键。1.1 为什么需要注意力可视化需求描述重要性理解模型行为知道模型关注哪些 Token高诊断错误发现模型是否关注了错误的信息高分析头功能理解不同注意力头的分工中调试模型检查注意力分布是否合理中建立信任可视化展示模型的决策依据高1.2 注意力可视化的核心挑战注意力可视化的核心挑战是从高维的注意力权重中提取有意义的信息并以人类可理解的方式展示。注意力权重矩阵原始: 多头 × 序列长度 × 序列长度可视化: 2D 热力图挑战: 高维数据难以直接理解挑战: 如何展示最有价值的信息解决方案: 聚合、筛选、交互1.3 注意力可视化的历史演进简单注意力热力图2017→ 多头注意力分析2018→ 交互式注意力可视化2019→ 注意力流2020→ 可解释注意力2023。1.4 注意力可视化的产业应用应用可视化方法典型产品NLP 模型调试注意力热力图BertViz机器翻译对齐可视化内部工具问答系统关注点可视化内部工具代码生成注意力流内部工具1.5 注意力可视化的局限性注意力可视化的局限性包括注意力权重不等同于重要性高注意力权重未必意味着高重要性、多头聚合困难多个头的注意力难以统一解释以及可视化误导过度简化的可视化可能误导理解。2. 注意力权重的提取2.1 提取方法defextract_attention_weights(model,input_ids,output_attentionsTrue):提取注意力权重outputsmodel(input_ids,output_attentionsoutput_attentions,output_hidden_statesFalse)# attentions: tuple of (batch, heads, seq_len, seq_len) for each layerreturnoutputs.attentions2.2 注意力权重的形状注意力权重矩阵的形状Attention Weights ∈ R L × H × S × S \text{Attention Weights} \in \mathbb{R}^{L \times H \times S \times S}Attention Weights∈RL×H×S×S维度描述典型值L层数12-96H头数12-96S序列长度128-40962.3 注意力权重的聚合defaggregate_attention(attentions,methodmean):聚合注意力权重# attentions: list of (batch, heads, seq, seq)stackedtorch.stack(attentions)# (layers, batch, heads, seq, seq)ifmethodmean:# 平均所有层和头returnstacked.mean(dim(0,2))# (batch, seq, seq)elifmethodmax:# 取最大值returnstacked.max(dim0).values.max(dim1).valueselifmethodhead_concat:# 按头拼接returnstacked.view(-1,*stacked.shape[2:])3. 注意力热力图3.1 热力图基本实现defplot_attention_heatmap(attention_weights,tokens,titleAttention):绘制注意力热力图importmatplotlib.pyplotaspltimportseabornassns plt.figure(figsize(10,8))sns.heatmap(attention_weights.detach().numpy(),xticklabelstokens,yticklabelstokens,cmapBlues,annotFalse)plt.title(title)plt.xlabel(Input Tokens)plt.ylabel(Output Tokens)returnplt3.2 热力图变体热力图类型展示内容适用场景全局热力图所有 Token 间注意力全局理解行归一化每行归一化关注来源列归一化每列归一化关注目标对角线分析对角线附近注意力局部依赖3.3 注意力模式分析注意力模式描述常见位置对角线模式关注相邻 Token浅层垂直模式关注特定 Token深层块状模式关注短语中层分散模式关注多个位置任务相关4. 多头注意力分析4.1 头功能分析defanalyze_attention_heads(attentions,tokens):分析注意力头功能# attentions: (layers, heads, seq, seq)results{}forlayer_idxinrange(attentions.shape[0]):forhead_idxinrange(attentions.shape[1]):head_attnattentions[layer_idx,head_idx]# 计算注意力集中度entropy-(head_attn*torch.log(head_attn1e-8)).sum(dim-1).mean()# 计算对角线集中度diaghead_attn.diagonal().mean()results[fL{layer_idx}_H{head_idx}]{entropy:entropy.item(),diagonal_concentration:diag.item()}returnresults4.2 头分类头类型熵值对角线集中度功能局部头低高关注相邻 Token全局头高低关注全局信息特殊头中中关注特定 Token死头高低均匀分布无作用4.3 头剪枝defprune_attention_heads(model,heads_to_prune):剪枝注意力头forlayer_idx,head_idxinenumerate(heads_to_prune):# 将注意力头权重置零model.layers[layer_idx].attention.output.weight[head_idx]0returnmodel5. 注意力交互可视化5.1 交互式可视化工具工具特点适用场景BertViz多视图交互式通用TensorBoard与训练集成训练监控exBERT可搜索探索式分析AttentionViz可排序比较分析5.2 BertViz 使用frombertvizimporthead_view,model_view# 头视图展示所有头的注意力head_view(attentionattentions,tokenstokens,layer0,# 选择层heads[0,1,2]# 选择头)# 模型视图展示所有层和头model_view(attentionattentions,tokenstokens,html_actionauto)5.3 注意力流注意力流Attention Flow通过追踪注意力路径展示信息如何在 Token 间流动。6. 注意力可视化的边界与失效模式6.1 注意力权重≠重要性问题描述解决方案注意力权重高但无关模型关注了无关 Token验证注意力与输出的关系注意力权重低但重要模型关注了重要 Token 但权重低使用归因方法补充多头混淆多个头的注意力难以统一解释聚合方法6.2 可视化误导问题描述解决方案过度简化聚合后丢失细节提供多视图颜色误导颜色映射可能误导使用标准颜色映射上下文缺失只看注意力不看上下文结合上下文展示6.3 注意力可视化的优缺点总结优点缺点直观展示注意力≠重要性揭示模型关注点高维数据难以展示支持交互探索可视化可能误导7. 注意力可视化的工程实践7.1 分析流程classAttentionAnalyzer:注意力分析器def__init__(self,model,tokenizer):self.modelmodel self.tokenizertokenizerdefanalyze(self,text):分析注意力的完整流程tokensself.tokenizer.tokenize(text)input_idsself.tokenizer(text,return_tensorspt)# 提取注意力attentionsextract_attention_weights(self.model,input_ids.input_ids)# 计算统计指标statsanalyze_attention_heads(attentions,tokens)# 可视化head_view(attentions,tokens)return{tokens:tokens,attentions:attentions,statistics:stats}7.2 注意力监控指标描述告警阈值注意力熵注意力分布的平均熵3.0 nats对角线集中度对角线附近注意力占比0.3死头比例均匀分布的注意力头比例20%8. 注意力可视化在模型调试中的应用8.1 错误诊断注意力可视化可以帮助诊断模型错误错误类型注意力模式诊断方法关注错误 Token在错误位置有高注意力对比正确与错误样本的注意力注意力分散注意力过于均匀检查熵值注意力缺失关键 Token 未被关注检查关键 Token 的注意力权重头功能退化死头过多检查头熵值分布8.2 模型比较注意力可视化可以比较不同模型或不同版本的注意力模式defcompare_model_attention(model_a,model_b,input_text,tokenizer):比较两个模型的注意力模式tokenstokenizer.tokenize(input_text)input_idstokenizer(input_text,return_tensorspt)# 提取两个模型的注意力attn_aextract_attention_weights(model_a,input_ids.input_ids)attn_bextract_attention_weights(model_b,input_ids.input_ids)# 计算差异difftorch.stack(attn_a)-torch.stack(attn_b)# 可视化差异plt.figure(figsize(10,8))plt.imshow(diff.abs().mean(dim(0,2)).detach().numpy(),cmapReds)plt.title(Attention Difference)returnplt8.3 训练过程监控在训练过程中监控注意力分布的变化可以评估模型是否在学习合理的注意力模式训练阶段注意力熵对角线集中度说明初期高低注意力分布均匀中期中中开始形成局部注意力后期低高注意力集中在关键 Token9. 注意力可视化的扩展应用9.1 跨语言注意力跨语言注意力可视化分析机器翻译模型的对齐质量对齐类型注意力模式优势精确对齐对角线附近的强注意力翻译质量高跳跃对齐跨距离的强注意力语序差异空白对齐无对应关系功能词处理9.2 多模态注意力多模态注意力可视化展示模型在跨模态任务中的关注点任务注意力来源注意力目标可视化方法图像描述文本 Token图像区域热力图叠加视觉问答问题 Token图像区域注意力映射图文检索查询 Token图像区域交叉注意力9.3 代码注意力代码生成模型的注意力可视化代码结构注意力模式意义变量引用变量定义到使用理解变量作用域函数调用调用到定义理解函数关系控制流条件分支理解逻辑10. 注意力可视化工具的实现10.1 BertViz 实现原理classBertVizAttention:BertViz 注意力可视化简化版def__init__(self,model,tokenizer):self.modelmodel self.tokenizertokenizerdefget_attention(self,text):获取注意力数据inputsself.tokenizer(text,return_tensorspt)outputsself.model(**inputs,output_attentionsTrue)returnoutputs.attentionsdefrender_head_view(self,text,layer0,headsNone):渲染头视图attentionsself.get_attention(text)tokensself.tokenizer.tokenize(text)# 选择指定层和头layer_attnattentions[layer][0]# (heads, seq, seq)ifheads:layer_attnlayer_attn[heads]# 生成 HTMLhtmlself._generate_attention_html(tokens,layer_attn)returnhtml10.2 自定义可视化defcustom_attention_visualization(attention,tokens,save_pathNone):自定义注意力可视化importmatplotlib.pyplotaspltimportnumpyasnp fig,axesplt.subplots(2,4,figsize(20,10))axesaxes.flatten()foridx,axinenumerate(axes):ifidxattention.shape[0]:imax.imshow(attention[idx].detach().numpy(),cmapBlues,aspectauto)ax.set_title(fHead{idx})ax.set_xlabel(Input Tokens)ax.set_ylabel(Output Tokens)plt.colorbar(im,axax)plt.tight_layout()ifsave_path:plt.savefig(save_path)returnplt11. 注意力可视化的趋势11.1 自动化注意力分析自动化分析工具自动检测注意力异常模式辅助模型调试。11.2 注意力与归因结合将注意力可视化与归因方法结合提供更全面的解释。11.3 实时注意力监控在推理过程中实时监控注意力分布及时发现异常。12. 注意力可视化在工业界的实际案例12.1 机器翻译对齐机器翻译中注意力可视化展示源语言和目标语言 Token 之间的对齐关系帮助评估翻译质量对齐质量注意力模式翻译质量精确对齐对角线附近强注意力高跳跃对齐跨距离注意力中语序差异混乱对齐注意力分散低12.2 情感分析解释情感分析中注意力可视化展示模型关注哪些词语来判断情感情感极性关注词语注意力模式正面“好”、“优秀”、“喜欢”这些词语上有高注意力负面“差”、“糟糕”、“讨厌”这些词语上有高注意力中性无明显情感词注意力分散在多个词语12.3 问答系统分析问答系统中注意力可视化展示模型在回答问题时关注了哪些上下文问题类型关注区域注意力模式事实性相关事实段落强注意力集中在包含答案的段落推理型多个相关段落跨段落注意力比较型对比对象在两个对象上都有高注意力13. 注意力可视化的最佳实践13.1 选择正确的视图分析目标推荐视图原因理解单头行为头视图展示单个头的注意力比较多头模型视图展示所有层和头追踪信息流注意力流展示信息传递路径分析对齐对齐视图展示跨语言对齐13.2 避免常见陷阱陷阱描述避免方法过度信任注意力假设注意力权重代表重要性结合归因方法验证忽略多头只展示一个头使用聚合方法误导性颜色颜色映射选择不当使用标准颜色映射13.3 注意力可视化与其他方法结合结合方法目的效果注意力 梯度归因验证注意力关注点更全面的解释注意力 激活探测关联注意力和内部表示深入理解模型注意力 模型剪枝识别冗余头模型压缩总结注意力可视化是理解 Transformer 模型内部机制的核心技术。注意力热力图直观展示 Token 间注意力权重多头注意力分析揭示不同头的功能差异交互式可视化工具如 BertViz支持深入探索。注意力可视化在模型调试、错误诊断和信任建立中有重要应用。需要注意注意力权重不等同于重要性需要结合其他方法全面理解模型行为。外部引用BertViz 注意力可视化https://github.com/jessevig/bertviz注意力机制分析https://arxiv.org/abs/1906.04341注意力头分析https://arxiv.org/abs/1905.09418注意力流https://arxiv.org/abs/2003.00933注意力可视化综述https://arxiv.org/abs/2303.04226头剪枝https://arxiv.org/abs/1905.09418注意力模式分析https://arxiv.org/abs/1906.04341exBERT 交互式可视化https://arxiv.org/abs/1906.04341注意力监控https://arxiv.org/abs/2303.04226注意力可视化工具对比https://arxiv.org/abs/2303.04226