1. 课程缘起为什么我们需要这样一份NLP课程大纲在人工智能领域自然语言处理NLP无疑是近年来最火热、发展最迅猛的方向之一。从智能客服到机器翻译从情感分析到内容生成NLP技术正以前所未有的深度融入我们的数字生活。然而技术的快速迭代也带来了一个显著的问题知识体系庞杂学习路径模糊。初学者面对海量的论文、层出不穷的框架和复杂的数学公式常常感到无从下手陷入“只见树木不见森林”的困境。正是在这样的背景下一份由顶尖学者梳理的、系统性的课程大纲显得尤为珍贵。西湖大学张岳老师的NLP课程大纲正是这样一份被众多学习者和从业者奉为“宝藏”的学习路线图。它并非简单的知识点罗列而是一个经过深思熟虑、结构严谨的知识体系构建。这份大纲的价值在于它清晰地勾勒出了从NLP基础概念到前沿研究的完整脉络回答了“学什么”、“按什么顺序学”以及“学到什么程度”这三个核心问题。对于希望系统入门NLP的学生、希望夯实理论基础的在职工程师或是希望了解NLP全貌的研究者而言这份大纲都提供了一个极佳的“导航仪”。2. 课程总览张岳老师NLP课程的核心框架与设计哲学张岳老师的NLP课程大纲其核心设计哲学可以概括为“夯实基础、贯通脉络、紧跟前沿、注重实践”。整个课程不是孤立地讲解一个个算法模型而是致力于构建一个相互关联、层层递进的知识网络。课程通常被设计为一个学期的内容大致可以分为四个紧密衔接的模块基础模块奠定基石。这部分会深入讲解NLP的基本任务如分词、词性标注、句法分析、经典的概率图模型如隐马尔可夫模型HMM、条件随机场CRF以及最基础的神经网络模型。其目的是让学习者建立对语言形式化表示和基础建模方法的坚实理解。核心模块聚焦表示学习。这是课程的重中之重详细剖析从静态词向量Word2Vec, GloVe到动态上下文表示ELMo, GPT, BERT的演进逻辑。重点会放在循环神经网络RNN及其变体LSTM, GRU的架构、原理、训练难题如梯度消失/爆炸以及它们在序列建模中的应用。进阶与应用模块打通理论与落地。在掌握了核心的表示能力后课程会转向具体的NLP任务如机器翻译引入经典的Seq2Seq with Attention模型、文本分类、情感分析、问答系统等。这部分会强调如何将前面学到的表示模型适配到具体任务中并介绍相关的评估指标。前沿与专题模块拓展视野。课程会涉及预训练语言模型PLM的深入原理、Prompt Learning、大模型LLM的基础知识以及一些当前的研究热点。同时也会设置如“NLP新闻处理”这样的专题探讨NLP技术在实际新闻生产、分类、摘要中的应用与挑战。这个框架的巧妙之处在于它遵循了人类认知和技能发展的自然规律先建立稳固的基础概念和工具再学习核心的“发动机”表示学习然后驾驶这辆“车”去解决实际问题最后展望未来的道路。每一个后续模块都以前一个模块为基石避免了知识点的跳跃和断层。3. 从基础概念到RNN架构理解序列建模的“第一性原理”课程的开篇必然会直面NLP的根源性问题如何让计算机“理解”人类语言这引出了基础概念部分。我们会讨论语言的离散性、歧义性和组合性。形式语言与自动机理论会简要提及以建立语言的形式化思维。紧接着课程会迅速切入统计自然语言处理的核心——n元语言模型N-gram。通过计算一个词序列出现的概率我们首次让机器拥有了对语言流畅度的初步判断能力。这里会详细推导最大似然估计MLE和平滑技术如加一平滑、Good-Turing平滑因为这是理解后续所有概率模型的基础。然而N-gram模型的缺陷显而易见数据稀疏和无法捕捉长距离依赖。这就顺理成章地引入了神经网络模型。课程会从最简单的前馈神经网络开始讲解其如何用于文本分类如词袋模型输入从而过渡到词嵌入的概念。Word2Vec的Skip-gram和CBOW模型会被深入剖析包括负采样和层次Softmax这两种关键的训练技巧。理解词嵌入是理解“词义即其上下文”这一分布假说的关键。有了词作为分布式表示的基础我们面对的核心挑战变成了如何处理可变长度的序列数据。这就是循环神经网络RNN登场的时刻。课程会详细拆解RNN的基本单元结构在每一个时间步网络不仅接收当前的输入还接收上一个时间步的隐藏状态从而理论上具备了记忆之前所有历史信息的能力。注意很多初学者会混淆“时间步”在NLP中的含义。在文本序列里一个时间步通常对应一个词或一个字。RNN是按顺序“阅读”整个句子的。我们会用数学公式清晰地展示RNN的前向传播过程h_t f(W_{hh} * h_{t-1} W_{xh} * x_t b_h)y_t g(W_{hy} * h_t b_y)其中h_t是当前隐藏状态x_t是当前输入y_t是当前输出。f和g是激活函数。然而经典的简单RNN面临著名的梯度消失/爆炸问题。在反向传播通过时间BPTT算法中梯度需要沿着时间步连续相乘。当权重矩阵的特征值小于1时梯度会指数级衰减到零消失大于1时则会指数级增长爆炸。这意味着RNN难以学习到长距离的依赖关系。为了解决这个问题课程会重点介绍两种革命性的RNN变体长短期记忆网络LSTM和门控循环单元GRU。LSTM通过引入“细胞状态”和三个门控结构输入门、遗忘门、输出门精巧地实现了信息的长期保存和选择性更新。我们会详细分析每一个门的计算公式和物理意义遗忘门决定从细胞状态中丢弃哪些信息。f_t σ(W_f · [h_{t-1}, x_t] b_f)输入门决定哪些新信息将被存入细胞状态。i_t σ(W_i · [h_{t-1}, x_t] b_i),\tilde{C}_t tanh(W_C · [h_{t-1}, x_t] b_C)细胞状态更新C_t f_t * C_{t-1} i_t * \tilde{C}_t输出门基于细胞状态决定输出什么。o_t σ(W_o · [h_{t-1}, x_t] b_o),h_t o_t * tanh(C_t)GRU则可以看作是LSTM的简化版本它将遗忘门和输入门合并为一个“更新门”并混合了细胞状态和隐藏状态参数更少训练速度往往更快。实操心得在初步实现RNN/LSTM时一个常见的坑是张量维度的对齐。特别是在处理批量数据时输入x的维度是(batch_size, sequence_length, embedding_dim)而初始隐藏状态h0的维度是(num_layers, batch_size, hidden_size)。很多框架如PyTorch要求sequence_length在第一维而有些数据预处理默认不是这样。务必在训练前打印出关键张量的形状进行确认。另一个经验是对于中等长度的文本如几十到几百个词LSTM和GRU的表现差异不大GRU因其简洁性往往是首选。但当序列非常长且对长期记忆要求极高时LSTM的理论优势可能更明显。4. 从Seq2Seq到Attention机制NLP任务的通用范式演进掌握了RNN系列模型后我们就拥有了处理序列的强大工具。课程的下一个关键跃迁是学习如何用这些工具解决NLP中的核心任务其中最具代表性的就是机器翻译。这催生了序列到序列模型的经典范式。Seq2Seq模型通常由一个编码器和一个解码器组成两者都是RNN通常是LSTM或GRU。编码器负责将源语言句子如中文压缩成一个固定长度的上下文向量即最后一个隐藏状态这个向量被期望包含了整个句子的语义信息。然后解码器以这个上下文向量为初始状态开始逐个生成目标语言如英文的词。然而最初的Seq2Seq模型有一个根本性缺陷将整个输入序列的信息压缩到一个固定维度的向量中就像试图把一本长篇小说总结成一句话必然会丢失大量细节尤其是对于长句子性能下降严重。2015年注意力机制的提出彻底改变了这一局面。注意力机制的核心思想是在解码器生成每一个目标词的时候不应该“平均地”看待编码器所有时间步的信息而应该“有侧重地”回顾编码器的不同部分。它为解码器的每一步动态计算一个与编码器所有隐藏状态的加权和作为该步的上下文向量。课程会详细推导注意力权重的计算过程计算对齐分数对于解码器当前状态s_t和编码器每一个状态h_i计算一个分数e_{ti} score(s_t, h_i)。常用的score函数有点积、加性通过一个前馈网络等。归一化权重使用Softmax函数将对齐分数归一化为权重α_{ti} exp(e_{ti}) / Σ_j exp(e_{tj})。计算上下文向量c_t Σ_i α_{ti} * h_i。解码器将c_t与自身的输入结合产生当前步的输出。注意力机制不仅极大提升了机器翻译的质量更重要的是它提供了一种可解释的“对齐”视角注意力权重图可以可视化模型在生成某个词时关注了源句子的哪些部分并且其思想被后续几乎所有NLP模型所吸收成为基石中的基石。实操心得实现注意力机制时一个性能上的优化点是矩阵化计算。避免使用循环逐个计算解码器状态与所有编码器状态的对齐分数而是将编码器所有状态堆叠成矩阵H一次性计算所有分数。例如在点积注意力中如果解码器状态s_t形状为(batch_size, hidden_size)编码器状态H形状为(batch_size, src_len, hidden_size)我们可以将s_t扩展为(batch_size, 1, hidden_size)然后使用torch.bmm进行批量矩阵乘法一次性得到所有e_{ti}。这能带来显著的训练加速。5. Transformer与预训练语言模型当代NLP的基石如果说注意力机制是一个强大的工具那么Transformer模型则是将这个工具发挥到极致、并完全摒弃RNN的划时代架构。张岳老师的课程必然会花大量篇幅深入解析Transformer因为它是BERT、GPT等所有现代预训练模型的骨架。Transformer完全基于自注意力机制和前馈神经网络并行处理整个序列解决了RNN无法并行计算的瓶颈。课程会拆解其核心组件自注意力让序列中的每个词同时与序列中的所有词计算注意力从而捕获丰富的上下文信息。公式为Attention(Q, K, V) softmax(QK^T / √d_k) V。其中Q查询、K键、V值均来自同一输入序列的不同线性变换。多头注意力将模型的能力划分为多个“头”每个头在不同的表示子空间里学习关注不同的信息最后将结果拼接起来增强了模型的表达能力。位置编码由于Transformer没有循环结构它需要显式地注入序列的顺序信息。课程会讲解正弦余弦位置编码公式及其特性。编码器-解码器结构Transformer也沿用此结构但编码器和解码器都由多层相同的层堆叠而成每层包含多头注意力和前馈网络。在透彻理解Transformer之后课程便自然过渡到预训练语言模型。其核心范式是“预训练微调”首先在大规模无标注文本语料上通过设计一个“预训练任务”来训练一个通用的语言表示模型然后针对具体的下游任务如分类、问答用少量标注数据对这个预训练模型进行微调。课程会重点对比两大主流预训练范式自编码模型以BERT为代表在预训练阶段随机掩盖输入句子中的一些词Masked Language Model, MLM让模型预测被掩盖的词。这种方式让模型能够同时利用被掩盖词左右两侧的上下文获得“深层双向”的表示能力。BERT在2018年横空出世在11项NLP任务上刷新了记录。自回归模型以GPT为代表在预训练阶段模型被训练来根据上文预测下一个词传统语言模型任务。这种方式是单向的从左到右生成文本。GPT系列模型通过不断扩大模型规模和数据量展现出了惊人的生成能力。实操心得在使用预训练模型如Hugging Face Transformers库时一个至关重要的细节是Tokenizer与模型的一致性。不同的预训练模型有自己对应的分词器和词汇表。如果你用BERT的tokenizer去处理文本然后试图输入给一个GPT结构的模型一定会出错。务必确保from_pretrained加载的模型和tokenizer是配套的。此外对于中文任务虽然原始BERT提供了中文预训练权重但在专业领域如医学、法律使用在该领域语料上继续预训练过的模型领域自适应预训练通常会获得更好的效果。6. 前沿探索与大模型初窥Prompt Learning与LLM基础课程的尾声部分会引领学习者眺望NLP的最前沿。其中一个重要方向就是Prompt Learning。传统的“预训练-微调”范式需要为每个下游任务准备标注数据并更新所有或部分模型参数。而Prompt Learning试图将下游任务“重塑”成预训练阶段见过的任务形式。例如对于一个情感分类任务传统微调是在句子前加一个[CLS]标记然后用它的输出对应一个分类器。而在Prompt Learning中我们可能会设计一个模板“[输入句子]总的来说这是一条[MASK]的评论。” 然后让预训练好的MLM模型去预测[MASK]位置应该填“积极”还是“消极”这个词。通过这种方式我们更直接地激发了模型在预训练中获得的知识特别是在标注数据极少少样本学习的场景下这种方法显示出巨大优势。课程也会初步探讨大语言模型的基本概念。这不仅仅是模型参数量的增大从亿级到千亿、万亿更带来了能力的质变即涌现能力。当模型规模超过某个临界点后它会表现出在较小模型上看不到的新能力如复杂的推理、指令遵循和代码生成。这部分内容会介绍LLM的核心技术如缩放定律模型性能与模型大小、数据量、计算量之间的可预测关系。指令微调与对齐如何让大模型理解并遵循人类的指令Instruction Tuning以及如何使其输出符合人类价值观RLHF基于人类反馈的强化学习。上下文学习仅通过提供几个任务示例Few-shot或任务描述Zero-shot而不更新模型参数就能让模型完成新任务。实操心得对于Prompt Learning设计一个有效的Prompt提示模板更像是一门艺术而非科学。它需要你对任务和模型都有深刻的理解。一个实用的技巧是进行Prompt自动化搜索或集成例如使用不同表述的多个Prompt然后对模型预测的结果进行集成投票或平均这通常比单一Prompt更稳定。对于初步接触LLM的开发者建议从OpenAI的API或开源模型如LLaMA、ChatGLM的轻量级版本开始先熟悉其对话、补全、总结等基础能力的使用模式理解其输入输出的格式和限制再考虑更复杂的应用或微调。7. 专题实践以“NLP新闻处理”为例的完整项目流理论需要与实践结合。课程通常会设置一个像“NLP新闻处理”这样的专题项目来串联多个知识点。这不仅仅是一个简单的文本分类而是一个模拟真实场景的微型管道。一个完整的新闻处理流程可能包括以下步骤每个步骤都对应着课程中学到的核心知识新闻爬取与原始语料构建使用爬虫框架如Scrapy从新闻网站获取原始HTML。这里涉及文本提取如使用readability库或newspaper3k、去重、编码处理等基础数据工程。文本预处理与清洗对原始文本进行清洗包括去除HTML标签、特殊字符、停用词过滤、繁体转简体等。中文还需要进行分词使用Jieba、HanLP等工具这是后续所有分析的基础。新闻文本分类这是核心任务之一。我们可以将其构建为一个多分类问题如政治、经济、体育、娱乐。传统方法实践首先可以尝试使用TF-IDF特征 机器学习模型如朴素贝叶斯、支持向量机SVM。这能让我们直观理解特征工程的重要性。深度学习方法实践接着使用课程中学到的模型。例如用Word2Vec或GloVe词向量作为输入搭建一个TextCNN卷积神经网络或BiLSTM模型。这里可以对比不同模型架构的效果。预训练模型微调最后使用BERT等预训练模型进行微调。这是当前的主流方法通常能获得最好的效果。我们需要将新闻文本处理成BERT的输入格式添加[CLS]和[SEP]标记进行分词和ID转换然后在预训练模型后接一个简单的分类层进行训练。关键信息抽取除了分类我们可能还想从新闻中抽取关键信息如时间、地点、人物、组织机构等。这可以建模为命名实体识别任务。同样可以从基于CRF的传统方法过渡到使用BiLSTM-CRF模型再到使用微调BERT序列标注模型。新闻摘要生成这是一个典型的文本生成任务。对于较短的摘要可以尝试抽取式摘要如TextRank算法基于图模型计算句子重要性。对于生成式摘要就需要用到Seq2Seq with Attention模型或者直接使用预训练的生成式模型如BART、T5、PEGASUS它们本身就是在摘要任务上预训练的。情感倾向分析分析新闻评论或新闻报道本身的情感倾向正面、负面、中性。这本质上是一个文本分类任务可以复用第3步的模型架构只是标签不同。系统集成与可视化将以上模块集成到一个简单的Web应用如使用Flask或Streamlit中实现上传新闻文本或URL自动返回分类结果、关键实体、摘要和情感分析。使用ECharts等库进行结果可视化。实操心得在这样一个综合项目中最大的挑战往往是数据的不平衡与噪声。新闻类别分布可能极不均衡比如体育新闻远多于科技新闻这需要在数据采样过采样少数类、欠采样多数类或损失函数使用带权重的交叉熵损失上做处理。此外爬取的新闻数据噪声很大标题和正文可能混杂了记者信息、广告、无关链接等设计鲁棒的清洗规则需要反复迭代。另一个关键点是评估指标的选择对于分类任务不能只看准确率在类别不平衡时精确率、召回率和F1-score尤其是宏平均F1更具参考价值。对于摘要任务则常用ROUGE分数来评估与参考摘要的重合度。通过这样一个从数据获取到模型部署的完整项目实践学习者能够将课程中分散的知识点串联起来深刻理解每个技术环节在真实问题中的作用与局限从而真正获得解决实际NLP问题的能力。这份由张岳老师课程大纲所启发的学习路径其最终价值正是体现在这种从理论到实践的贯通之中。 从RNN到Transformer：西湖大学NLP课程大纲详解与实战指南
1. 课程缘起为什么我们需要这样一份NLP课程大纲在人工智能领域自然语言处理NLP无疑是近年来最火热、发展最迅猛的方向之一。从智能客服到机器翻译从情感分析到内容生成NLP技术正以前所未有的深度融入我们的数字生活。然而技术的快速迭代也带来了一个显著的问题知识体系庞杂学习路径模糊。初学者面对海量的论文、层出不穷的框架和复杂的数学公式常常感到无从下手陷入“只见树木不见森林”的困境。正是在这样的背景下一份由顶尖学者梳理的、系统性的课程大纲显得尤为珍贵。西湖大学张岳老师的NLP课程大纲正是这样一份被众多学习者和从业者奉为“宝藏”的学习路线图。它并非简单的知识点罗列而是一个经过深思熟虑、结构严谨的知识体系构建。这份大纲的价值在于它清晰地勾勒出了从NLP基础概念到前沿研究的完整脉络回答了“学什么”、“按什么顺序学”以及“学到什么程度”这三个核心问题。对于希望系统入门NLP的学生、希望夯实理论基础的在职工程师或是希望了解NLP全貌的研究者而言这份大纲都提供了一个极佳的“导航仪”。2. 课程总览张岳老师NLP课程的核心框架与设计哲学张岳老师的NLP课程大纲其核心设计哲学可以概括为“夯实基础、贯通脉络、紧跟前沿、注重实践”。整个课程不是孤立地讲解一个个算法模型而是致力于构建一个相互关联、层层递进的知识网络。课程通常被设计为一个学期的内容大致可以分为四个紧密衔接的模块基础模块奠定基石。这部分会深入讲解NLP的基本任务如分词、词性标注、句法分析、经典的概率图模型如隐马尔可夫模型HMM、条件随机场CRF以及最基础的神经网络模型。其目的是让学习者建立对语言形式化表示和基础建模方法的坚实理解。核心模块聚焦表示学习。这是课程的重中之重详细剖析从静态词向量Word2Vec, GloVe到动态上下文表示ELMo, GPT, BERT的演进逻辑。重点会放在循环神经网络RNN及其变体LSTM, GRU的架构、原理、训练难题如梯度消失/爆炸以及它们在序列建模中的应用。进阶与应用模块打通理论与落地。在掌握了核心的表示能力后课程会转向具体的NLP任务如机器翻译引入经典的Seq2Seq with Attention模型、文本分类、情感分析、问答系统等。这部分会强调如何将前面学到的表示模型适配到具体任务中并介绍相关的评估指标。前沿与专题模块拓展视野。课程会涉及预训练语言模型PLM的深入原理、Prompt Learning、大模型LLM的基础知识以及一些当前的研究热点。同时也会设置如“NLP新闻处理”这样的专题探讨NLP技术在实际新闻生产、分类、摘要中的应用与挑战。这个框架的巧妙之处在于它遵循了人类认知和技能发展的自然规律先建立稳固的基础概念和工具再学习核心的“发动机”表示学习然后驾驶这辆“车”去解决实际问题最后展望未来的道路。每一个后续模块都以前一个模块为基石避免了知识点的跳跃和断层。3. 从基础概念到RNN架构理解序列建模的“第一性原理”课程的开篇必然会直面NLP的根源性问题如何让计算机“理解”人类语言这引出了基础概念部分。我们会讨论语言的离散性、歧义性和组合性。形式语言与自动机理论会简要提及以建立语言的形式化思维。紧接着课程会迅速切入统计自然语言处理的核心——n元语言模型N-gram。通过计算一个词序列出现的概率我们首次让机器拥有了对语言流畅度的初步判断能力。这里会详细推导最大似然估计MLE和平滑技术如加一平滑、Good-Turing平滑因为这是理解后续所有概率模型的基础。然而N-gram模型的缺陷显而易见数据稀疏和无法捕捉长距离依赖。这就顺理成章地引入了神经网络模型。课程会从最简单的前馈神经网络开始讲解其如何用于文本分类如词袋模型输入从而过渡到词嵌入的概念。Word2Vec的Skip-gram和CBOW模型会被深入剖析包括负采样和层次Softmax这两种关键的训练技巧。理解词嵌入是理解“词义即其上下文”这一分布假说的关键。有了词作为分布式表示的基础我们面对的核心挑战变成了如何处理可变长度的序列数据。这就是循环神经网络RNN登场的时刻。课程会详细拆解RNN的基本单元结构在每一个时间步网络不仅接收当前的输入还接收上一个时间步的隐藏状态从而理论上具备了记忆之前所有历史信息的能力。注意很多初学者会混淆“时间步”在NLP中的含义。在文本序列里一个时间步通常对应一个词或一个字。RNN是按顺序“阅读”整个句子的。我们会用数学公式清晰地展示RNN的前向传播过程h_t f(W_{hh} * h_{t-1} W_{xh} * x_t b_h)y_t g(W_{hy} * h_t b_y)其中h_t是当前隐藏状态x_t是当前输入y_t是当前输出。f和g是激活函数。然而经典的简单RNN面临著名的梯度消失/爆炸问题。在反向传播通过时间BPTT算法中梯度需要沿着时间步连续相乘。当权重矩阵的特征值小于1时梯度会指数级衰减到零消失大于1时则会指数级增长爆炸。这意味着RNN难以学习到长距离的依赖关系。为了解决这个问题课程会重点介绍两种革命性的RNN变体长短期记忆网络LSTM和门控循环单元GRU。LSTM通过引入“细胞状态”和三个门控结构输入门、遗忘门、输出门精巧地实现了信息的长期保存和选择性更新。我们会详细分析每一个门的计算公式和物理意义遗忘门决定从细胞状态中丢弃哪些信息。f_t σ(W_f · [h_{t-1}, x_t] b_f)输入门决定哪些新信息将被存入细胞状态。i_t σ(W_i · [h_{t-1}, x_t] b_i),\tilde{C}_t tanh(W_C · [h_{t-1}, x_t] b_C)细胞状态更新C_t f_t * C_{t-1} i_t * \tilde{C}_t输出门基于细胞状态决定输出什么。o_t σ(W_o · [h_{t-1}, x_t] b_o),h_t o_t * tanh(C_t)GRU则可以看作是LSTM的简化版本它将遗忘门和输入门合并为一个“更新门”并混合了细胞状态和隐藏状态参数更少训练速度往往更快。实操心得在初步实现RNN/LSTM时一个常见的坑是张量维度的对齐。特别是在处理批量数据时输入x的维度是(batch_size, sequence_length, embedding_dim)而初始隐藏状态h0的维度是(num_layers, batch_size, hidden_size)。很多框架如PyTorch要求sequence_length在第一维而有些数据预处理默认不是这样。务必在训练前打印出关键张量的形状进行确认。另一个经验是对于中等长度的文本如几十到几百个词LSTM和GRU的表现差异不大GRU因其简洁性往往是首选。但当序列非常长且对长期记忆要求极高时LSTM的理论优势可能更明显。4. 从Seq2Seq到Attention机制NLP任务的通用范式演进掌握了RNN系列模型后我们就拥有了处理序列的强大工具。课程的下一个关键跃迁是学习如何用这些工具解决NLP中的核心任务其中最具代表性的就是机器翻译。这催生了序列到序列模型的经典范式。Seq2Seq模型通常由一个编码器和一个解码器组成两者都是RNN通常是LSTM或GRU。编码器负责将源语言句子如中文压缩成一个固定长度的上下文向量即最后一个隐藏状态这个向量被期望包含了整个句子的语义信息。然后解码器以这个上下文向量为初始状态开始逐个生成目标语言如英文的词。然而最初的Seq2Seq模型有一个根本性缺陷将整个输入序列的信息压缩到一个固定维度的向量中就像试图把一本长篇小说总结成一句话必然会丢失大量细节尤其是对于长句子性能下降严重。2015年注意力机制的提出彻底改变了这一局面。注意力机制的核心思想是在解码器生成每一个目标词的时候不应该“平均地”看待编码器所有时间步的信息而应该“有侧重地”回顾编码器的不同部分。它为解码器的每一步动态计算一个与编码器所有隐藏状态的加权和作为该步的上下文向量。课程会详细推导注意力权重的计算过程计算对齐分数对于解码器当前状态s_t和编码器每一个状态h_i计算一个分数e_{ti} score(s_t, h_i)。常用的score函数有点积、加性通过一个前馈网络等。归一化权重使用Softmax函数将对齐分数归一化为权重α_{ti} exp(e_{ti}) / Σ_j exp(e_{tj})。计算上下文向量c_t Σ_i α_{ti} * h_i。解码器将c_t与自身的输入结合产生当前步的输出。注意力机制不仅极大提升了机器翻译的质量更重要的是它提供了一种可解释的“对齐”视角注意力权重图可以可视化模型在生成某个词时关注了源句子的哪些部分并且其思想被后续几乎所有NLP模型所吸收成为基石中的基石。实操心得实现注意力机制时一个性能上的优化点是矩阵化计算。避免使用循环逐个计算解码器状态与所有编码器状态的对齐分数而是将编码器所有状态堆叠成矩阵H一次性计算所有分数。例如在点积注意力中如果解码器状态s_t形状为(batch_size, hidden_size)编码器状态H形状为(batch_size, src_len, hidden_size)我们可以将s_t扩展为(batch_size, 1, hidden_size)然后使用torch.bmm进行批量矩阵乘法一次性得到所有e_{ti}。这能带来显著的训练加速。5. Transformer与预训练语言模型当代NLP的基石如果说注意力机制是一个强大的工具那么Transformer模型则是将这个工具发挥到极致、并完全摒弃RNN的划时代架构。张岳老师的课程必然会花大量篇幅深入解析Transformer因为它是BERT、GPT等所有现代预训练模型的骨架。Transformer完全基于自注意力机制和前馈神经网络并行处理整个序列解决了RNN无法并行计算的瓶颈。课程会拆解其核心组件自注意力让序列中的每个词同时与序列中的所有词计算注意力从而捕获丰富的上下文信息。公式为Attention(Q, K, V) softmax(QK^T / √d_k) V。其中Q查询、K键、V值均来自同一输入序列的不同线性变换。多头注意力将模型的能力划分为多个“头”每个头在不同的表示子空间里学习关注不同的信息最后将结果拼接起来增强了模型的表达能力。位置编码由于Transformer没有循环结构它需要显式地注入序列的顺序信息。课程会讲解正弦余弦位置编码公式及其特性。编码器-解码器结构Transformer也沿用此结构但编码器和解码器都由多层相同的层堆叠而成每层包含多头注意力和前馈网络。在透彻理解Transformer之后课程便自然过渡到预训练语言模型。其核心范式是“预训练微调”首先在大规模无标注文本语料上通过设计一个“预训练任务”来训练一个通用的语言表示模型然后针对具体的下游任务如分类、问答用少量标注数据对这个预训练模型进行微调。课程会重点对比两大主流预训练范式自编码模型以BERT为代表在预训练阶段随机掩盖输入句子中的一些词Masked Language Model, MLM让模型预测被掩盖的词。这种方式让模型能够同时利用被掩盖词左右两侧的上下文获得“深层双向”的表示能力。BERT在2018年横空出世在11项NLP任务上刷新了记录。自回归模型以GPT为代表在预训练阶段模型被训练来根据上文预测下一个词传统语言模型任务。这种方式是单向的从左到右生成文本。GPT系列模型通过不断扩大模型规模和数据量展现出了惊人的生成能力。实操心得在使用预训练模型如Hugging Face Transformers库时一个至关重要的细节是Tokenizer与模型的一致性。不同的预训练模型有自己对应的分词器和词汇表。如果你用BERT的tokenizer去处理文本然后试图输入给一个GPT结构的模型一定会出错。务必确保from_pretrained加载的模型和tokenizer是配套的。此外对于中文任务虽然原始BERT提供了中文预训练权重但在专业领域如医学、法律使用在该领域语料上继续预训练过的模型领域自适应预训练通常会获得更好的效果。6. 前沿探索与大模型初窥Prompt Learning与LLM基础课程的尾声部分会引领学习者眺望NLP的最前沿。其中一个重要方向就是Prompt Learning。传统的“预训练-微调”范式需要为每个下游任务准备标注数据并更新所有或部分模型参数。而Prompt Learning试图将下游任务“重塑”成预训练阶段见过的任务形式。例如对于一个情感分类任务传统微调是在句子前加一个[CLS]标记然后用它的输出对应一个分类器。而在Prompt Learning中我们可能会设计一个模板“[输入句子]总的来说这是一条[MASK]的评论。” 然后让预训练好的MLM模型去预测[MASK]位置应该填“积极”还是“消极”这个词。通过这种方式我们更直接地激发了模型在预训练中获得的知识特别是在标注数据极少少样本学习的场景下这种方法显示出巨大优势。课程也会初步探讨大语言模型的基本概念。这不仅仅是模型参数量的增大从亿级到千亿、万亿更带来了能力的质变即涌现能力。当模型规模超过某个临界点后它会表现出在较小模型上看不到的新能力如复杂的推理、指令遵循和代码生成。这部分内容会介绍LLM的核心技术如缩放定律模型性能与模型大小、数据量、计算量之间的可预测关系。指令微调与对齐如何让大模型理解并遵循人类的指令Instruction Tuning以及如何使其输出符合人类价值观RLHF基于人类反馈的强化学习。上下文学习仅通过提供几个任务示例Few-shot或任务描述Zero-shot而不更新模型参数就能让模型完成新任务。实操心得对于Prompt Learning设计一个有效的Prompt提示模板更像是一门艺术而非科学。它需要你对任务和模型都有深刻的理解。一个实用的技巧是进行Prompt自动化搜索或集成例如使用不同表述的多个Prompt然后对模型预测的结果进行集成投票或平均这通常比单一Prompt更稳定。对于初步接触LLM的开发者建议从OpenAI的API或开源模型如LLaMA、ChatGLM的轻量级版本开始先熟悉其对话、补全、总结等基础能力的使用模式理解其输入输出的格式和限制再考虑更复杂的应用或微调。7. 专题实践以“NLP新闻处理”为例的完整项目流理论需要与实践结合。课程通常会设置一个像“NLP新闻处理”这样的专题项目来串联多个知识点。这不仅仅是一个简单的文本分类而是一个模拟真实场景的微型管道。一个完整的新闻处理流程可能包括以下步骤每个步骤都对应着课程中学到的核心知识新闻爬取与原始语料构建使用爬虫框架如Scrapy从新闻网站获取原始HTML。这里涉及文本提取如使用readability库或newspaper3k、去重、编码处理等基础数据工程。文本预处理与清洗对原始文本进行清洗包括去除HTML标签、特殊字符、停用词过滤、繁体转简体等。中文还需要进行分词使用Jieba、HanLP等工具这是后续所有分析的基础。新闻文本分类这是核心任务之一。我们可以将其构建为一个多分类问题如政治、经济、体育、娱乐。传统方法实践首先可以尝试使用TF-IDF特征 机器学习模型如朴素贝叶斯、支持向量机SVM。这能让我们直观理解特征工程的重要性。深度学习方法实践接着使用课程中学到的模型。例如用Word2Vec或GloVe词向量作为输入搭建一个TextCNN卷积神经网络或BiLSTM模型。这里可以对比不同模型架构的效果。预训练模型微调最后使用BERT等预训练模型进行微调。这是当前的主流方法通常能获得最好的效果。我们需要将新闻文本处理成BERT的输入格式添加[CLS]和[SEP]标记进行分词和ID转换然后在预训练模型后接一个简单的分类层进行训练。关键信息抽取除了分类我们可能还想从新闻中抽取关键信息如时间、地点、人物、组织机构等。这可以建模为命名实体识别任务。同样可以从基于CRF的传统方法过渡到使用BiLSTM-CRF模型再到使用微调BERT序列标注模型。新闻摘要生成这是一个典型的文本生成任务。对于较短的摘要可以尝试抽取式摘要如TextRank算法基于图模型计算句子重要性。对于生成式摘要就需要用到Seq2Seq with Attention模型或者直接使用预训练的生成式模型如BART、T5、PEGASUS它们本身就是在摘要任务上预训练的。情感倾向分析分析新闻评论或新闻报道本身的情感倾向正面、负面、中性。这本质上是一个文本分类任务可以复用第3步的模型架构只是标签不同。系统集成与可视化将以上模块集成到一个简单的Web应用如使用Flask或Streamlit中实现上传新闻文本或URL自动返回分类结果、关键实体、摘要和情感分析。使用ECharts等库进行结果可视化。实操心得在这样一个综合项目中最大的挑战往往是数据的不平衡与噪声。新闻类别分布可能极不均衡比如体育新闻远多于科技新闻这需要在数据采样过采样少数类、欠采样多数类或损失函数使用带权重的交叉熵损失上做处理。此外爬取的新闻数据噪声很大标题和正文可能混杂了记者信息、广告、无关链接等设计鲁棒的清洗规则需要反复迭代。另一个关键点是评估指标的选择对于分类任务不能只看准确率在类别不平衡时精确率、召回率和F1-score尤其是宏平均F1更具参考价值。对于摘要任务则常用ROUGE分数来评估与参考摘要的重合度。通过这样一个从数据获取到模型部署的完整项目实践学习者能够将课程中分散的知识点串联起来深刻理解每个技术环节在真实问题中的作用与局限从而真正获得解决实际NLP问题的能力。这份由张岳老师课程大纲所启发的学习路径其最终价值正是体现在这种从理论到实践的贯通之中。