NLP 的核心任务NLP 的核心任务通常按语言处理层级划分从底层词法到高层语义共包括以下几个方面一、词法层任务1. 分词Word Segmentation将连续文本切分为有意义的最小语言单位。中文自然语言处理 → [自然, 语言, 处理]英文通常以空格分隔但仍需处理缩写、标点。2. 词性标注POS Tagging为每个词标注语法类别名词、动词、形容词等。我(r) 爱(v) 北京(ns)3. 命名实体识别NER识别文本中具有特定意义的实体如人名、地名、机构名、时间、金额等。马云于1999年在杭州创立阿里巴巴 → 人名:马云 / 时间:1999年 / 地名:杭州 / 机构:阿里巴巴二、句法层任务4. 句法分析Syntactic Parsing分析句子的语法结构常见两种形式成分分析短语结构树S → NP VP依存分析词与词之间的修饰/支配关系5. 词义消歧WSD确定多义词在具体语境中的正确含义。我要去银行(bank)存款→ 金融机构而非河岸。三、语义层任务6. 语义角色标注SRL识别句子中谁对谁做了什么标注施事、受事、时间、地点等语义角色。7. 语义相似度计算判断两段文本在语义上的接近程度是搜索、推荐、去重的基础。8. 情感分析Sentiment Analysis判断文本表达的情感倾向正面/负面/中性或具体情绪类别常用于舆情监控、商品评价。四、篇章层任务9. 文本分类Text Classification将文本归入预定义类别如新闻分类、垃圾邮件识别、意图识别。10. 信息抽取Information Extraction从非结构化文本中抽取结构化事实关系抽取实体间关系如创始人—公司事件抽取事件类型及参与要素11. 文本摘要Summarization抽取式从原文挑选关键句组合生成式用新语言重新组织表达核心内容12. 机器翻译Machine Translation将一种自然语言文本自动翻译为另一种语言是 NLP 最具代表性的综合任务。五、对话与生成层任务13. 问答系统QA针对用户问题从知识库或文档中返回精准答案包括检索式 QA、知识图谱 QA、阅读理解式 QA14. 对话系统Dialog System任务型完成具体业务订票、查天气开放域闲聊式对话15. 文本生成NLG按需求自动生成连贯文本如新闻撰写、代码生成、故事创作。任务层级总览词法层 → 分词、词性标注、NER ↓ 句法层 → 句法分析、词义消歧 ↓ 语义层 → 语义角色标注、相似度、情感分析 ↓ 篇章层 → 分类、信息抽取、摘要、翻译 ↓ 生成层 → 问答、对话、文本生成一句话概括NLP 的核心任务沿着“词 → 句 → 语义 → 篇章 → 生成”的层级递进底层任务为上层任务提供基础最终目标是让计算机完整地理解和生成人类语言。