自然语言Natural Language其实就是人类语言自然语言处理NLP就是对人类语言的处理当然主要是利用计算机。自然语言处理是关于计算机科学和语言学的交叉学科常见的研究任务包括分词Word Segmentation或Word BreakerWB信息抽取Information ExtractionIE命名实体识别和关系抽取Named Entity Recognition Relation ExtractionNER词性标注Part Of Speech TaggingPOS指代消解Coreference Resolution句法分析Parsing词义消歧Word Sense DisambiguationWSD语音识别Speech Recognition语音合成Text To SpeechTTS机器翻译Machine TranslationMT自动文摘Automatic Summarization问答系统Question Answering自然语言理解Natural Language UnderstandingOCR信息检索Information RetrievalIR早期的自然语言处理系统主要是基于人工撰写的规则这种方法费时费力且不能覆盖各种语言现象。上个世纪80年代后期机器学习算法被引入到自然语言处理中这要归功于不断提高的计算能力。研究主要集中在统计模型上这种方法采用大规模的训练语料corpus对模型的参数进行自动的学习和之前的基于规则的方法相比这种方法更具鲁棒性。