目   录

第 1 章 绪论  1

　　1.1 自然语言处理的相关概念   1

　　1.2 自然语言处理的发展阶段   3

　　1.3 自然语言处理的核心任务   6

　　1.4 本章小结  7

第 2 章 机器学习基础  8

　　2.1 经典机器学习  8

　　　　2.1.1 基本概念 8

　　　　2.1.2 机器学习的分类  10

　　　　2.1.3 机器学习模型   11

　　　　2.1.4 学习准则 13

　　　　2.1.5 优化算法 17

　　　　2.1.6 评价指标 19

　　2.2 神经网络与深度学习   21

　　2.3 本章小结   24

　　第 2 章习题 24

第 3 章 语言模型   27

　　3.1 语言模型概述  27

　　3.2 统计语言模型  28

　　　　3.2.1 模型概述 28

　　　　3.2.2 参数估计 30

　　　　3.2.3 参数平滑 31

　　　　3.2.4 语言模型评价   33

　　　　3.2.5 统计语言模型存在的问题  34

　　3.3 神经网络语言模型   35

　　3.4 本章小结   37

　　第 3 章习题 38

第 4 章 文本表示   40

　　4.1 经典文本表示  40

　　　　4.1.1 基于向量空间模型的文本表示的基本概念  41

　　　　4.1.2 特征选择 41

　　　　4.1.3 权重计算 44

　　4.2 分布式文本表示 45

　　　　4.2.1 基于潜在语义分析的分布式表示 46

　　　　4.2.2 基于预测的分布式表示  48

　　4.3 任务驱动的文本表示   54

　　　　4.3.1 CNN  55

　　　　4.3.2 RNN  58

　　　　4.3.3 基于门控的 RNN 61

　　　　4.3.4 注意力机制   64

　　　　4.3.5 Transformer 模型 69

　　4.4 基于预训练模型的文本表示   71

　　　　4.4.1 基于双向 LSTM 的语言模型——ELMo   72

　　　　4.4.2 基于单向 Transformer 的语言模型——GPT  73

　　　　4.4.3 基于双向 Transformer 的语言模型——BERT 75

　　4.5 本章小结   77

　　第 4 章习题 78

第 5 章 词法分析   81

　　5.1 语言中的词汇  81

　　5.2 英文词语规范化 82

　　5.3 中文分词   83

　　　　5.3.1 分词概述 83

　　　　5.3.2 中文分词方法   83

　　5.4 词性标注   89

　　　　5.4.1 词性标注概述   89

　　　　5.4.2 词性标注方法   90

　　5.5 词法分析工具及语料   92

　　　　5.5.1 词法分析工具   92

　　　　5.5.2 词法分析语料   93

　　5.6 本章小结   94

　　第 5 章习题 94

第 6 章 句法分析   96

　　6.1 成分句法分析  96

　　　　6.1.1 概述   96

　　　　6.1.2 主要方法 98

　　　　6.1.3 评价指标 106

　　6.2 依存句法分析 106

　　　　6.2.1 概述  106

　　　　6.2.2 主要方法 108

　　　　6.2.3 评价指标 113

　　6.3 句法分析工具及相关语料库   114

　　　　6.3.1 句法分析工具  114

　　　　6.3.2 句法分析语料库与相关评测 114

　　6.4 本章小结   115

　　第 6 章习题 115

第 7 章 信息抽取   117

　　7.1 命名实体识别 117

　　　　7.1.1 基本概念 118

　　　　7.1.2 基于规则的命名实体识别 120

　　　　7.1.3 基于统计机器学习的命名实体识别 120

　　　　7.1.4 基于深度学习的命名实体识别   121

　　　　7.1.5 命名实体识别数据集   123

　　7.2 关系抽取   123

　　　　7.2.1 基本概念 124

　　　　7.2.2 基于规则的关系抽取方法 125

　　　　7.2.3 基于统计机器学习的关系抽取方法 126

　　　　7.2.4 基于深度神经网络的关系抽取   126

　　　　7.2.5 基于弱监督的关系抽取方法 130

　　　　7.2.6 篇章级关系抽取方法   132

　　　　7.2.7 关系抽取数据集 133

　　7.3 事件抽取   134

　　　　7.3.1 相关概念 134

　　　　7.3.2 基于深度学习的事件抽取 137

　　　　7.3.3 基于联合训练的事件抽取 139

　　　　7.3.4 事件抽取数据集 141

　　7.4 基于预训练语言模型与大语言模型的信息抽取   142

　　　　7.4.1 预训练精调范式 142

　　　　7.4.2 基于 NL-LLM 信息抽取范式   143

　　　　7.4.3 基于 Code-LLM 信息抽取范式   145

　　7.5 本章小结   146

　　第 7 章习题 146

第 8 章 自动问答   149

　　8.1 概述  149

　　8.2 基于知识库的自动问答   150

　　　　8.2.1 主要数据集   151

　　　　8.2.2 基于语义解析的知识库问答方法  151

　　　　8.2.3 基于深度学习的知识库问答方法  153

　　　　8.2.4 其他类型知识库的问答方法 153

　　8.3 基于固定文档的自动问答 155

　　　　8.3.1 主要数据集   155

　　　　8.3.2 基于深度学习的机器阅读理解方法 156

　　8.4 基于自由文本数据的自动问答  158

　　　　8.4.1 相关数据资源  158

　　　　8.4.2 代表性开放域问答方法  158

　　　　8.4.3 其他开放域问答方法   160

　　8.5 本章小结   161

　　第 8 章习题 161

第 9 章 文本分类与情感分析  162

　　9.1 文本分类   162

　　　　9.1.1 文本分类的基本概念   162

　　　　9.1.2 文本分类的基本方法   163

　　9.2 情感分析   167

　　　　9.2.1 相关概念 168

　　　　9.2.2 情感词典 169

　　　　9.2.3 篇章级情感分析 170

　　　　9.2.4 句子级情感分析 171

　　　　9.2.5 方面级情感分析 172

　　　　9.2.6 隐式情感分析  175

　　9.3 本章小结   178

　　第 9 章习题 178

第 10 章 文本生成   180

　　10.1 相关概念   181

　　10.2 文本生成模型 182

　　　　10.2.1 基于 RNN 的生成模型  183

　　　　10.2.2 基于 Transformer 的生成模型  186

　　　　10.2.3 基于变分自编码器的生成模型  186

　　　　10.2.4 基于生成式对抗网络的生成模型   191

　　　　10.2.5 非自回归生成模型   191

　　　　10.2.6 未来展望   193

　　10.3 常见的文本生成任务及其方法   193

　　　　10.3.1 生成式自动文摘 193

　　　　10.3.2 机器翻译   197

　　10.4 生成式预训练模型   200

　　　　10.4.1 BART 模型  200

　　　　10.4.2 GPT-3 模型  201

　　　　10.4.3 DeepSeek 模型 202

　　10.5 文本生成的评价   204

　　　　10.5.1 人工评价   204

　　　　10.5.2 自动评价   206

　　10.6 本章小结   208

　　第 10 章习题  209

第 11 章 自然语言处理的挑战与趋势 211

　　11.1 低资源自然语言处理任务   211

　　　　11.1.1 低资源语言  211

　　　　11.1.2 低资源领域  213

　　11.2 自然语言推理 214

　　　　11.2.1 常识推理   214

　　　　11.2.2 时空推理   215

　　　　11.2.3 因果推理   216

　　　　11.2.4 推理的可靠性  220

　　11.3 从语言智能迈向通用人工智能   220

　　　　11.3.1 多模态技术  221

　　　　11.3.2 具身智能   221

　　11.4 本章小结   223

参考文献   224