目 录

第1章　引言 1

1.1　监督学习 1

1.1.1　回归和分类问题 2

1.1.2　输入 3

1.1.3　机器学习模型 4

1.1.4　深度神经网络 5

1.1.5　结构化输出 5

1.2　无监督学习 7

1.2.1　生成模型 7

1.2.2　潜变量 9

1.2.3　联系监督学习和无监督学习 10

1.3　强化学习 11

1.4　伦理学 12

1.5　本书编排方式 13

1.6　其他书籍 14

1.7　如何阅读本书 15

第2章　监督学习 16

2.1　监督学习概述 16

2.2　线性回归示例 17

2.2.1　一维(1D)线性回归模型 17

2.2.2　损失 18

2.2.3　训练 20

2.2.4　测试 21

2.3　本章小结 21

2.4　注释 22

2.5　问题 22

第3章　浅层神经网络 24

3.1　神经网络示例 24

3.1.1　神经网络的直观理解 25

3.1.2　描绘神经网络 27

3.2 　通用逼近定理 28

3.3　多变量输入和输出 29

3.3.1　可视化多变量输出 29

3.3.2　可视化多变量输入 30

3.4　浅层神经网络：一般情形 33

3.5　术语 33

3.6　本章小结 34

3.7　注释 34

3.8　问题 37

第4章　深度神经网络 40

4.1　组合神经网络 40

4.2　从组合网络到深度网络 43

4.3　深度神经网络 43

4.4　矩阵表示法 46

4.5　浅层与深度神经网络 48

4.5.1　逼近不同函数的能力 48

4.5.2　每参数线性区域数量 48

4.5.3　深度效率 49

4.5.4　大型结构化输入 49

4.5.5　训练和泛化 49

4.6　本章小结 50

4.7　注释 50

4.8　问题 51

第5章　损失函数 54

5.1　最大似然 54

5.1.1　计算输出分布 56

5.1.2　最大似然准则 56

5.1.3　最大化对数似然 56

5.1.4　最小化负对数似然 57

5.1.5　模型推理 58

5.2　构建损失函数 58

5.3　示例1：单变量回归问题 58

5.3.1　最小二乘损失函数 59

5.3.2　模型推理 61

5.3.3　方差估计 61

5.3.4　异方差回归 62

5.4　示例2：二分类问题 63

5.5　示例3：多分类问题 65

5.6　多输出问题 67

5.7　交叉熵损失 68

5.8　本章小结 69

5.9　注释 70

5.10　问题 71

第6章　模型训练 74

6.1　梯度下降法 74

6.1.1　线性回归示例 75

6.1.2　Garbor模型示例 77

6.1.3　局部最小值和鞍点 77

6.2　随机梯度下降 79

6.2.1　批次和epoch 80

6.2.2　随机梯度下降的特性 82

6.3　动量 82

6.4　Adam 优化器 84

6.5　训练算法超参数 86

6.6　本章小结 87

6.7　注释 87

6.8　问题 90

第7章　梯度与参数初始化 93

7.1　问题定义 93

7.2　计算导数 95

7.3　简单示例 96

7.4　反向传播算法 99

7.4.1　反向传播算法总结 102

7.4.2　自动微分 103

7.4.3　扩展到任意计算图 103

7.5　参数初始化 103

7.5.1　正向传播的初始化 104

7.5.2　反向传播的初始化 106

7.5.3　正向和反向传播的初始化 106

7.6　训练代码示例 107

7.7　本章小结 108

7.8　注释 108

7.9　问题 110

第8章　性能评估 114

8.1　训练简单模型 114

8.2　误差来源 116

8.2.1　噪声、偏差和方差 117

8.2.2　测试误差的数学表达 118

8.3　降低误差 120

8.3.1　降低方差 120

8.3.2　降低偏差 122

8.3.3　偏差-方差权衡 122

8.4　选择超参数 127

8.5　本章小结 128

8.6　注释 128

8.7　问题 131

第9章　正则化 133

9.1　显式正则化 133

9.1.1　概率解释 134

9.1.2　L2正则化 134

9.2　隐式正则化 136

9.2.1　梯度下降法中的隐式正则化 136

9.2.2　随机梯度下降法中的隐式正则化 137

9.3　提高性能的启发式算法 139

9.3.1　提前停止 139

9.3.2　集成学习 140

9.3.3　随机丢弃 141

9.3.4　添加噪声 143

9.3.5　贝叶斯推理 144

9.3.6　迁移学习和多任务学习 145

9.3.7　自监督学习 146

9.3.8　数据增广 146

9.4　本章小结 147

9.5　注释 148

9.6　问题 154

第10章　卷积网络 155

10.1　不变性和等变性 156

10.2　用于一维输入的卷积网络 157

10.2.1　一维卷积操作 157

10.2.2　填充 157

10.2.3　步长、核大小和膨胀率 158

10.2.4　卷积层 159

10.2.5　通道 160

10.2.6　卷积网络和感受野 160

10.2.7　示例：MNIST-1D 161

10.3　二维输入的卷积网络 163

10.4　下采样和上采样 165

10.4.1　下采样 165

10.4.2　上采样 165

10.4.3　更改通道数量 166

10.5　应用 167

10.5.1　图像分类 167

10.5.2　目标检测 169

10.5.3　语义分割 170

10.6　本章小结 172

10.7　注释 172

10.8　问题 176

第11章　残差网络 178

11.1　顺序处理 178

11.2　残差连接和残差块 180

11.2.1　残差块中的操作顺序 182

11.2.2　带有残差连接的更深层网络 182

11.3　残差网络中的梯度爆炸 183

11.4　批量归一化 184

11.5　常见的残差架构 185

11.5.1　ResNet 185

11.5.2　DenseNet 187

11.5.3　U-Net和沙漏网络 188

11.6　为什么具有残差连接的网络表现如此出色？ 190

11.7　本章小结 190

11.8　注释 191

11.9　问题 195

第12章　变换器 197

12.1　处理文本数据 197

12.2　点积自注意力 198

12.2.1　计算和加权值 199

12.2.2　计算注意力权重 200

12.2.3　自注意力总结 201

12.2.4　矩阵形式 202

12.3　点积自注意力的扩展 203

12.3.1　位置编码 203

12.3.2　缩放点积自注意力 204

12.3.3　多头 204

12.4　变换器 205

12.5　自然语言处理中的变换器 206

12.5.1　分词 206

12.5.2　嵌入 207

12.5.3　变换器模型 208

12.6　编码器模型示例：BERT 208

12.6.1　预训练 209

12.6.2　微调 209

12.7　解码器模型示例：GPT-3 211

12.7.1　语言建模 211

12.7.2　掩码自注意力 211

12.7.3　从解码器生成文本 212

12.7.4　GPT-3与少样本学习 213

12.8　编码器-解码器模型示例：机器翻译 214

12.9　用于长序列的变换器 216

12.10　图像的变换器 217

12.10.1　ImageGPT 218

12.10.2　视觉变换器(ViT) 219

12.10.3　多尺度视觉变换器 219

12.11　本章小结 220

12.12　注释 221

12.13　问题 228

第13章　图神经网络 230

13.1　什么是图 230

13.2　图的表示 233

13.2.1　邻接矩阵的属性 233

13.2.2　节点索引的排列 234

13.3　图神经网络、任务和损失函数 235

13.4　图卷积网络 237

13.4.1　等变性和不变性 238

13.4.2　参数共享 238

13.4.3　GCN层示例 239

13.5　示例：图分类 240

13.6　归纳模型与演绎模型 241

13.7　示例：节点分类 242

13.8　图卷积网络的层 245

13.8.1　结合当前节点和聚合邻居 245

13.8.2　残差连接 245

13.8.3　平均聚合 246

13.8.4　Kipf归一化 246

13.8.5　最大池化聚合 246

13.8.6　注意力聚合 246

13.9　边图 248

13.10　本章小结 249

13.11　注释 249

13.12　问题 254

第14章　无监督学习 257

14.1　无监督学习模型分类 257

14.2　什么是好的生成模型？ 259

14.3　量化评估指标 260

14.4　本章小结 263

14.5　注释 263

第15章　生成式对抗网络 264

15.1　判别作为信号 264

15.1.1　GAN 损失函数 265

15.1.2　训练 GAN 266

15.1.3　DCGAN 267

15.1.4　GAN训练的难点 268

15.2　提高稳定性 269

15.2.1　GAN 损失函数分析 269

15.2.2　梯度消失 270

15.2.3　Wasserstein距离 271

15.2.4　离散分布的Wasserstein距离 271

15.2.5　连续分布的Wasserstein距离 273

15.2.6　Wasserstein GAN损失函数 273

15.3　提升生成图像质量的方法 274

15.4　条件生成 276

15.4.1　cGAN 276

15.4.2　ACGAN 277

15.4.3　InfoGAN 278

15.5　图像翻译 279

15.5.1　Pix2Pix 279

15.5.2　对抗性损失 279

15.5.3　CycleGAN 281

15.6　StyleGAN 282

15.7　本章小结 284

15.8　注释 285

15.9　问题 288

第16章　标准化流 290

16.1　一维示例 290

16.1.1　计算概率 291

16.1.2　正向和反向映射 292

16.1.3　学习 292

16.2　一般情况 293

16.2.1　基于深度神经网络的正向映射 293

16.2.2　对网络层的要求 294

16.3　可逆网络层 295

16.3.1　线性流 295

16.3.2　逐元素流 296

16.3.3　耦合流 297

16.3.4　自回归流 298

16.3.5　反向自回归流 299

16.3.6　残差流：iRevNet 300

16.3.7　残差流和收缩映射：iResNet 301

16.4　多尺度流 302

16.5　应用 303

16.5.1　密度建模 303

16.5.2　图像合成 304

16.5.3　近似其他密度模型 305

16.6　本章小结 306

16.7　注释 307

16.8　问题 310

第17章　变分自编码器 312

17.1　隐变量模型 312

17.2　非线性隐变量模型 314

17.3　训练 315

17.3.1　证据下界 (ELBO) 315

17.3.2　Jensen 不等式 316

17.3.3　推导下界 317

17.4　ELBO 的性质 318

17.4.1　下界的紧密性 318

17.4.2　ELBO的第三种表示方式 319

17.5　变分近似 320

17.6　变分自编码器 320

17.7　重参数化技巧 323

17.8　应用 323

17.8.1　估计样本概率 323

17.8.2　生成 324

17.8.3　重合成 325

17.8.4　解耦 326

17.9　本章小结 327

17.10　注释 328

17.11　问题 331

第18章　扩散模型 333

18.1　概述 333

18.2　编码器(前向过程) 334

18.2.1　扩散核 335

18.2.2　边缘分布 337

18.2.3　条件分布 338

18.2.4　条件扩散分布 338

18.3　解码器模型(反向过程) 340

18.4　训练 340

18.4.1　证据下界 (ELBO) 341

18.4.2　简化 ELBO 341

18.4.3　分析ELBO 342

18.4.4　扩散损失函数 343

18.4.5　训练过程 343

18.5　损失函数的重参数化 344

18.5.1　目标值的参数化 345

18.5.2　网络的重参数化 346

18.6　实现 347

18.6.1　应用于图像 347

18.6.2　提高生成速度 348

18.6.3　条件生成 349

18.6.4　提高生成质量 350

18.7　本章小结 352

18.8　注释 352

18.9　问题 355

第19章　强化学习 357

19.1　马尔可夫决策过程、回报和策略 357

19.1.1　马尔可夫过程 358

19.1.2　马尔可夫奖励过程 358

19.1.3　马尔可夫决策过程 359

19.1.4　部分可观测马尔可夫决策过程 359

19.1.5　策略 360

19.2　预期回报 361

19.2.1　状态和动作价值 362

19.2.2　最优策略 363

19.2.3　贝尔曼式 363

19.3　表格型强化学习 365

19.3.1　动态规划 365

19.3.2　蒙特卡罗方法 366

19.3.3　时间差分方法 367

19.4　拟合Q学习 368

19.4.1　用于玩ATARI游戏的深度Q网络 369

19.4.2　双Q学习和双深度Q网络 370

19.5　策略梯度方法 371

19.5.1　梯度更新的推导 372

19.5.2　REINFORCE算法 374

19.5.3　基线 374

19.5.4　状态依赖的基线 375

19.6　演员-评论家方法 376

19.7　离线强化学习 377

19.8　本章小结 378

19.9　注释 378

19.10　问题 382

第20章　为什么深度网络有效 385

20.1　质疑深度学习的案例 385

20.1.1　训练 385

20.1.2　泛化 386

20.1.3　看似不合理的有效性 386

20.2　影响拟合性能的因素 387

20.2.1　数据集 387

20.2.2　正则化 387

20.2.3　随机训练算法 388

20.2.4　过度参数化 388

20.2.5　激活函数 389

20.2.6　初始化 390

20.2.7　网络深度 390

20.3　损失函数的性质 391

20.3.1　多个全局最小值 391

20.3.2　到达最小值的路径 391

20.3.3　最小值之间的联系 392

20.3.4　损失面的曲率 393

20.4　决定泛化的因素 394

20.4.1　训练算法 394

20.4.2　最小值的平坦度 395

20.4.3　架构 396

20.4.4　权重的范数 396

20.4.5　过度参数化 397

20.4.6　离开数据流形 397

20.5　我们需要这么多参数吗 398

20.5.1　剪枝 399

20.5.2　知识蒸馏 400

20.5.3　讨论 400

20.6　网络必须很深吗？ 401

20.6.1　建模函数的复杂性 401

20.6.2　训练的可行性 402

20.6.3　归纳偏差 402

20.7　本章小结 402

20.8　问题 403

第21章　深度学习和伦理 404

21.1　价值一致性 405

21.1.1　偏见与公平性 406

21.1.2　人工道德代理 408

21.1.3　透明度与不透明度 409

21.1.4　可解释性 409

21.2　故意滥用 410

21.2.1　面部识别和分析 410

21.2.2　军事化和政治干预 410

21.2.3　欺诈 411

21.2.4　数据隐私 411

21.3　其他社会、伦理和专业问题 412

21.3.1　知识产权 412

21.3.2　自动化偏见和道德技能退化 412

21.3.3　环境影响 413

21.3.4　就业和社会 413

21.3.5　权力集中 413

21.4　案例研究 414

21.5　科学的价值中立理想 414

21.6　负责任的人工智能研究作为集体行动问题 415

21.6.1　科学沟通 416

21.6.2　多样性和异质性 416

21.7　未来的方向 416

21.8　本章小结 417

21.9　问题 418

附录A　符号表示 420

附录B　数学 423

附录C　概率 432