目录

配书资源（教学课件、源码等)

有监督学习篇

第1章绪论

1.1机器学习发展历程

1.1.1机器学习简史

1.1.2人工智能大事年表

1.2机器学习模型

1.2.1模型的定义和术语

1.2.2机器学习模型的三要素

1.2.3机器学习模型的分类

1.2.4为什么神经网络属于概率模型

1.3学习本书的前提和方法

1.3.1必备基础

1.3.2学习方法

1.3.3本书的符号约定

1.4概率论基础

1.4.1概率的定义和基本运算

1.4.2随机变量和分布函数

1.4.3常见随机变量的分布

1.4.4期望和方差

1.4.5多维随机变量

1.4.6最大似然估计

第2章线性回归

2.1用sklearn做线性回归

2.1.1创建数据集

2.1.2划分训练集和测试集

2.1.3一元线性回归

2.1.4二元线性回归

2.1.5三元线性回归

2.2线性回归的模型结构和预测

2.2.1数据集表示

2.2.2模型结构和模型预测

2.3线性回归模型的损失函数

2.3.1残差平方和损失

2.3.2负对数似然损失

2.4线性回归的模型训练

2.4.1最小二乘法

2.4.2梯度下降法

2.5岭回归

2.5.1L2正则化与岭回归

2.5.2Lp范数

2.6线性自回归： AR

2.6.1AR模型结构和预测

2.6.2AR模型训练

2.7线性回归模型的评估指标

2.7.1均方误差

2.7.2R2

2.8练习题

第3章逻辑回归

3.1用sklearn实现逻辑回归

3.1.1生成用于分类的模拟数据集

3.1.2用sklearn对样本进行分类

3.2逻辑回归的模型结构和预测

3.2.1数据集表示

3.2.2模型结构和预测

3.3逻辑回归模型的损失函数

3.3.1确定似然函数

3.3.2确定损失函数

3.4逻辑回归的模型训练

3.5多分类逻辑回归

3.6线性回归模型的扩展

3.6.1对数概率回归

3.6.2多项式回归

3.7分类性能评估指标

3.7.1多分类性能评估指标

3.7.2二分类性能评估指标

3.8逻辑回归实践： 用sklearn实现鸢尾花分类

3.9练习题

第4章支持向量机

4.1用sklearn中的SVC实现分类

4.2支持向量机的模型结构和预测

4.2.1数据集表示

4.2.2模型结构

4.2.3模型预测

4.3支持向量机的损失函数

4.4支持向量机模型训练

4.4.1线性可分的情况

4.4.2线性不可分的情况

4.4.3再论支持向量机的损失函数

4.5核技巧

4.6多分类支持向量机

4.7支持向量机实践： 乳腺癌筛查

4.7.1k重交叉验证

4.7.2乳腺癌良性恶性分类

4.8练习题

第5章K近邻与决策树

5.1用sklearn实现K近邻

5.2K近邻的模型结构和预测

5.2.1K近邻模型结构

5.2.2K近邻模型预测

5.2.3K近邻模型的决策边界

5.3使用sklearn构建鸢尾花分类决策树

5.4决策树的模型结构和预测

5.5决策树模型训练

5.5.1用分治策略构建决策树

5.5.2分裂节点的选择

5.5.3基于分治和基尼不纯度实现鸢尾花决策树

5.6常用决策树模型

5.6.1单棵决策树模型

5.6.2集成学习模型

5.7练习题

第6章朴素贝叶斯

6.1贝叶斯分类器

6.1.1贝叶斯分类器模型结构和预测

6.1.2构造ACHW数据集

6.1.3一个简单的贝叶斯分类器

6.2朴素贝叶斯

6.2.1朴素贝叶斯模型结构和预测

6.2.2非高斯朴素贝叶斯

6.2.3其他问题

6.3朴素贝叶斯实践： 文本分类

6.4练习题

无监督学习篇

第7章KMeans和高斯混合模型

7.1用sklearn实现KMeans聚类

7.2KMeans模型结构和预测

7.2.1模型结构

7.2.2模型预测

7.3KMeans模型的损失函数

7.4KMeans的模型训练

7.4.1迭代优化： KMeans 算法

7.4.2KMeans++： 改进的初始化方法

7.4.3超参数K的选择

7.5聚类度量指标

7.5.1轮廓系数

7.5.2DB指数

7.6用sklearn实现高斯混合模型聚类

7.6.1使用ACHW数据集训练高斯混合模型

7.6.2用高斯混合模型生成新样本

7.7高斯混合模型的模型结构和预测

7.7.1模型结构

7.7.2模型的可视化

7.7.3模型预测

7.8高斯混合模型的模型训练

7.8.1确定似然函数

7.8.2EM算法

7.9KMeans和高斯混合模型实践： 鸢尾花聚类

7.9.1KMeans聚类

7.9.2高斯混合模型聚类

7.10练习题

第8章低秩近似和表征学习

8.1用sklearn做主成分分析

8.1.1鸢尾花数据集的可视化

8.1.2鸢尾花数据集的降维

8.2主成分分析原理

8.2.1向量空间的数据变换

8.2.2PCA降维

8.2.3PCA作为一种机器学习模型

8.2.4PCA与低秩近似

8.3奇异值分解原理

8.3.1奇异值分解及其降维

8.3.2奇异值分解作为一种机器学习模型

8.4矩阵补全原理

8.4.1矩阵分解

8.4.2矩阵补全与SVD的比较

8.5表征学习

8.5.1表征学习的历史

8.5.2表征学习相关技术

8.5.3奇异值分解与表征学习

8.6练习题

概率图模型篇

第9章贝叶斯推断

9.1什么是贝叶斯推断

9.1.1象棋大战

9.1.2为什么最大似然估计不可靠

9.1.3贝叶斯推断的核心思想

9.2先验分布

9.2.1Beta分布

9.2.2Beta分布应用于象棋大战问题

9.2.3没有免费的午餐定理

9.3贝叶斯处理

9.3.1象棋大战问题的后验分布估计

9.3.2共轭分布

9.3.3后验分布更新过程的可视化

9.4最大后验估计

9.5贝叶斯逻辑回归

9.5.1参数的先验分布

9.5.2观测值的似然函数

9.5.3参数的后验分布

9.6贝叶斯逻辑回归求解： 最大后验估计

9.6.1最大后验估计

9.6.2代码实现

9.7贝叶斯逻辑回归求解： 采样近似法

9.7.1MetropolisHastings采样法

9.7.2用MetropolisHastings采样计算近似后验分布

9.7.3使用近似后验样本进行预测

9.7.4代码实现

9.8练习题

第10章概率图模型

10.1用概率图模型表示联合分布

10.2有向图模型

10.2.1常用概率模型的有向图表示

10.2.2贝叶斯网络及其概率推理

10.2.3三种基本概率推理模式

10.3D分隔

10.3.1三种基本阻塞结构

10.3.2用pgmpy验证D分隔

10.3.3D分隔实例

10.3.4马尔可夫毯

10.4无向图模型

10.4.1马尔可夫网络和吉布斯分布

10.4.2无向图模型中的独立性

10.5概率图模型的学习和推断

10.5.1模型学习

10.5.2模型推断

10.6练习题

第11章马尔可夫链和隐马尔可夫模型

11.1马尔可夫链

11.1.1三硬币问题

11.1.2马尔可夫链的一般形式

11.1.3马尔可夫链的收敛性

11.1.4马尔可夫链的训练和推断

11.2隐马尔可夫模型结构

11.2.1模型结构

11.2.2生成式模型

11.3隐马尔可夫模型的解码

11.3.1使用hmmlearn做推断

11.3.2Viterbi算法

11.3.3Viterbi算法的实现

11.4隐马尔可夫模型的训练

11.4.1用hmmlearn训练隐马尔可夫模型

11.4.2BaumWelch算法

11.4.3BaumWelch算法的实现

11.5练习题

第12章马尔可夫随机场

12.1马尔可夫随机场模型

12.1.1模型结构

12.1.2模型训练和推断

12.2马尔可夫随机场实践1： 图像去噪

12.2.1伊辛模型

12.2.2图像去噪模型

12.2.3模型推断： ICM

12.2.4代码实现

12.3马尔可夫随机场实践2： 立体视觉问题

12.3.1立体视觉问题

12.3.2马尔可夫随机场建模

12.3.3模型推断： 循环置信传播

12.3.4代码实现

12.4练习题

第13章条件随机场

13.1生成式模型和判别式模型

13.1.1常见的生成式模型和判别式模型

13.1.2生成式模型和判别式模型的区别

13.2条件随机场模型

13.2.1两个条件随机场的例子

13.2.2线性链条件随机场

13.2.3一般形式的条件随机场

13.3特征工程

13.3.1特征函数的构建方法

13.3.2特征工程示例： 拼音输入法

13.4模型推断和训练

13.4.1模型推断

13.4.2模型训练

13.5条件随机场实践： 拼音输入法

13.5.1构建训练集

13.5.2模型训练与预测

13.6练习题

深度学习篇

第14章人工神经网络

14.1MP神经元

14.2感知机

14.2.1感知机的结构和预测

14.2.2感知机的训练

14.2.3感知机的局限性

14.2.4常用激活函数

14.3多分类感知机： Softmax回归

14.3.1Softmax回归模型结构和预测

14.3.2Softmax回归模型训练

14.3.3Softmax回归代码实现

14.4多层感知机： 前馈神经网络

14.4.1多层感知机模型结构和预测

14.4.2VC维与通用逼近定理

14.5多层感知机的训练

14.5.1损失函数

14.5.2梯度计算

14.5.3后向传播算法

14.6神经网络自动求导

14.6.1神经网络常用层的构造

14.6.2基于常用层搭建神经网络

14.7梯度优化器

14.7.1优化器工作原理

14.7.2不同优化器的代码实现

14.8其他优化方法

14.8.1权重初始化

14.8.2权重正则化

14.9人工神经网络实践： 手写数字识别

14.10练习题

第15章卷积神经网络

15.1图像分类问题

15.1.1全连接层的局限性

15.1.2深度网络的必要性

15.2卷积神经网络的结构

15.2.1单通道、单卷积核的卷积层

15.2.2卷积运算

15.2.3单通道池化层

15.2.4多输入通道、多输出通道卷积

15.2.5多通道池化

15.3一个简单的卷积神经网络——SCNN

15.3.1SCNN的结构

15.3.2SCNN的前向传播

15.4SCNN卷积神经网络的训练

15.4.1池化层的后向传播

15.4.2ReLU层的后向传播

15.4.3卷积层的后向传播

15.5SCNN卷积神经网络的代码实现

15.6常用卷积神经网络简介

15.7卷积神经网络实践： CIFAR10图像分类

15.8练习题

第16章循环神经网络

16.1一个简单的语言模型： 预测下一个单词

16.2循环神经网络的模型结构和预测

16.2.1模型结构

16.2.2模型预测： 前向传播算法

16.3循环神经网络的训练

16.3.1后向传播算法： BPTT

16.3.2BPTT代码实现

16.4循环神经网络的变体

16.4.1多层循环神经网络

16.4.2双向循环神经网络

16.4.3可变长度序列的循环神经网络

16.5改进的循环神经网络： LSTM和GRU简介

16.5.1LSTM的模型结构和预测

16.5.2GRU的模型结构和预测

16.5.3Transformer简介

16.6循环神经网络实践： 中文句子生成

16.7练习题

参考文献