Contents

目录

绪论 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1

第 1章   机器学习 ???????????????????????????????????????????????????????????????????????????????????????????????????????????? 7

1.1    什么是机器学习?  8

1.2    回归：找到自变量与因变量关系   10

1.3    分类：针对有标签数据   14

1.4    降维：降低数据维度，提取主要特征  16

1.5    聚类：针对无标签数据  20

1.6    机器学习流程 21

1.7    下一步学什么？ 24

第 2章    回归分析 ?????????????????????????????????????????????????????????????????????????????????????????????????????????? 27

2.1    线性回归：一个表格、一条直线  29

2.2    方差分析 (ANOVA)  32

2.3    总离差平方和 (SST) 35

2.4    回归平方和 (SSR) 37

2.5    残差平方和 (SSE)  38

2.6    几何视角：勾股定理  40

2.7    拟合优度：评价拟合程度  42

2.8    F 检验：模型参数不全为 0 44

2.9    t 检验：某个回归系数是否为 0 46

2.10    置信区间：因变量均值的区间 50

2.11    预测区间：因变量特定值的区间 51

2.12    对数似然函数：用在最大似然估计 (MLE)  51

2.13    信息准则：选择模型的标准 52

2.14    残差分析：假设残差服从均值为 0 的正态分布  53

2.15     自相关检测：Durbin-Watson  54

2.16    条件数：多重共线性  55

第 3章    多元线性回归   57

3.1    多元线性回归 58

3.2    优化问题：OLS  60

3.3    几何解释：投影 63

3.4    二元线性回归实例 65

3.5    多元线性回归实例 68

3.6    正交关系 72

3.7    三个平方和 75

3.8    t 检验 77

3.9    多重共线性 78

3.10    条件概率视角看多元线性回归  80

第4章    非线性回归   85

4.1    线性回归  86

4.2    线性对数模型 88

4.3    非线性回归 90

4.4    多项式回归 92

4.5    逻辑回归  97

4.6    逻辑函数完成分类问题  102

第 5章    正则化回归   109

5.1    正则化：抑制过拟合  110

5.2    岭回归  113

5.3    几何角度看岭回归 119

5.4    套索回归  121

5.5    几何角度看套索回归  123

5.6    弹性网络回归 127

第 6章    贝叶斯回归   133

6.1    回顾贝叶斯推断 134

6.2    贝叶斯回归：无信息先验  137

6.3    使用 PyMC 完成贝叶斯回归  137

6.4    贝叶斯视角理解岭正则化  142

6.5    贝叶斯视角理解套索正则化  144

第 7章    高斯过程   149

7.1    高斯过程原理 150

7.2    解决回归问题 156

7.3    解决分类问题 157

第8章   k最近邻分类 ???????????????????????????????????????????????????????????????? 163

8.1    k 最近邻分类原理：近朱者赤，近墨者黑  164

8.2    二分类：非红，即蓝  166

8.3    三分类：非红，要么蓝，要么灰  168

8.4    近邻数量 k 影响投票结果  170

8.5    投票权重：越近，影响力越高  173

8.6    最近质心分类：分类边界为中垂线  174

8.7    k-NN 回归：非参数回归 177

第 9章   朴素贝叶斯分类   181

9.1    重逢贝叶斯 182

9.2    朴素贝叶斯的“朴素 ”之处  186

9.3    高斯，你好 198

第 10章    高斯判别分析   213

10.1    又见高斯 214

10.2    六类协方差矩阵  217

10.3    决策边界解析解  219

10.4    第一类 221

10.5    第二类 224

10.6    第三类 226

10.7    第四类 227

10.8    第五类 228

10.9    第六类 229

10.10    线性和二次判别分析 230

第 11章   支持向量机 ????????????????????????????????????????????????????????????????????????????? 235

11.1    支持向量机 236

11.2    硬间隔：处理线性可分  240

11.3    构造优化问题  245

11.4    支持向量机处理二分类问题 248

11.5    软间隔：处理线性不可分  252

第 12章   核技巧 ????????????????????????????????????????????????????????????????????????????????????????? 257

12.1    映射函数：实现升维  258

12.2    核技巧 SVM 优化问题 261

12.3    线性核：最基本的核函数  266

12.4    多项式核 268

12.5    二次核：二次曲面  271

12.6    三次核：三次曲面  273

12.7    高斯核：基于径向基函数  275

12.8    Sigmoid 核  280

第 13章   决策树 ???????????????????????????????????????????????????????????????????????????????????????????????????????? 285

13.1    决策树：可以分类，也可以回归  286

13.2    信息熵：不确定性度量  288

13.3    信息增益：通过划分，提高确定度 290

13.4    基尼指数：指数越大，不确定性越高 292

13.5    最大叶节点：影响决策边界 293

13.6    最大深度：控制树形大小  297

第 14章    主成分分析 ??????????????????????????????????????????????????????????????????????????????????????????????? 303

14.1    主成分分析 304

14.2    原始数据 307

14.3    特征值分解 310

14.4    正交空间 312

14.5    投影结果 316

14.6    还原 320

14.7    双标图 323

14.8    陡坡图 327

第 15章   截断奇异值分解 ???????????????????????????????????????????????????????????????????????????????????????? 331

15.1    几何视角看奇异值分解  332

15.2    四种 SVD 分解 334

15.3    几何视角看截断型 SVD 336

15.4    优化视角看截断型 SVD 339

15.5    分析鸢尾花照片  343

第 16章    主成分分析进阶 ??????????????????????????????????????????????????????????????????????????????????????? 351

16.1    从“六条技术路线 ”说起  352

16.2    协方差矩阵：中心化数据  355

16.3    格拉姆矩阵：原始数据  363

16.4    相关性系数矩阵：标准化数据 368

第 17章    主成分分析与回归 ???????????????????????????????????????????????????????????????????????????????????? 375

17.1    正交回归 376

17.2    一元正交回归  378

17.3    几何角度看正交回归  382

17.4    二元正交回归  385

17.5    多元正交回归  389

17.6    主元回归 393

17.7    偏最小二乘回归  405

第 18章   核主成分分析   413

18.1    核主成分分析  414

18.2    从主成分分析说起  415

18.3    用核技巧完成核主成分分析 418

第 19章   典型相关分析   427

19.1    典型相关分析原理  428

19.2    从一个协方差矩阵考虑  432

19.3    以鸢尾花数据为例  434

第 20章   K均值聚类 ???????????????????????????????????????????????????????????????????????????????????????????????? 443

20.1    K 均值聚类 444

20.2    优化问题 445

20.3    迭代过程 448

20.4    肘部法则：选定聚类簇值  450

20.5    轮廓图：选定聚类簇值  452

20.6    沃罗诺伊图 454

第 21章    高斯混合模型   457

21.1    高斯混合模型  458

21.2    四类协方差矩阵  464

21.3    分量数量 469

21.4    硬聚类和软聚类  471

第 22章    最大期望算法   475

22.1    最大期望 476

22.2    E 步：最大化期望 477

22.3    M 步：最大化似然概率 480

22.4    迭代过程 482

22.5    多元 GMM 迭代 486

第 23章   层次聚类   495

23.1    层次聚类 496

23.2    树形图 497

23.3    簇间距离 503

23.4    亲近度层次聚类  509

第 24章    密度聚类   511

24.1    DBSCAN 聚类  512

24.2    调节参数 515

第 25章   谱聚类   519

25.1    谱聚类 520

25.2    距离矩阵 521

25.3    相似度 524

25.4    无向图 525

25.5    拉普拉斯矩阵  527

25.6    特征值分解 530

参考文献 ????????????????????????????????????????????????????????????????????????????????? 535