目   录

第 1 章  绪论  1 

1.1  机器学习的定义  1 

1.2  机器学习的种类  1 

1.3  机器学习的应用  5 

1.4  网上公开的部分机器学习数据库  9 

第一部分 机器学习中的数学基础

第 2 章  线性代数  13 

2.1  标量、向量、矩阵和张量 13 

2.2  矩阵的运算  14 

2.3  特殊矩阵  16 

2.4  线性空间、线性相关和线性变换  16 

2.5  内积与范数  17 

2.6  矩阵分解  19 

2.7  Moore-Penrose 伪逆 20 

2.8  MATLAB 函数和示例  21 

第 3 章  概率统计与信息论  24 

3.1  随机事件及其概率  24 

3.2  随机变量及其概率分布  25 

3.3  边缘概率与条件概率  27 

3.4  独立性、全概率公式和贝叶斯公式  28 

3.5  随机变量的数字特征  29 

3.6  常用概率分布  30 

3.7  数理统计基础  33 

3.8  统计推断  35 

3.9  信息论  37 

3.10  MATLAB 函数和示例  38

第 4 章  最优化方法  41 

4.1  拉格朗日乘子法与 KKT 条件  41 

4.2  梯度下降法和共轭梯度法  45 

4.3  牛顿法和拟牛顿法  48 

4.4  坐标下降法  50 

4.5  启发式智能优化算法  51 

4.6  基于 MATLAB 的优化求解  54 

第 5 章  张量分析  57 

5.1  基本概念与运算  57 

5.2  张量的经典分解  60 

5.3  张量奇异值分解  64 

5.4  MATLAB 函数与示例  65 

第二部分 样本数据的处理

第 6 章  核（Kernel）方法  71 

6.1  核函数引入  71 

6.2  正定核函数  74 

6.3  正定核函数的等价定义  74 

6.4  常用的核函数及其 MATLAB 实现  76 

第 7 章  主成分分析（PCA）与核主成分分析（KPCA） 79 

7.1  算法定义  79 

7.2  算法原理  79 

7.3  KPCA  84 

7.4  举例  86 

第 8 章  线性判别分析（LDA）与核线性判别分析（KLDA） 101 

8.1  算法定义  101 

8.2  算法原理  101 

8.3  LDA 与 PCA 比较  109 

8.4  应用举例  109 

第三部分 监 督 学 习

第 9 章  线性回归  121 

9.1  线性回归模型  121 

9.2  线性回归的原理  123 

9.3  多元线性回归算法实现及应用  133 

9.4  基于核的线性回归  139 

第 10 章  逻辑回归  147 

10.1  逻辑回归的背景  147 

10.2  逻辑回归的原理  148 

10.3  逻辑回归算法的实现  152 

第 11 章  贝叶斯分类器  163 

11.1  算法定义  163 

11.2  算法原理  163 

11.3  算法实现及应用举例  164 

第 12 章  决策树  174 

12.1  算法定义  174 

12.2  算法原理  174 

12.3  决策树模型评估  178 

12.4  算法举例  179 

第 13 章  随机森林  194 

13.1  算法定义  194 

13.2  算法原理  195 

13.3  算法实现及应用  197 

第 14 章  支持向量机（SVM） 215 

14.1  算法定义  215 

14.2  算法原理  215 

14.3  应用举例  226 

第 15 章  人工神经网络  238 

15.1  神经元模型  238 

15.2  感知机与多层网络  239 

15.3  反向传播算法  241 

15.4  神经网络的实现  243 

15.5  卷积神经网络  244 

15.6  经典深度神经网路  246 

15.7  神经网络的应用  253 

15.8  MATLAB 函数与示例  255 

第四部分 无监督学习

第 16 章  k-means 聚类方法  259 

16.1  k-means 算法原理  260 

16.2  k-means 算法的优缺点  262 

16.3  聚类个数建议  265 

16.4  k-means 算法的实现及应用举例  266 

第 17 章  模糊 C 均值（FCM）聚类  271 

17.1  FCM 聚类算法原理  271 

17.2  FCM 算法实现及应用举例  274 

17.3  FCM 与 k-means 算法的比较  278 

第 18 章  改进的模糊 C 均值聚类  279 

18.1  PFCM 聚类算法  279 

18.2  KFCM 聚类算法  284 

18.3  SSFCM 聚类算法  288 

18.4  聚类算法的量化评估和图像分割的比较  293 

第五部分 应 用

第 19 章  机器学习算法的综合应用  303 

19.1  鸢尾属植物的分类与聚类  303 

19.2  基于 PCA 和 KPCA 预处理的乳腺细胞分类与聚类  308 

19.3  基于 LDA 和 KLDA 预处理的酒的分类与聚类  317 

第 20 章  机器学习和深度学习的工程应用  328 

20.1  基于 SVM 的天气雷达回波干扰图像的分类  328 

20.2  基于 FCM 的变密度光条纹图像的滤波  333 

20.3  基于 FCM 的光条纹图像的二值化  336 

20.4  基于 ANN 的全场相位的插值  338 

20.5  基于全卷积神经网络的多尺度视网膜图像血管分割  342 

20.6  基于卷积神经网络 ESPI 条纹图滤波  345 

20.7  基于 M-Net 分割网络的光条纹骨架线提取  348 

专业术语中英文对照表  353