目    录

第1章  高性能注意力与多模态融合 1

1.1  从涌现到飞跃：高性能大模型的崛起 1

1.1.1  大模型的“涌现” 2

1.1.2  大模型的发展历程 3

1.1.3  高性能大模型的崛起 4

1.2  大模型的内功：高性能注意力机制的崛起 5

1.2.1  注意力机制的基本原理 5

1.2.2  注意力机制的变革与发展 6

1.2.3  高性能注意力机制崛起：GQA与MLA 6

1.3  大模型的外拓：多模态融合 7

1.3.1  多模态外拓及其挑战 7

1.3.2  融合策略与技术概览 7

1.3.3  深度学习在多模态融合中的应用场景 9

1.4  高性能注意力与多模态融合的未来展望 10

1.4.1  融合技术的创新方向 11

1.4.2  注意力机制的前沿探索 11

1.5  本章小结 12

第2章  PyTorch深度学习环境搭建 13

2.1  安装Python开发环境 13

2.1.1  Miniconda的下载与安装 13

2.1.2  PyCharm的下载与安装 16

2.1.3  计算softmax函数练习 20

2.2  安装PyTorch 2.0 21

2.2.1  NVIDIA 10/20/30/40系列显卡选择的GPU版本 21

2.2.2  PyTorch 2.0 GPU NVIDIA运行库的安装 21

2.2.3  Hello PyTorch 24

2.3  多模态大模型DeepSeek初探与使用 24

2.3.1  DeepSeek模型简介 25

2.3.2  DeepSeek带来的技术创新 26

2.3.3  DeepSeek的第三方服务与使用示例 27

2.4  本章小结 29

第3章  注意力机制详解之基础篇 30

3.1  注意力机制与模型详解 30

3.1.1  注意力机制详解 31

3.1.2  自注意力（Self-Attention）机制 32

3.1.3  自注意力的代码实现 37

3.1.4  ticks和Layer Normalization 38

3.1.5  多头自注意力 39

3.2  注意力机制的应用实践：编码器 42

3.2.1  自编码器的总体架构 42

3.2.2  回到输入层：初始词向量层和位置编码器层 43

3.2.3  前馈层的实现 46

3.2.4  将多层模块融合的TransformerBlock层 47

3.2.5  编码器的实现 48

3.3  基础篇实战：自编码架构的拼音汉字生成模型 53

3.3.1  汉字拼音数据集处理 54

3.3.2  搭建文本与向量的桥梁—Embedding 56

3.3.3  自编码模型的确定 58

3.3.4  模型训练部分的编写 59

3.4  本章小结 60

第4章  注意力机制详解之进阶篇 62

4.1  注意力机制的第二种形态：自回归架构 62

4.1.1  自回归架构重大突破：旋转位置编码 63

4.1.2  添加旋转位置编码的注意力机制与现有库包的实现 64

4.1.3  新型的激活函数SwiGLU详解 66

4.1.4  “因果掩码”与“错位”输入输出格式详解 67

4.2  进阶篇实战1：无须位置表示的酒店评论情感判断 69

4.2.1  数据集的准备与读取 69

4.2.2  使用sentencepiece建立文本词汇表 70

4.2.3  编码情感分类数据集 71

4.2.4  基于新架构文本分类模型设计 72

4.2.5  情感分类模型的训练与验证 75

4.3  进阶篇实战2：基于自回归模型的酒店评论生成 77

4.3.1  数据集的准备与读取 77

4.3.2  基于自回归文本生成模型的设计 78

4.3.3  评论生成模型的训练 82

4.3.4  使用训练好的模型生成评论 83

4.4  本章小结 83

第5章  注意力机制详解之高级篇 85

5.1  替代前馈层的混合专家模型详解 86

5.1.1  混合专家模型的基本结构 86

5.1.2  混合专家模型中的“专家”与“调控”代码实现 87

5.2  高级篇实战1：基于混合专家模型的情感分类实战 91

5.2.1  基于混合专家模型的MoE评论情感分类实战 91

5.2.2  混合专家模型中负载平衡的实现 94

5.2.3  修正后的MoE门控函数 96

5.3  带有MoE的注意力模型 97

5.3.1  注意力机制中的前馈层不足 98

5.3.2  MoE天然可作为前馈层 101

5.3.3  结合MoE的注意力机制 104

5.4  高级篇实战2：基于通道注意力的图像分类 105

5.4.1  数据集的准备 105

5.4.2  图像识别模型的设计 107

5.4.3  结合通道注意力图像分类模型 108

5.4.4  图像识别模型SENet的训练与验证 110

5.5  高级篇实战3：基于MoE与自注意力的图像分类 111

5.5.1  基于注意力机制的ViT模型 112

5.5.2  Patch和Position Embedding 114

5.5.3  可视化的V-MoE详解 116

5.5.4  V-MoE模型的实现 118

5.5.5  基于图像识别模型V-MoE的训练与验证 119

5.5.6  使用已有的库包实现MoE 121

5.6  本章小结 122

第6章  注意力机制详解之调优篇 124

6.1  注意力模型优化方案讲解 124

6.1.1  注意力模型优化1：MQA模型 125

6.1.2  注意力模型优化2：MLA模型 127

6.1.3  注意力模型优化3：GQA模型 129

6.1.4  注意力模型优化4：差分注意力模型 134

6.2  调优篇实战1：基于MLA的人类语音情感分类 140

6.2.1  情绪数据的获取与标签的说明 140

6.2.2  情绪数据集的读取 141

6.2.3  语音情感分类模型的设计和训练 143

6.3  本章小结 144

第7章  旅游特种兵迪士尼大作战：DeepSeek API调用与高精准路径优化 146

7.1  基于在线API的大模型调用 147

7.1.1  DeepSeek的注册与API获取 147

7.1.2  带有特定格式的DeepSeek的API调用 149

7.1.3  带有约束的DeepSeek的API调用 150

7.2  智能化DeepSeek工具调用详解 153

7.2.1  Python使用工具的基本原理 154

7.2.2  在DeepSeek中智能地使用工具 154

7.2.3  在DeepSeek中选择性地使用工具 157

7.2.4  DeepSeek工具调用判定依据 165

7.3  旅游特种兵迪士尼大作战：DeepSeek高精准路径优化 170

7.3.1  游乐场数据的准备 170

7.3.2  普通大模型的迪士尼游玩求解攻略 173

7.3.3  基于动态规划算法的迪士尼游玩求解攻略 174

7.3.4  基于DeepSeek的旅游特种兵迪士尼大作战 176

7.4  本章小结 178

第8章  广告文案撰写实战：多模态DeepSeek本地化部署与微调 179

8.1  多模态DeepSeek-VL2本地化部署与使用 180

8.1.1  Linux版本DeepSeek-VL2代码下载与图像问答 180

8.1.2  Windows版本DeepSeek-VL2代码下载 182

8.2  广告文案撰写实战1：PEFT与LoRA详解 183

8.2.1  微调的目的：让生成的结果更聚焦于任务目标 183

8.2.2  微调经典方法LoRA详解 185

8.2.3  适配DeepSeek微调的辅助库PEFT详解 187

8.3  广告文案撰写实战2：本地化DeepSeek-VL2微调 190

8.3.1  数据的准备 190

8.3.2  微调模型的训练 192

8.3.3  微调模型的使用与推断 194

8.4  本章小结 196

第9章  注意力与特征融合范式1：Diffusion可控图像生成 197

9.1  Diffusion生成模型精讲 197

9.1.1  Diffusion Model的精讲 198

9.1.2  直接运行的经典DDPM的模型训练实战 199

9.1.3  DDPM的模型基本模块说明 202

9.1.4  DDPM加噪与去噪详解：结合成功运行的扩散模型代码 205

9.1.5  DDPM的损失函数：结合成功运行的Diffusion Model代码 210

9.2  可控图像生成实战：融合特征的注意力机制 211

9.2.1  扩散模型可控生成的基础：特征融合 212

9.2.2  注意力MQA中的可控特征融合 212

9.2.3  基于注意力的扩散模型的设计 214

9.2.4  图像的加噪与模型训练 217

9.2.5  基于注意力模型的可控图像生成 220

9.3  本章小结 223

第10章  注意力与特征融合范式2：多模态图文理解与问答 224

10.1  多模态图文问答实战 224

10.1.1  一种新的多模态融合方案 225

10.1.2  数据集的设计与使用 228

10.1.3  多模态融合数据集的训练 229

10.1.4  多模态图文问答的预测 230

10.2  更多的多模态融合方案 231

10.2.1  一种截断的多模态融合方案 231

10.2.2  截断后多模态模型的训练与预测 234

10.2.3  一种加法基础的多模态融合方案 235

10.3  本章小结 237

第11章  注意力与特征融合范式3：交叉注意力语音转换 239

11.1  端到端语音识别任务简介 239

11.1.1  端到端的语音识别 240

11.1.2  中文语音文本数据集说明 241

11.2  端到端音频特征提取库librosa的使用 243

11.2.1  音频信号的基本读取方法 243

11.2.2  多特征音频抽取 246

11.3  端到端语音识别任务简介 248

11.3.1  全中文音频数据集的准备 248

11.3.2  音频特征的提取与融合 250

11.3.3  基于生成模型的端到端语音识别任务 253

11.3.4  端到端语音识别任务的训练与预测 255

11.4  基于PyTorch的数据处理与音频特征融合 257

11.4.1  THCHS30数据集的处理 257

11.4.2  基于torchaudio的音频预处理 258

11.4.3  基于不同角度的音频特征获取和简单融合 260

11.4.4  关于特征融合的讲解 261

11.5  用于特征融合的交叉注意力 262

11.5.1  交叉注意力详解 262

11.5.2  带有掩码的交叉注意力 265

11.5.3  完整的带有掩码的交叉注意力端到端语音识别 267

11.5.4  基于交叉注意力的端到端语音识别的训练与预测 269

11.5.5  基于连接concat的端到端语音识别模型 269

11.6  本章小结 271

第12章  多模态特征token压缩 272

12.1  图像特征压缩的多种实现 272

12.1.1  Pixel-Shuffle的token压缩 272

12.1.2  Cross-layer Token Fusion压缩 274

12.1.3  AvgPool的token压缩 277

12.2  基于AvgPool与自编码器的语音识别 278

12.2.1  修改后的AvgPool函数 278

12.2.2  自编码器语音识别模型1：数据准备 279

12.2.3  自编码器语音识别模型2：模型设计 280

12.2.4  自编码器语音识别模型3：模型的训练与预测 281

12.3  本章小结 282

第13章  从二维到一维：图像编码器详解与图形重建实战 283

13.1  图像编码器 284

13.1.1  从自然语言处理讲起 284

13.1.2  图像的编码与解码VQ-VAE 285

13.1.3  为什么VQ-VAE采用离散向量 285

13.1.4  VQ-VAE的核心实现 287

13.2  基于VQ-VAE的手写体生成 289

13.2.1  图像的准备与超参数设置 289

13.2.2  VQ-VAE的编码器与解码器 291

13.2.3  VQ-VAE的模型设计 295

13.2.4  VQ-VAE的训练与预测 297

13.2.5  获取编码后的离散token 299

13.3  基于FSQ的人脸生成 300

13.3.1  FSQ算法简介与实现 301

13.3.2  人脸数据集的准备 303

13.3.3  基于FSQ的人脸重建方案 304

13.3.4  基于FSQ的人脸输出与离散token 306

13.4  基于FSQ算法的语音存储 307

13.4.1  无监督条件下的语音存储 307

13.4.2  可作为密码机的离散条件下的语音识别 308

13.5  本章小结 309

第14章  基于PyTorch的端到端视频分类实战 310

14.1  视频分类数据集的准备 310

14.1.1  HMDB51数据集的准备 311

14.1.2  视频抽帧的处理 312

14.1.3  基于PyTorch的数据输入 314

14.2  注意力视频分类实战 315

14.2.1  对于视频的Embedding编码器 316

14.2.2  视频分类模型的设计 317

14.2.3  视频分类模型的训练与验证 320

14.3  使用预训练模型的视频分类 321

14.3.1  torchvision简介 321

14.3.2  基于torchvision的端到端视频分类实战 324

14.4  本章小结 326

第15章  基于DeepSeek的跨平台智能客服开发实战 328

15.1  智能客服的设计与基本实现 328

15.1.1  智能客服搭建思路 329

15.1.2  商品介绍数据的格式与说明 329

15.1.3  基于DeepSeek的智能客服设计 334

15.2  带有跨平台客户端的智能客服开发实战 337

15.2.1  跨平台客户端Gradio使用详解 337

15.2.2  一个简单的Gradio示例 343

15.2.3  基于DeepSeek的跨平台智能客服实现 343

15.3  本章小结 346