目录

第1章绪论1

1.1什么是大模型2

1.2人工智能与大模型3

1.2.1为何需要人工智能3

1.2.2重温人工智能定义6

1.3判断人工智能引发的3个思想实验7

1.3.1图灵测试7

1.3.2中文屋子与人工智能10

1.3.3亿年机器人与人类智能13

1.4大模型独特能力15

1.4.1涌现能力16

1.4.2思维链与慢思考18

1.4.3提示学习22

1.5感性认识大模型——AIGC23

1.5.1文本释义24

1.5.2我问你答25

1.5.3摘要生成27

1.5.4语言翻译28

1.5.5多模态交互28

1.5.6大模型催生软件3.0时代31

1.6大模型的本质34

1.7苦涩的教训36

1.8缩放定律38

1.9本章小结40

1.10思考与练习41

参考文献42

第2章语言模型的哲理基础43

2.1自然语言与人类智能43

2.1.1智人的语言43

2.1.2语言与智能45

2.1.3机器的语言47

2.1.4自然语言处理的任务48

2.2自然语言处理发展的两个基本范式51

2.2.1理性主义52

2.2.2经验主义54

2.3语言模型的基础概念56

2.3.1语言模型的发展56

2.3.2自然语言处理的分布假设56

2.3.3语言模型中的词元58

2.4统计语言模型63

2.4.1语言模型的定义63

2.4.2ngram语言模型64

2.5神经网络语言模型67

2.5.1自适应语言模型68

2.5.2词嵌入模型与相似度策略69

2.6预训练语言模型74

2.6.1ELMo75

2.6.2Transformer76

2.6.3BERT77

2.6.4GPT178

2.7大语言模型79

2.7.1GPT2系列的发展与突破 79

2.7.2DeepSeek的创新与优化 81

2.7.3专家混合模型82

2.7.4大模型的哲学意义85

2.8本章小结87

2.9思考与练习88

参考文献88

第3章神经网络与深度学习89

3.1人工智能的两个学派89

3.1.1符号主义89

3.1.2联结主义91

3.2人工神经网络的本质93

3.2.1人工神经网络的生物学灵感93

3.2.2神经网络的第一性原理95

3.3神经网络的基础要素97

3.4深度学习的积木——感知机98

3.5神经网络的前向传播100

3.6为何需要激活函数102

3.7多层神经网络104

3.8神经网络中的损失函数108

3.8.1平均绝对误差109

3.8.2均方误差损失109

3.8.3对数损失与二元交叉熵110

3.8.4交叉熵损失与负对数似然111

3.9神经网络的训练114

3.10深度学习116

3.10.1特征工程116

3.10.2构建特殊的网络结构118

3.11卷积神经网络120

3.11.1卷积神经网络从何而来121

3.11.2卷积层124

3.11.3池化层126

3.11.4激活层128

3.11.5全连接层128

3.12深度学习中“层”的本质129

3.13本章小结131

3.14思考与练习131

参考文献132

第4章深度序列模型133

4.1为何需要序列模型133

4.2RNN的工作原理135

4.2.1RNN的理论基础135

4.2.2简易循环神经网络136

4.2.3双向RNN138

4.3序列模型的应用140

4.3.1onetoone141

4.3.2onetomany142

4.3.3manytoone142

4.3.4manytomany143

4.4LSTM长短期记忆145

4.4.1LSTM往事146

4.4.2记忆加强版的神经元148

4.4.3结构简化版的GRU153

4.5Seq2Seq框架155

4.5.1编码器156

4.5.2解码器157

4.6本章小结159

4.7思考与练习160

参考文献161

第5章注意力机制与Transformer162

5.1注意力机制162

5.1.1关于注意力的一个著名实验163

5.1.2人类视觉系统的启示164

5.1.3神经网络中的注意力机制166

5.2Transformer模型169

5.2.1注意力机制的二次发明169

5.2.2Transformer 的诞生背景170

5.2.3Transformer架构171

5.2.4Transformer的创新173

5.3可圈可点的Transformer的位置编码174

5.3.1位置编码的背景174

5.3.2位置编码的原理175

5.3.3位置编码示例177

5.4Transformer中的注意力机制180

5.4.1注意力机制181

5.4.2自注意力的Q、K和V的设计理念183

5.5自注意力机制的计算流程184

5.5.1生成查询矩阵、键矩阵和值矩阵185

5.5.2计算查询与键的相似度187

5.5.3缩放相似度188

5.5.4归一化注意力权重189

5.5.5加权求和生成输出190

5.5.6自注意力计算实践191

5.6多头注意力197

5.6.1多头注意力的原理197

5.6.2多头注意力与卷积核199

5.7多头潜在注意力200

5.7.1多头潜在注意力的定义200

5.7.2多头潜在注意力机制的数学原理202

5.7.3多头潜在注意力机制实践204

5.8Transformer的进化树206

5.9本章小结208

5.10思考与练习208

参考文献209

第6章大模型的部署与使用210

 6.1大模型与新质生产力210

6.2大模型的构建211

6.2.1大模型预训练212

6.2.2指令微调与人类对齐212

6.2.3构建基座大模型的优势与不足213

6.3主流大模型215

6.3.1BERT215

6.3.2T5 模型216

6.3.3GPT系列大模型218

6.3.4开源旗手Llama220

6.4蓬勃发展的国内大模型222

6.4.1讯飞星火223

6.4.2豆包224

6.4.3通义千问225

6.4.4ChatGLM226

6.4.5DeepSeek228

6.5利用Ollama本地部署大模型232

6.5.1大模型的量化等级232

6.5.2模型部署流程233

6.5.3安装Ollama234

6.5.4利用 Ollama下载 Llama236

6.5.5安装 Docker: 轻量级虚拟化解决方案238

6.5.6安装Open WebUI241

6.5.7加载大模型 Llama244

6.5.8加载DeepSeekR1246

6.6利用LM Studio本地部署Llama251

6.6.1安装 LM Studio252

6.6.2下载GGUF模型文件252

6.7部署ChatGLM256

6.7.1云端部署ChatGLM257

6.7.2大模型前端Streamlit259

6.7.3本地与服务器交互263

6.7.4本地部署ChatGLM266

6.8本章小结270

6.9思考与练习271

参考文献272

第7章大模型的提示学习273

7.1提示学习273

7.1.1什么是提示273

7.1.2设置提示词的3个角色275

7.1.3两类不同用途的大模型278

7.1.4大模型使用的3个原则281

7.1.5有效提示词的构成部分281

7.2提示词的黄金法则283

7.2.1给出清晰的指令283

7.2.2提供具体的上下文285

7.2.3将复杂任务分解为简单任务286

7.2.4给模型时间思考288

7.2.5角色扮演很重要290

7.2.6借力外部工具292

7.3迭代提示出真知295

7.4少样本提示学习297

7.4.1零样本提示298

7.4.2少样本提示299

7.5利用API与大模型交互302

7.5.1利用智谱清言API进行交互302

7.5.2利用DeepSeek应用程序接口进行交互309

7.6提示学习优劣势315

7.6.1提示学习的优势315

7.6.2提示学习的不足316

7.7本章小结317

7.8思考与练习318

参考文献319

第8章大模型微调320

8.1微调的定义320

8.2大模型微调策略321

8.2.1全参数微调321

8.2.2部分参数微调323

8.3参数高效微调 325

8.3.1监督微调325

8.3.2前缀微调327

8.3.3提示微调329

8.4人类反馈强化学习331

8.5直接偏好优化333

8.5.1DPO 流程333

8.5.2DPO案例335

8.5.3DPO与其他微调策略的比较336

8.6PTuning337

8.6.1PTuning v1版本338

8.6.2PTuning v2版本338

8.7LoRA微调341

8.8云端平台微调 342

8.8.1准备特定格式的训练数据集343

8.8.2智谱开放平台微调349

8.8.3调用微调后的模型355

8.9利用Unsloth 微调Llama 357

8.9.1Unsloth 微调框架357

8.9.2数据准备359

8.9.3加载模型365

8.9.4微调前模型运行371

8.9.5定义微调模型374

8.9.6上传训练数据375

8.9.7模型加载数据376

8.9.8训练数据验证378

8.9.9模型训练379

8.9.10模型参数的GGUF 格式386

8.9.11LM Studio加载微调模型388

8.10本章小结390

8.11思考与练习391

参考文献391

第9章LLM智能体实践392

9.1智能体基础与发展脉络392

9.1.1概念演进: 从传统 AI Agent到LLMAgent392

9.1.2反应式智能体与审慎式智能体对比395

9.1.3“大模型×智能体”为什么成为新风口396

9.2智能体的功能与性能评估398

9.2.1感知—决策—行动闭环398

9.2.2记忆、推理与规划的协同399

9.2.3智能体的关键指标401

9.3智能体的规划402

9.3.1规划的定义403

9.3.2规划三组件404

9.4智能体的应用场景406

9.4.1信息检索407

9.4.2自动化执行408

9.4.3游戏和虚拟环境410

9.4.4机器人控制411

9.5利用Coze零代码构建智能体414

9.5.1什么是 Coze414

9.5.2使用Coze插件415

9.5.3创建工作流423

9.5.4利用扣子空间443

9.6MCP445

9.6.1MCP简介与诞生背景445

9.6.2MCP的核心机制与结构组成447

9.7本章小结454

9.8思考与练习455

参考文献456

第10章大模型的认知边界与安全对齐457

10.1章鱼测试与语言模型的局限性457

10.2从柏拉图表征假说到多模态大模型460

10.3大模型安全463

10.3.1提示词越狱攻击463

10.3.2视觉对抗样本攻击465

10.3.3提示词注入攻击466

10.3.4无限循环输出的DeepSeekR1 468

10.4大模型的人类对齐与超级对齐469

10.4.1人类对齐的由来469

10.4.2人类对齐的必要性471

10.4.3超级对齐问题473

10.4.4实现人类对齐的方法474

10.4.5人类反馈强化学习475

10.4.6曲别针极造机的启示478

10.5图灵的回答481

10.6本章小结482

10.7思考与练习483

参考文献483