" 本书旨在帮助读者理解开源大语言模型的架构、训练和推理过程，以及相关的源代码。主要研究对象是Meta开源的Llama模型。本书从Python Numpy实现单层感知机和神经网络开始，逐步讲解了如何实现Transformer模型和Llama模型。此外，本书还介绍了增量预训练模型、监督微调和人类反馈强化学习等模型训练过程。对于私有知识的加入，书中重点介绍了监督微调，也介绍了RAG中词向量的计算。本书采用循序渐进的方式，通过功能框图、代码分解执行、执行结果显示、背景知识补充等手段帮助读者理解模型和算法。 本书的核心读者群体定位为大语言模型应用的开发人员，特别适合那些想从计算机视觉转向自然语言处理的人。此外，本书还适合作为大学本科生及研究生相关课程的参考教材使用。"

范煜，江苏南通人，毕业于南京航空航天大学，研究员级高级工程师，中国商业联合会数据分析专业委员会专家组成员，南通理工学院教师，上海范思软件有限公司创始人，中国移动集团、51CTO外聘讲师经常在全国各地讲授大数据、数据分析人工智能、大语言模型等方面课程。研发了Fancy Q&A大语言模型应用开发平台。著有《人工智能与ChatGPT》《数据革命:大数据价值实现方法、技术与案例》。兼具人工智能、大数据、软件、工业控制(嵌入式系统和软PLC)技术背景。目前主要从事基于大语言模型的知识库建设与知识问答应用的研究和开发。

在ChatGPT的成功推动下，人工智能（artificial intelligence，AI）技术的主要研究焦点已从计算机视觉逐渐转向自然语言处理（natural language processing，NLP）。这使得原本相对边缘的自然语言处理技术逐渐走向了舞台中心。尽管自然语言处理的研究者相较于计算机视觉（computer vision，CV）领域来说少，但经过几十年的发展，其积累的技术成果也十分丰富。以ChatGPT及其背后的GPT（Generative Pretrained Transformer）模型为代表的大语言模型（LLM）技术的成功，不是一夜之间的突变，而是基于多年技术积累取得的一次重大突破。 但是，并非所有的自然语言处理技术都被大语言模型的开发所采用。一些技术路线已被放弃，一些虽然得到了发展，但已被更优秀的技术所取代。在大语言模型技术的后续发展中，这些被抛弃或替代的技术仍有可能被重新研究和改进。本书旨在是让读者了解主流大语言模型所采用的技术，而不是去开发新的大语言模型。因此，我们主要介绍了GPT系列及开源Llama 2模型所采用的技术，对其他技术并未进行探讨，例如知名的词嵌入（word embeddings）技术Word2Vec。 现在的大语言模型基本上都是基于Transformer架构。相较于标准的编码器-解码器（Encoder-Decoder）结构，如今的GPT系列产品及Llama 1、Llama 2都采用了单解码器结构。本书以Transformer模型架构为基础，重点关注了纯解码器技术方向，并对相关技术进行了详细的阐述。 由于GPT-3.5、GPT...