业内专家的推荐和赞誉
作为资深的技术高管和行业思想领袖，我深知LLM从开发到产品部署都至关重要。如今，这本无价之宝已成为我和团队在产品中利用LLM强大功能的首选资源，助力我们夯实技术根基。
本书揭开LLM的神秘面纱，分析LLM的复杂架构乃至部署时的伦理考量事项，并讲述MMLLM如何将文本扩展到音频、图像和视频领域。本书内容全面，见解深刻、务实，对于任何希望了解LLM并利用LLM在当今AI驱动的世界中推动变革的人来说，都是必读之作。
——谷歌副总裁兼总经理Shalini Gobil Pai
本书信息量大、技术含量高，主要面向在ML和AI方面具有扎实背景的读者。假定读者了解高级数学概念，掌握编程技能。尽管技术难度较大，但本书结构合理，解释清晰，逻辑缜密。
——Amazon AWS 应用科学总监Sherry Marcus
生成式AI是当下的热门话题。它究竟会改变社会和商业的游戏规则，还仅是又一个流行词语？本书是理解生成式AI的巨大潜力、风险和挑战的必读之作，深入探讨生成式AI的整个生命周期。本书开篇介绍LLM的历史，接着深入探讨Transformer架构、提示工程、微调、RAG。最后一章十分有见地展望了生成式AI的未来。本书内容全面，引人入胜，适合开发者和AI爱好者阅读。我强烈推荐这本书。
——Amazon GenAI负责人兼AWS布道师Eduardo Ordax
本书内容丰富，与时俱进。讲述LLM领域的最新进展，并在实际背景下解释各种技术，尤其对优化信息系统的用户体验与交互设计极具价值，成为专业人士和研究人员不可或缺的资源。
——H2O.ai首席技术官Prithvi Prabhu
Kamath及其合著者为希望深入理解LLM的研究人员和学生提供了综合性资源。本书巧妙连接了理论与实践，并融入多模态模型等前沿技术，对学术研究人员和行业科学家都极具吸引力，堪称必备读物。
——乔治梅森大学计算机科学教授及工程与计算学院AI创新副院长Amarda Shehu
本书讲述了构建可靠 LLM 驱动软件的全部要点，包括如何根据产品性质和业务目标选择、调整和评估模型，以及如何在数据复杂的情况下将RAG与LLM系统互补使用。这是所有AI工程师的必读书籍！
——Superlinked CEO及创始人Daniel Svonava
译者序
DL是AI助推器，经过12年发展，出现了注意力机制和Transformer架构，将AI推进到新的发展阶段。这一进展不仅为AIGC(生成式AI)时代的到来奠定了坚实基础，也正式开启了LLM时代。以2017年Attention Is All You Need的发表作为起点，LLM历经了短短8年的发展。译者将LLM发展划分为三个阶段。
第一阶段(2017年初—2022年12月)属于LLM萌芽阶段，是LLM理论基础和基础模型全量训练阶段，主要出现了GPT、PaLM和BERT等系列模型；这个阶段存在计算与资源成本高昂和缺乏推理能力等问题。
第二阶段(2023年1月—2025年6月)属于LLM生态系统构建阶段；除了Qwen、DeepSeek等LLM，多模态也开始崭露头角，出现了LangChain等应用框架、vLLM等部署推理框架和Unsloth等LLM微调框架。
第三阶段(2025年7月至今)，属于LLM工程化阶段；出现了MCP协议、智能体应用框架以及小龙虾(OpenClaw)等AI开源工具，进一步无缝集成LLM、软件工程、硬件设备等，在机器人、数字智能等场景LLM绽放异彩。
译者认为，未来20年都是以数据驱动的数字智能的LLM时代，将重构我们的思维方式、生活方式和工作方式。这种改变是革命性的，要积极拥抱这种变化，提前熟悉LLM基本知识和工具，作为我们的生活“闺蜜”、工作助手，收获LLM带来的时代红利。在这里，我将这个群体一分为二，其一是数学、物理和电子信息专业人员，建议深耕LLM领域，在基础理论方向和应用研发方面做出引领世界的创新成果。其二，对于非专业人员，也要积极拥抱LLM产品、工具和思考模型，在生活、工作等方面获得积极益处。
总之，应让LLM真正服务于人类，助力高质量生活与高效工作。
本书正是在上述背景下引进的一部理论与实践并重的LLM研究著作。虽然全书具有一定的专业深度，但作者系统梳理了近年来LLM领域的新技术、新方法、新挑战与发展趋势，内容全面而深入，是难得的成体系力作，特此推荐广大读者阅读。
对专业读者而言，建议反复研读，深入思考如下问题：为何这些技术在某一阶段出现？为何随后又逐渐被替代？又有哪些新技术在不断崛起？通过这些思考，构建起对LLM发展脉络的理解，并据此优化自身的知识体系与职业路径。
对于非专业读者而言，尽管本书内容较深，但也可作为一部优秀的科普参考读物。正是这种“有门槛的深度”，才能为非专业人士使用DeepSeek等LLM工具提供必要的理论基础与文化素养的支撑。
最后，在本书翻译过程中，西南交通大学外国语学院的吴思涵老师参与了本书的翻译和审校工作，感谢她为本书付出的努力。最后，感谢清华大学出版社的编辑，他们做了大量的编辑与校对工作，保证了本书的质量，使得本书符合出版要求。在此深表谢意。
鉴于本书涉及内容广泛、深刻，加上译者翻译水平有限，本书难免存在不足之处，恳请各位读者不吝指正。
推荐序
LLM已彻底改变了AI领域，颠覆了我们与技术的交互方式，并重塑了各个行业。作为牛津大学多个AI课程的课程主管，我参与过多个全球项目，曾亲眼见证这些模型如何解决复杂问题并简化日常任务。本书的问世恰逢其时，为帮助理解和利用LLM提供了一份全面指南。作者成功将这些模型背后的复杂架构和算法进行了拆解，从而更易于被广泛受众理解。
我与本书的第一作者Uday Kamath博士相识已久，一直密切关注他早期的研究工作。他对AI的专业知识和见解备受大家推崇，本书更是对他深刻理解和创新思维的有力证明。本书涵盖了从预训练、基于提示的学习，到微调技术和RAG等高级主题的完整知识体系，而且宝贵的一点是注重实践。每一章都旨在帮助读者掌握将LLM应用于实际场景的技能和知识。书中所列举的实践教程和真实案例既能帮助读者理解理论，又能帮助他们在工作中有效应用这些模型。
书中专门用一章的篇幅介绍了LLMOps和生产化，并详细说明了如何在实际环境中操作和部署这些模型，确保读者能够将理论转化为实践成果。书中还引入了数据库、基准测试和评估指标，为希望探索LLM应用的人提供了坚实的基础支撑。关于MMLLM的章节不仅涉及文本，还涵盖了音频、图像、视频和机器人输入/输出，指明了AI交互的未来方向，尤其振奋人心。书中还探讨了偏见、公平性和隐私问题等与LLM相关的伦理挑战，提醒在利用这些模型的强大功能时必须具有责任心。作者为应对这些问题提供了宝贵策略，帮助确保LLM的使用符合人类价值观。
总之，若对LLM感兴趣，本书就是一本必备资源。它既提供了对技术的全面讲解，也包含实践洞察和伦理思考，是探索AI未来的宝贵指南。我对作者所做的详尽研究和清晰表达表示高度赞扬，也相信本书将成为未来几年该领域的重要参考资料。
——牛津大学AI课程主管和访问学者Ajit Jaokar
致 谢
本书的编写离不开众多人士的巨大努力。首先，感谢Springer出版社，尤其感谢编辑Paul Drougas和协调员Jacob Shmulewitz，他们与我们的密切合作使本书得以顺利出版。感谢Smarsh公司，它为我们提供了应对现实世界中多模态、多语言挑战的机会，并培养了一种研究和创新的文化，这对我们的工作产生了深远影响。
衷心感谢以下人士(按字母顺序排列)：Felipe Blanco、Shekar Gothoskar、Gaurav Harode、Sarang Kayande博士、Ankit Mittal、Sasi Mudigonda、Raj Pai、Gokul Patel、Sachin Phadnis、Ross Turner博士、Sameer Vajre和Vedant Vajre，他们的内容反馈、建议和贡献对本书的最终成稿至关重要。最后，向阅读、审阅本书并为本书撰写推荐序和书评的行业专家和研究人员表示诚挚感谢。你们的见解和专业知识对本书至关重要。特别感谢Ajit Jaokar、Shalini Govil Pai、Sherry Marcus博士、Prithvi Prabhu、Amarda Shehu博士和Daniel Svonava。
以下是各位作者分别撰写的致谢内容。
致我的父母Krishna和Bharathi，妻子Pratibha，孩子Aaroh和Brandy，以及我的亲爱的家人和挚友们(Anu、Jyoti、Maithilee、Munnu、Nana、Priyal、Shilpa、Sunila、Swati和Swetha)——感谢你们始终如一的支持与关爱，尤其是我生病期间给予我的无微不至的照顾。
——Uday Kamath
致双亲Eugene和Evelyn，始终耐心包容的妻子Kaitlin，美丽的女儿Éirinn和Méabh：你们以优雅之姿支撑我走过人生诸多阶段。
——Kevin Keenan
致我两个可爱的女儿Octavia和Lyra。
——Garrett Somers
致丈夫Matthew，感谢你包容我在写作期间频繁的“人间蒸发”(尽管偶尔也吐槽两句)。
——Sarah Sorenson
前 言
为何选择本书
在技术演变的广阔图景中，LLM已然成为基础支柱，它改变了我们与信息的交互方式，重塑了行业格局，并重新定义了AI的边界。站在这一变革的前沿，LLM的影响早已超越了单纯的计算进展，渗透到从日常任务到复杂问题求解机制的方方面面。这一巨大转变不仅引起了技术人员和研究人员的关注，也激发了更广泛受众的好奇心，令人们渴望驾驭强大的LLM。
LLM的诞生与传统计算范式背道而驰，它们以前所未见的强大能力理解和生成人类语言，以直观且富有洞见的方式与人类交互。这些从海量人类语言数据集中学习的模型不断演变，为创新、创造力和效率开辟了新道路。LLM处理和生成语言的能力催生了多个领域的变革性应用，包括但不限于自动化内容创作、复杂的聊天机器人、增强型搜索引擎和开创性的研究工具。
然而，能力越大，复杂度也越高。LLM的工作原理令人着迷，但并非所有人都能轻易理解。其复杂的架构、底层算法及部署LLM时伴随的伦理考量，都是需要深入探讨的重要问题。因此，一本全面介绍LLM的书籍显得尤为重要。人们迫切需要一种既能揭开这些模型技术运作的神秘面纱，又能探索其应用背景、影响及伦理困境的资源。这就是本书写作的目的。
本书深入探讨了LLM的现实情况。从预训练模型的概述开始，根据不同标准对其进行分类，并深入剖析了Transformer等架构，为进一步理解基于提示的学习铺平了道路。书中重点介绍了各种基于提示的学习机制，分析了从LLM中提取知识的意义及实现这一目标的不同技术。书中详细阐述了微调LLM的方法，讨论了不同的策略和权衡。接下来，本书全面讨论了如何将RL整合到LLM训练中以实现与人类价值观对齐这一目标。书中还进一步讨论了LLM与计算机视觉、机器人技术和语音处理等领域的融合。本书特别强调实践应用，详细介绍了RAG等实际用例。这些示例经过精心挑选，旨在展示LLM在各行业多场景中的应用和深远影响。
此外，本书提供了有关如何操作和部署LLM的宝贵见解，引导读者使用现代工具和库实现这些模型，确保读者了解如何实际应用LLM。书中探讨了LLM的固有偏见、不可预测性和其涌现行为中的广泛伦理影响等。最后，本书探究了MMLLM这一前沿领域，将其应用范围从文本扩展到音频、图像、视频和机器人输入，开启了全面AI交互的新时代。此外，本书每一章都包含实践教程，展示LLM在NLP任务中的功能。
本书章节结构围绕几个关键特点安排，旨在为读者提供易于理解的LLM探索途径，包括：
● 深入探究100多种技术和前沿方法，涵盖预训练、基于提示的微调、IT、参数高效和计算高效的微调、最终用户提示工程及构建和优化RAG系统，同时介绍了通过RL使LLM与人类价值观对齐的策略。
● 汇集200多个数据集，涵盖从预训练到多模态微调的各个方面，为LLM多样化应用提供坚实基础。
● 探索50多种策略，从而应对幻觉、毒性、偏见、公平性和隐私等关键伦理问题。了解如何衡量、评估和减轻这些挑战，确保LLM得到负责任的部署。
● 弥合期望与实践的差距，讨论如何选择合适的LLM、优化训练和推理成本、改善性能并利用关键工具。
● 呈现200多个基准测试，涵盖了LLM在各种任务中的表现、伦理考量、多模态应用；分析50多种用于LLM生命周期的评估指标。
● 提供9个详细教程，引导读者完成预训练、微调、对齐微调、偏见缓解、多模态训练，以及使用与Google Colab兼容的工具和库部署LLM，将理论概念转化为实践。
● 披露100多个实用技巧，为数据科学家和从业者提供实施细节、技巧和工具，帮助他们成功掌控LLM生命周期并高效完成任务。
读者对象
本书经过精心编撰，旨在服务各类读者群体，力求为任何希望了解LLM本质的读者提供一站式资源。无论是渴望揭开AI复杂面纱的计算机科学、数据科学或AI领域的本科生或研究生，还是致力于深入探索语言模型的理论进展和实际应用的AI或NLP研究人员，或是希望利用LLM的前沿能力解决现实问题的行业数据科学家，本书都可谓量身打造之作。
从刚刚踏入AI领域的新手，到希望深入理解并拓展知识库的专业人士和学者，本书的内容编排旨在满足所有读者的需求。这本基础教材涵盖学生理解与运用LLM所需的基本概念、方法和工具。它弥合了学术学习与在实际情境中应对AI带来的挑战所需技能之间的差距。
对于研究人员和学者，本书全面覆盖了LLM领域的前沿研究，包括提示工程技术、学习策略、RLHF、多模态LLM(Multimodal LLM，MMLLM)[1 译者注：本书后面将统一使用简称MMLLM。]1。
而对于数据科学家和行业从业者，本书是高效微调LLM以将其用于特定应用领域的必备工具包。不仅涵盖微调，还涉及RAG和学习策略等应用，帮助读者掌握在生产系统中成功部署LLM的技能。此外，本书深入探讨了评估和缓解幻觉、偏见、公平性和隐私问题的关键方法，确保读者能够在实际环境中有效应对这些问题。
在阅读本书之前，读者需要一定的知识储备，包括：
● 基本了解线性代数、微积分、统计学和概率论。
● 较熟悉ML和AI概念。
● 基本了解NLP概念和DL技术。
● 拥有中级水平的Python编程能力，熟悉Pandas、Matplotlib、PyTorch等开源工具库。
本书内容
下面简要介绍本书各章的内容。
第1章从NLP的历史背景和发展历程入手，追溯人类语言能力的起源，解释了逐步过渡到计算语言建模的过程。该章沿连贯的时间线呈现了语言模型在计算领域中的演变，展示了从初级模型到如今为人熟知的复杂LLM的演变过程。该章还讨论了算法进展、计算力和数据可用性等影响这一演变的各种关键因素。通过对LLM的定义和阐释，确保读者理解LLM在当代AI范式中的重要性。
第2章深入探讨预训练模型，帮助读者初步理解其核心机制和结构。该章首先详细介绍注意力机制，展示其如何通过使模型关注相关信息来重塑NLP。接下来介绍Transformer架构的开创性意义，突出其在现代NLP中的重要性。随后对LLM进行了分类，解释了编码器-解码器、自回归和掩码语言模型的具体细节，讨论了BERT、T5、GPT(1-3)和Mixtral8x7B等开创性架构，重点介绍了它们的独特训练技术和主要应用。此外，其中一节介绍了关键数据集，分析前沿模型所依赖的基础数据。最后，该章提供了关于重要模型、工具和hub的实用指南，为读者学习后续章节中的进阶主题做好准备。
第3章深入探讨了基于提示的学习技术，这是当前NLP发展的核心技术。该章系统介绍了这一方法的原理，解释如何将各种NLP任务高效映射到特定的提示中。剖析提示工程、回答工程和多提示技术的细微差别，揭示设计和优化提示的技术，这些提示能够引导模型输出预期结果。该章还对传统的预训练/微调方法与基于提示的方法进行了比较分析。
第4章探究了LLM强大能力背后的复杂动态性及其带来的实际挑战。深入探索了多种参数高效学习策略，详细阐述了串联和并联适配器、LoRA、VeRA等重要方法，介绍了“增量微调”(delta-tuning)这一概念。该章还分析了数据有限这一情况，详细阐述LLM框架内的零样本、少样本和多样本学习方法。该章重点讲述提示设计和上下文长度，因为这对于增强上下文学习至关重要。此外，该章还强调了CoT推理的重要性(在数据稀缺的环境中尤其重要)。最后，该章探讨了如何降低LLM全参数微调的经济和计算成本，重点介绍后训练量化和量化感知微调等创新技术，从而确保LLM不再专属于资金雄厚的企业。
第5章介绍与人类偏好对齐的概念，定义了3H(有用性(Helpful)、无害性(Harmless)和诚实性(Honest))，并讨论了将复杂人类价值观编码到LLM中的挑战。该章探讨了RL(特别是RLHF)如何通过反馈机制使LLM与人类价值观对齐[1 译者注，Reinforcement Learning的中文意思是“强化学习”，本书统一使用简称RL。]1。该章还讨论了RLHF面临的高资源需求和可扩展性问题等挑战，并提出了宪法AI和DPO等增强LLM的伦理性和负责任应用的创新。
第6章探讨LLM的固有挑战和伦理困境。首先概述了这些模型的局限性和挑战，接着深入讨论了基于海量多样化数据训练产生的认识论问题。随后，该章探究预训练模型中嵌入的道德规范，探讨其固有偏见和可能无意中传播的社会文化价值观。接下来探讨了辨别LLM道德方向的任务及确保其伦理对齐的复杂性。该章还提出了缓解和对抗LLM中神经毒性退化倾向的策略。随后强调了与语言模型隐私攻击相关的脆弱性等伦理问题。最后详细说明为LLM量身定制的隐私增强技术，重点介绍了保护用户数据和交互的前沿解决方案。
第7章深入探讨RAG的基础要素，并概述设计RAG系统时的关键考虑因素。该章探讨可以集成到RAG工作流中的各种模块化增强功能，旨在扩展功能并增强系统安全性。此外考察了用于评估RAG性能的关键测试指标，重点关注稠密检索过程的准确性及聊天机器人在响应查询时的有效性。
第8章为在生产环境中有效部署LLM提供了全面指南，讨论了选择合适的LLM、理解评估指标、基准测试，以及优化延迟、成本、质量、适应性和维护等关键考虑因素。该章还介绍了引导读者了解LLM应用开发中复杂性的必要工具和技术。
第9章介绍了通用MMLLM框架，从理论角度和实践角度讨论了各个组件，并映射到前沿实现。该章探讨了如何将IT、上下文学习、CoT提示和对齐微调等技术从传统LLM中转换到多模态环境中，展示了这些转换如何增强跨模态的适应性和推理能力。该章还详细描述了各种基准测试、数据集及架构之间的区别，全面介绍了Flamingo、Video-LLaMA和NExT-GPT三种领先的MMLLM，并将它们映射到通用MMLLM框架。
第10章回顾了LLM的演变史，突出其重要趋势。该章还讨论了旨在提高效率和知识迁移深度的训练技术的进展，以及从传统Transformer架构到状态空间模型等替代方法的过渡。此外，该章还突出了模型向更小、更高效方向发展，以及技术民主化和特定领域模型兴起的趋势。这些趋势表明，人们正朝着更定制化、更易获取且更具行业针对性的AI解决方案方向发展。此外，该章还探讨了LLM技术的前沿领域及其在智能体和搜索引擎等技术中的应用。
如何使用本书
本书设计灵活，读者可依据自身知识背景与研究兴趣，选择不同阅读路径。如专注于通过自定义数据集微调LLM、了解相关挑战及缓解措施，并在生产中部署这些模型的行业数据科学家，可能发现第1、3、4、7、8章和第9章最有价值。
作者尽力将章节编排成由基础到复杂的递进形式。但需要注意，材料并非总按严格顺序呈现。如第2章介绍了通过训练技术已取得成功的基础LLM，但在第6章才对这些训练技术进行详细解释。在这种情况下，书中通常会提供相关部分的引用，以便读者根据需要向前或向后跳转，深入阅读感兴趣的主题。读者不必在完全掌握前一章的内容后才阅读下一章。
本书中每章的要点都通过灰色框突出显示，确保读者能轻松识别和参考关键概念和信息。
这是一个重要概念。
每章中都包含用醒目方框标注的“实用技巧”，以提供实用的建议和策略。
这些提示框突出了部署、微调、定制、工具、参数等方面的关键策略，为所讨论概念的实际应用提供了可操作的指导。
在本书中，提示始终以标准列表格式呈现。
passage: "Look What You Made Me Do" is a song recorded by
American singer -songwriter Taylor Swift , released on August
24, 2017 by Big Machine Records as the lead single from her
sixth studio album Reputation (2017). Swift wrote the song
with her producer Jack Antonoff. "Look What You Made Me Do"
is an electroclash and pop song , with lyrics about various
issues that built Swift 's reputation. Right Said Fred band
members Fred Fairbrass , Richard Fairbrass , and Rob Manzoli
are also credited as songwriters , as it interpolates the
melody of their song "I'm Too Sexy" (1991).
question: "did taylor swift write look what you made me do"
label: 1
代码清单1 GLUE BoolQ示例
书中的Python代码和代码清单均以清晰、标准化格式呈现，以便促进读者理解和应用相关编程概念。
from transformers import BertTokenizer , BertForMaskedLM
tokenizer = BertTokenizer.from_pretrained("bert -base -uncased")
model = BertForMaskedLM.from_pretrained("bert -base -uncased")
代码清单2 初始化BERT词元分析器和模型的Python代码
声 明
利益冲突：作者特此声明，在本书创作过程中，不存在可能构成利益冲突的相关关系。
图像和表格引用：本书中所有从研究论文中复制或改编的图像均由作者创作。
伦理审查：本书不包括涉及人类或动物受试者的原始研究，因此不必进行伦理审查。
译者简介
郭涛，主要从事计算数学、人工智能、现代软件工程和数智农业等前沿交叉研究。出版40多部著(译)作，包括《大模型Agent应用开发》《Agentic AI智能体应用开发(第2版)》和《LangChain大模型应用开发》。
