前    言

当大语言模型突破纯文本边界，开始“看见”图像、“听懂”语音，人工智能正迈入真正的多模态智能时代。多模态智能体不再局限于文字交互，而是能够融合视觉、听觉与语言理解，像人类一样感知复杂环境并执行具身行动。LangChain作为连接大模型与现实世界的桥梁，为构建此类智能体提供了模块化、可组合的工程框架。然而，多模态能力的引入也带来了新的挑战：异构数据对齐、跨模态语义鸿沟、工具调用的可靠性，以及在真实场景中对噪声、模糊输入的鲁棒性处理——这些正是当前多模态Agent技术落地的核心瓶颈。

本书立足于这一技术转折点，系统阐述如何基于LangChain构建具备多模态感知与行动能力的智能体。我们不仅关注DeepSeek、Qwen-VL等模型的API调用技巧，更深入探讨多模态Prompt设计、响应解析、工具链集成等工程实践，帮助读者跨越“能跑通Demo”与“可稳定商用”之间的鸿沟。书中四大实战案例覆盖文档解析、视觉问答、内容创作与智能客服，均源自真实业务场景，直面数据质量、容错与鲁棒性、可解释性、多轮对话融合等工程约束。

本书目的

本书以工程实践为锚点，兼顾学术深度与产业落地，为构建下一代多模态AI应用提供系统化技术蓝图。本书的独特价值在于“框架＋模型＋场景”三位一体的教学设计：以LangChain与LangGraph为骨架，以多模态大模型为大脑，以垂直场景为落点，形成可迁移的开发方法论。读者将掌握从环境配置、组件定制到智能体实现的全链路能力，并建立对技术边界的清醒认知——理解何时该用多模态、如何实现多模态智能体、如何进行优化。这种系统性思维，远比掌握某个API调用更为珍贵。

本书内容

本书围绕LangChain构建多模态智能体的完整技术体系展开，共分13章，形成“基础-框架-模型-实战-优化”的递进式知识结构。

第1章界定多模态智能体的概念边界，剖析其在文档理解、视觉交互等场景的价值，并梳理LangChain的集成优势与开发挑战。

第2章提供跨平台环境搭建指南，涵盖Python虚拟环境配置、多模态依赖库安装、主流大模型API密钥管理及环境验证流程，确保读者快速进入开发状态。

第3章解析Prompt、Chain、Memory等核心组件的设计哲学与用法。

第4章聚焦Agent机制，详解ReAct决策逻辑、自定义Tool开发及多Agent协作雏形。

第5章专攻多模态数据处理，涵盖图像/音频加载、特征提取与Chroma、Pinecone等向量库的检索策略，为后续模型集成铺路。

第6章对比DeepSeek、Qwen等主流模型架构与能力边界。

第7章实战LangChain与多模态模型的深度集成，包括API封装、本地化部署、多模态Prompt工程及响应解析技巧。

第8章提出多模态智能体开发方法论。

第9~12章分别实现复杂文档解析、视觉问答与指令执行、图文内容创作、多模态客服系统，每章均包含需求拆解、架构设计、代码实现、应用场景分析等全流程，强调流程控制与用户体验。

第13章探讨多模态数据增强、容错设计、可解释性与多轮对话融合等进阶优化议题。

配套资源下载

本书配套示例与案例源码、PPT课件与读者交流微信群，读者使用自己的微信扫描下面的二维码即可获取。

本书适合的读者

多模态智能体开发初学者。

多模态AI Agent开发人员。

多模态AI Agent架构师。

大模型应用开发人员。

将AI能力产品化的工程师。

技术负责人。

行业AI应用解决方案提供商。

学习大模型应用开发相关课程的学生。

作者与鸣谢

本书作者为邓立国、周驰岷与邓淇文。本书的顺利出版离不开清华大学出版社老师们的帮助，在此表示感谢。

作者

2026年5月