前  言

在现实世界和虚拟世界中，图无处不在，网络也无处不在。例如，人类社会关系图、蛋白质作用关系图和化学分子图等。在微观尺度、介观尺度和宏观尺度上，图和网络都直接影响着人类的生活、工作和学习，如与人类息息相关的社会网络、交通网络、贸易网络和信息网络等。人体包括生物神经网络和血液循环网络等，这些网络是人类身体的直接组成部分。因此，人类既是图或网络的集合体，也是其他网络或系统的组成部分。从复杂系统角度看，人类本身就是一个极其复杂的系统，或者是复杂系统的系统。同时，人类处在复杂系统之中，或处在系统的系统之中。换而言之，人类处在网络之中，或处在网络的网络之中。

图或网络作为复杂系统的有效表示，也是复杂系统的常用分析工具和研究方法。图数据和图方法可以度量、预警、预测和控制复杂系统的脆弱性和稳健性。新冠疫情和局部战争等不确定事件的频频发生，使人们的日常生活、学习和工作都受到了不同程度的冲击。在信息社会中，网络化和系统化为人类提供了基础的生存设施和便利的生活环境，也使人类社会系统处在各种事件冲击之中和灾难爆发的边缘。在复杂系统中，一些微小的扰动可以通过网络进行扩散和放大，加剧系统脆弱性以及突发事件的危害和不确定性，正如人们所熟知的“蝴蝶效应”和“黑天鹅”事件等。

2013年，深度强化学习算法初露锋芒，在Atari游戏中取得了惊人的成果，到2015年，深度强化学习智能体达到了人类的游戏控制水平。深度强化学习算法从原始图像的像素信息中学习游戏控制的智能策略，其游戏控制水平在一些视频游戏中超过了人类玩家。深度强化学习算法在智力游戏领域展现了强大的决策能力和学习能力。2016年，Google公司DeepMind团队的研究人员在顶级期刊Nature推出AlphaGo，该智能程序战胜了围棋世界冠军，震撼了全世界。2022年，人工智能公司OpenAI通过自然语言处理工具和深度强化学习算法，学习和理解人类语言，研发的聊天机器人程序ChatGPT（Chat Generative Pre-trained Transformer）震惊了世界。ChatGPT能像人类一样聊天交流、撰写邮件、翻译语言、编写代码、撰写论文等。人类为了处理所面对的诸多复杂系统问题，寄希望于深度强化学习，并设计出强大的决策智能体，辅助人类完成复杂智能决策，适应多变、动态且随机的复杂环境。

近年来，人工智能技术和算法的蓬勃发展极大拓展了智能算法的应用范围。人们能够更加便捷地分析和研究图数据和网络数据，特别是机器学习算法能有效地挖掘图数据和网络数据的结构信息和语义信息。图嵌入、网络嵌入、图机器学习和图深度学习等机器学习算法为复杂图和复杂网络相关的问题和智能决策任务提供了强大的技术支持。图神经网络算法融合诸多图机器学习和图深度学习技术，是分析图数据和网络数据的高效且通用框架，是提取图结构信息和图语义信息的有效工具，是探索复杂智能决策的重要工具和方法。图神经网络模型针对图数据专门设计了很多操作算子，处理和分析不同类型的图数据和网络动力学过程，为度量、预警、预测和控制复杂系统结构特征和演化特征提供新思路和新方法。图强化学习融合图神经网络模型和深度强化学习模型，拓展图或网络相关复杂问题的求解思路和分析方法，具有较大的发展前景和应用价值。

本书内容安排

图强化学习涵盖了很多人工智能、机器学习和深度学习相关理论、方法和技术。本书用三大部分简要介绍图强化学习相关的理论、方法和应用。

第一部分：图强化学习研究对象

复杂系统、图和网络是图强化学习的主要研究对象。复杂系统是复杂决策问题的背景和来源。图强化学习主要解决复杂系统中图相关的决策问题。一般而言，复杂问题背后都有一个复杂系统。复杂系统相关的理论和方法对图强化学习方法具有引导和启示作用。

复杂图和复杂网络方法是表示和研究复杂系统的常用方法。图论作为古老的数学学科，一直以来都是专业人员的研究领域，科学家们积累了大量的图理论和方法。图论相关的理论和方法为复杂社会系统、复杂物理系统和复杂生物系统的研究提供了思想源泉。

近年来，复杂网络方法飞速发展，在不同学科和领域取得了耀眼的成绩。在一些复杂问题和复杂系统中，复杂网络分析占据重要地位，是大数据时代中多源异构数据分析的有效方法，是各个领域专家学者审视各自领域内问题的新工具和新视角。在现实世界中，图相关和网络相关的问题很多，如网络关键节点识别、网络免疫、传染病防控等，都能用图或网络方法高效地求解。

第二部分：图强化学习的基础知识

图机器学习和强化学习方法是图强化学习的基础方法。我们介绍图嵌入、图神经网络、强化学习和深度强化学习方法。图强化学习方法并非一个全新的研究范式和研究方法，是深度强化学习方法在图数据或图问题中的拓展应用。图强化学习融合图神经网络模型和深度强化学习模型，在复杂智能决策任务中表现出了巨大潜力。

图神经网络方法是图嵌入和网络嵌入方法的拓展，深度强化学习方法是强化学习的拓展。图神经网络模型和深度强化学习模型作为机器学习领域两大热门研究领域，是人工智能和机器学习的前沿技术，具有较大的发展潜力。深刻理解和掌握图神经网络和深度强化学习方法，是入门图强化学习方法的基础。

一般而言，图嵌入和网络嵌入是浅层学习，是理解图神经网络模型的基础。图神经网络模型具有可扩展性和普适性，是图数据和网络数据分析最具潜力的研究方向。图嵌入和网络嵌入是图机器学习的研究内容，将学习机制引入图上的搜索问题或其他问题。相较于经典的图理论和复杂网络分析方法，图机器学习算法更适用于大规模图数据和复杂图或复杂网络决策问题。

在图强化学习中，图神经网络模型作为特征提取和表示学习的主要模块，是智能决策优劣的关键。图神经网络模型具有大量的参数，强化学习算法的主要任务是更新和学习模型参数。如何有效地融合两者的优势，解决复杂图或复杂网络相关决策问题，是图强化学习的核心内容。

第三部分：图强化学习模型框架和应用实践案例

图强化学习方法融合图神经网络模型和深度强化学习模型。第三部分包括图强化学习模型构建框架和实现细节。图和网络作为图强化学习的研究对象，是图强化学习的基础。一些图相关的组合优化问题因为“组合爆炸”，属于NP难问题。因此，如何找到有效的解决办法具有重要的研究价值和实用价值。

我们将图或网络数据分析看作5个层层进阶的过程，依次为图理论方法、复杂网络分析方法、图嵌入和网络嵌入方法、图神经网络方法、图强化学习方法。在图数据或网络数据相关的决策问题上，图强化学习融合图神经网络模型的表示学习能力和深度强化学习的决策优化能力，具有非常大的研究价值和应用潜力。

本书适合人群

* 高年级本科生

* 专业硕士研究生

* 机器学习爱好者

* 强化学习爱好者

关于作者

谢文杰，男，湖南浏阳人，应用数学博士，上海市晨光学者。现任华东理工大学商学院金融学系副教授、硕士研究生导师、金融物理研究中心成员，主要研究复杂金融网络、图强化学习、深度强化学习、系统风险管理，发表SCI/SSCI收录论文40多篇，被引800余次。2016年获上海市自然科学奖二等奖（4/5），主持完成4项国家或省部级科研项目。

周炜星，男，浙江诸暨人。教育部青年长江学者、上海领军人才、教育部新世纪优秀人才、上海市曙光学者、上海市青年科技启明星。现任职华东理工大学商学院、数学学院，二级教授，博士生导师，金融物理研究中心主任，兼任中国管理科学与工程学会理事、金融计量与风险管理分会副理事长，中国系统工程学会理事、金融系统工程专业委员会副主任，中国工业统计教学研究会金融科技大数据分会副理事长，中国数量经济学会经济复杂性专业委员会副理事长，中国“双法”研究会理事、能源经济与管理研究分会常务理事，中国复杂性科学学会副理事长。担任《计量经济学报》、Journal of International Financial Markets, Institutions & Money（JIFMIM）、Financial Innovation、Fractals、Frontiers in Physics、 Fluctuation and Noise Letters、Entropy、Journal of Network Theory in Finance、Reports in Advances of Physical Sciences等国内外期刊的编委。主要从事金融物理学、经济物理学和社会经济系统复杂性研究，以及相关领域的大数据分析。先后主持包括4项国家自然科学基金在内的10余项国家级和省部级项目。出版学术专著《金融物理学导论》1部，发表SCI/SSCI收录论文210多篇，他引7000余次，11篇论文入选ESI高被引论文，H指数47，连续8年进入爱思唯尔发布的中国高被引学者（数学）榜单。论文主要发表在JIFMIM、JEBO和QF等主流金融经济期刊及PNAS、Rep. Prog. Phys.等重要交叉学科期刊上。获2016年度上海市自然科学二等奖（1/5）。

致谢

本书模板来源于ElegantBook，感谢制作者的辛苦付出！感谢Open AI Baselines社区，感谢Stable-Baselines社区，感谢NetworkX社区，感谢PyTorch-Geometric社区。感谢清华大学出版社编辑申美莹老师和相关工作人员。

本书的参考资料和参考文献可扫描下方二维码获取。

谢文杰  周炜星

2023.09