动手学强化学习

人工智能正在进入一个从感知智能、认知智能向决策智能发展的时代！

强化学习是一种面向决策型人工智能的方法，将更多权力交给机器，让机器在各种任务中直接完成决策，不再以辅助的角色为人或者其他下游逻辑服务。

◎ 编辑推荐

本书全面、系统地介绍强化学习的基础理论体系，指明强化学习的入门及进阶路径。

本书配套线上代码实践平台，将纸质图书、在线代码运行环境、视频课程、在线讨论区、自主练习等多种内容形式融为一体，创造了能够将强化学习的原理和实践无缝衔接的学习环境，能够满足人工智能领域从学生到教师，再到行业的开发和研究人员的多种学习需求。

·名家作品：上海交通大学ACM班创始人俞勇教授、博士生导师张伟楠副教授、APEX实验室博士生沈键编写。

·理论与实践并重：基于上交大ACM 班的人工智能专业课程构建强化学习的学习体系，理论扎实、落地性强。

·配套资源丰富：在线代码运...

(展开全部)

人工智能正在进入一个从感知智能、认知智能向决策智能发展的时代！

强化学习是一种面向决策型人工智能的方法，将更多权力交给机器，让机器在各种任务中直接完成决策，不再以辅助的角色为人或者其他下游逻辑服务。

◎ 编辑推荐

本书全面、系统地介绍强化学习的基础理论体系，指明强化学习的入门及进阶路径。

本书配套线上代码实践平台，将纸质图书、在线代码运行环境、视频课程、在线讨论区、自主练习等多种内容形式融为一体，创造了能够将强化学习的原理和实践无缝衔接的学习环境，能够满足人工智能领域从学生到教师，再到行业的开发和研究人员的多种学习需求。

·名家作品：上海交通大学ACM班创始人俞勇教授、博士生导师张伟楠副教授、APEX实验室博士生沈键编写。

·理论与实践并重：基于上交大ACM 班的人工智能专业课程构建强化学习的学习体系，理论扎实、落地性强。

·配套资源丰富：在线代码运行环境+在线视频课程+在线讨论区+在线习题+配套课件。

·多位业内大咖力荐：字节跳动人工智能实验室总监李航|1986年图灵奖得主John Hopcroft|北京大学数学科学学院统计学教授张志华|伦敦大学学院计算机科学系讲席教授汪军|亚马逊资深首席科学家、《动手学深度学习》作者李沐。

◎ 内容简介

本书系统地介绍了强化学习的原理和实现，是一本理论扎实、落地性强的图书。

本书包含3个部分：第一部分为强化学习基础，讲解强化学习的基础概念和表格型强化学习方法；第二部分为强化学习进阶，讨论深度强化学习的思维方式、深度价值函数和深度策略学习方法；第三部分为强化学习前沿，介绍学术界在深度强化学习领域的主要关注方向和前沿算法。同时，本书提供配套的线上代码实践平台，展示源码的编写和运行过程，让读者进一步掌握强化学习算法的运行机制。

◎ 名人推荐

本书全面、系统地介绍了强化学习的基本技术，能够帮助读者学习强化学习的基本概念及其代表性方法，并涉及模仿学习、多智能体强化学习等前沿技术。作者搭建了与本书内容配套的在线实践学习平台，读者能够在线运行代码并与同行交流、讨论，加强对强化学习技术的理解和掌握。本书凝结了强化学习领域的知识精华，是人工智能算法工程师必读的好书。

——李航 字节跳动人工智能实验室总监

本书的一个重要特点是实现了理论与代码的有机结合，学生在学习强化学习的主要概念时，可以方便地使用这些代码。本书得到了上海交通大学学生的广泛好评。

——John Hopcroft 1986年ACM图灵奖得主、上海交通大学校长特别顾问

强化学习对初学者来说有较高的学习门槛，容易让人却步。本书给出了各个算法的可执行代码，帮助读者快速上手尝试，拉近了讲授内容与读者的距离，是入门强化学习的必备参考教材。

——俞扬 南京大学人工智能学院教授

本书源自上海交通大学ACM班的人工智能专业课程。上海交通大学ACM班创始人俞勇教授及其团队将其在人工智能领域多年深耕的成果汇集成书，并精心开发了满足年轻人才学习需求的多种学习资源，将理论知识、在线代码、项目实训有机融合，能够帮助读者从零搭建起强化学习的理论与工程体系。本书真正从社会需求出发，为人工智能领域相关专业的人才培养提供了非常有价值的参考，也为高校学生和行业从业人员深入研究、创新强化学习技术指明了路径。

——张志华 北京大学数学科学学院统计学教授

在几次举办RLChina强化学习暑期夏令营的过程中，我感受到中国学生对强化学习这一学科的学习热情十分高涨，每次活动的参与人数都过万。但是，目前中国在强化学习领域的专业教师资源紧缺，导致学生对强化学习理论知识的掌握不够到位；强化学习实验室资源不足，学生在实验过程中容易遇到各种难以解决的问题，但缺少有效提升实验效率的标程或沟通渠道。本书可以让学生在理论学习与代码实践之间无缝衔接，这很好地解决了学习和研究强化学习的痛点。在此将本书推荐给每一位学习和研究强化学习的学生和教师。

——汪军 伦敦大学学院计算机科学系讲席教授

强化学习是近年来的热门方向，突破性方法和亮眼应用频出。本书将理论与实践相结合，既讲解了算法，又展示了代码实现，是一本不可多得的强化学习教科书，强烈推荐！

——李沐 亚马逊资深首席科学家

张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课老师，吴文俊人工智能优秀青年奖、达摩院青橙奖得主，获得中国科协“青年人才托举工程”支持。他的科研领域包括强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、搜索引擎、文本分析等场景中的应用。他在国际一流会议和期刊上发表了100余篇相关领域的学术论文，于2016年在英国伦敦大学学院（UCL）计算机系获得博士学位。

沈键，上海交通大学APEX实验室博士生，师从俞勇教授，研究方向为深度学习、强化学习和教育数据挖掘。在攻读博士期间，他以第一作者身份发表机器学习国际顶级会议NeurIPS、AAAI论文，参与发表多篇机器学习和数据挖掘国际顶级会议（包括ICML、IJCAI、SIGIR、KDD、AISTATS等）论文，并担任多个国际顶级会议和SCI学术期刊的审稿人。

俞勇，享受国务...

(展开全部)

张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课老师，吴文俊人工智能优秀青年奖、达摩院青橙奖得主，获得中国科协“青年人才托举工程”支持。他的科研领域包括强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、搜索引擎、文本分析等场景中的应用。他在国际一流会议和期刊上发表了100余篇相关领域的学术论文，于2016年在英国伦敦大学学院（UCL）计算机系获得博士学位。

沈键，上海交通大学APEX实验室博士生，师从俞勇教授，研究方向为深度学习、强化学习和教育数据挖掘。在攻读博士期间，他以第一作者身份发表机器学习国际顶级会议NeurIPS、AAAI论文，参与发表多篇机器学习和数据挖掘国际顶级会议（包括ICML、IJCAI、SIGIR、KDD、AISTATS等）论文，并担任多个国际顶级会议和SCI学术期刊的审稿人。

俞勇，享受国务院特殊津贴专家，国家级教学名师，上海交通大学特聘教授，APEX实验室主任，上海交通大学ACM班创始人。俞勇教授曾获得首批“国家高层次人才特殊支持计划”教学名师、“上海市教学名师奖”“全国师德标兵”“上海交通大学校长奖”和“最受学生欢迎教师”等荣誉。他于2018年创办了伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对AI课程体系进行创新，致力于培养卓越的AI算法工程师和研究员。

第一部分 强化学习基础
第 1 章 初探强化学习 ......................2
1.1 简介.................................................2
1.2 什么是强化学习..................................2
1.3 强化学习的环境..................................4
1.4 强化学习的目标..................................4
· · · · · · (更多)

第一部分 强化学习基础
第 1 章 初探强化学习 ......................2
1.1 简介.................................................2
1.2 什么是强化学习..................................2
1.3 强化学习的环境..................................4
1.4 强化学习的目标..................................4
1.5 强化学习中的数据...............................5
1.6 强化学习的独特性...............................6
1.7 小结.................................................6
第 2 章 多臂老虎机问题......................7
2.1 简介.................................................7
2.2 问题介绍 ..........................................7
2.2.1 问题定义.......................................7
2.2.2 形式化描述...................................8
2.2.3 累积懊悔 ......................................8
2.2.4 估计期望奖励 ...............................8
2.3 探索与利用的平衡 ............................ 10
2.4 ϵ-贪婪算法......................................11
2.5 上置信界算法 .................................. 14
2.6 汤普森采样算法 ............................... 16
2.7 小结 .............................................. 18
2.8 参考文献 ........................................ 18
第 3 章 马尔可夫决策过程................. 19
3.1 简介............................................... 19
3.2 马尔可夫过程 .................................. 19
3.2.1 随机过程 ...................................19
3.2.2 马尔可夫性质..............................19
3.2.3 马尔可夫过程............................. 20
3.3 马尔可夫奖励过程 ............................ 21
3.3.1 回报 ............................................21
3.3.2 价值函数.................................... 22
3.4 马尔可夫决策过程 ............................24
3.4.1 策略 ........................................... 25
3.4.2 状态价值函数............................. 25
3.4.3 动作价值函数............................. 25
3.4.4 贝尔曼期望方程 ......................... 25
3.5 蒙特卡洛方法 ..................................28
3.6 占用度量 ........................................ 31
3.7 最优策略 ........................................32
3.8 小结 ..............................................33
3.9 参考文献 ........................................33
第 4 章 动态规划算法 ...................... 34
4.1 简介 ..............................................34
4.2 悬崖漫步环境 ..................................34
4.3 策略迭代算法 ..................................36
4.3.1 策略评估 .................................... 36
4.3.2 策略提升.................................... 36
4.3.3 策略迭代.................................... 37
4.4 价值迭代算法 ..................................40
4.5 冰湖环境 ........................................42
4.6 小结 ..............................................45
4.7 扩展阅读：收敛性证明 ......................45
4.7.1 策略迭代.....................................45
4.7.2 价值迭代 ....................................45
4.8 参考文献 ........................................46
第 5 章 时序差分算法.......................47
5.1 简介...............................................47
5.2 时序差分 ........................................48
5.3 Sarsa 算法 ....................................48
5.4 多步 Sarsa 算法 .............................53
5.5 Q-learning 算法 ............................56
5.6 小结 ..............................................60
5.7 扩展阅读：Q-learning 收敛性证明 .... 61
5.8 参考文献 ........................................62
第 6 章 Dyna-Q 算法..................... 63
6.1 简介 ..............................................63
6.2 Dyna-Q .......................................63
6.3 Dyna-Q 代码实践...........................64
6.4 小结 ..............................................69
6.5 参考文献 ........................................69
第二部分 强化学习进阶
第 7 章 DQN算法 ..........................72
7.1 简介...............................................72
7.2 车杆环境 ........................................72
7.3 DQN.............................................73
7.3.1 经验回放.....................................74
7.3.2 目标网络 ....................................74
7.4 DQN代码实践................................75
7.5 以图像作为输入的DQN算法 .............79
7.6 小结 ..............................................80
7.7 参考文献 ........................................80
第 8 章 DQN改进算法 .................... 81
8.1 简介............................................... 81
8.2 Double DQN................................. 81
8.3 Double DQN代码实践....................82
8.4 Dueling DQN................................88
8.5 Dueling DQN代码实践 ...................90
8.6 小结 ..............................................93
8.7 扩展阅读：对Q值过高估计的定量分析.........93
8.8 参考文献 ........................................94
第 9 章 策略梯度算法.......................95
9.1 简介...............................................95
9.2 策略梯度 ........................................95
9.3 REINFORCE ................................96
9.4 REINFORCE代码实践 ...................97
9.5 小结 ............................................ 100
9.6 扩展阅读：策略梯度证明 ................. 100
9.7 参考文献 ...................................... 102
第 10 章 Actor-Critic算法 ............103
10.1 简介........................................... 103
10.2 Actor-Critic.............................. 103
10.3 Actor-Critic代码实践 ................. 105
10.4 小结 .......................................... 108
10.5 参考文献..................................... 108
第 11 章 TRPO算法 ......................109
11.1 简介 ........................................... 109
11.2 策略目标 ..................................... 109
11.3 近似求解 ...................................... 111
11.4 共轭梯度......................................112
11.5 线性搜索 ......................................112
11.6 广义优势估计 ................................113
11.7 TRPO代码实践............................114
11.8 小结........................................... 122
11.9 参考文献..................................... 123
第 12 章 PPO算法 ........................124
12.1 简介........................................... 124
12.2 PPO-惩罚.................................. 124
12.3 PPO-截断 ................................. 125
12.4 PPO代码实践............................. 125
12.5 小结............................................131
12.6 参考文献..................................... 132
第 13 章 DDPG算法..................... 133
13.1 简介 ........................................... 133
13.2 DDPG....................................... 133
13.3 DDPG代码实践 .......................... 135
13.4 小结........................................... 140
13.5 扩展阅读：确定性策略梯度定理的证明....... 140
13.6 参考文献......................................141
第 14 章 SAC算法 ........................142
14.1 简介........................................... 142
14.2 最大熵强化学习............................ 142
14.3 Soft策略迭代 ............................. 143
14.4 SAC ......................................... 143
14.5 SAC代码实践............................. 145
14.6 小结........................................... 154
14.7 参考文献..................................... 155
第三部分 强化学习前沿
第 15 章 模仿学习 ......................... 158
15.1 简介 ........................................... 158
15.2 行为克隆..................................... 159
15.3 生成对抗模仿学习......................... 159
15.4 代码实践..................................... 160
15.4.1 生成专家数据 .......................... 160
15.4.2 行为克隆的代码实践 ............... 163
15.4.3 生成对抗模仿学习的代码实践............... 165
15.5 小结........................................... 167
15.6 参考文献..................................... 168
第 16 章 模型预测控制 ................... 169
16.1 简介........................................... 169
16.2 打靶法........................................ 169
16.2.1 随机打靶法.............................. 170
16.2.2 交叉熵方法 ............................. 170
16.3 PETS算法..................................171
16.4 PETS算法实践........................... 172
16.5 小结........................................... 179
16.6 参考文献..................................... 179
第 17 章 基于模型的策略优化.......... 180
17.1 简介........................................... 180
17.2 MBPO算法................................ 180
17.3 MBPO代码实践...........................181
17.4 小结........................................... 192
17.5 拓展阅读：MBPO理论分析........... 192
17.5.1 性能提升的单调性保障.............192
17.5.2 模型推演长度 ..........................192
17.6 参考文献..................................... 193
第 18 章 离线强化学习....................194
18.1 简介........................................... 194
18.2 批量限制 Q-learning算法............ 195
18.3 保守 Q-learning算法.................. 197
18.4 CQL代码实践............................. 199
18.5 小结...........................................208
18.6 扩展阅读.....................................208
18.7 参考文献..................................... 210
第 19 章 目标导向的强化学习 ........... 211
19.1 简介............................................211
19.2 问题定义......................................211
19.3 HER算法................................... 212
19.4 HER代码实践............................. 213
19.5 小结........................................... 221
19.6 参考文献..................................... 221
第 20 章 多智能体强化学习入门 .......222
20.1 简介...........................................222
20.2 问题建模 ....................................223
20.3 多智能体强化学习的基本求解范式....223
20.4 IPPO算法 .................................223
20.5 IPPO代码实践 ...........................224
20.6 小结 ..........................................228
20.7 参考文献 ....................................229
第 21 章 多智能体强化学习进阶 .......230
21.1 简介 ...........................................230
21.2 MADDPG算法...........................230
21.3 MADDPG代码实践.....................232
21.4 小结...........................................240
21.5 参考文献.....................................240
总结与展望.....................................241
总结.................................................... 241
展望：克服强化学习的落地挑战 ................ 241
中英文术语对照表与符号表 ............... 244
中英文术语对照表 ..................................244
符号表.................................................246
· · · · · · (收起)

亲爱的读者，欢迎来到强化学习的世界。初探强化学习，你是否充满了好奇和期待呢？我们想说，首先感谢你的选择，学习本书不仅能够帮助你理解强化学习的算法原理，提高代码实践能力，更能让你了解自己是否喜欢决策智能这个方向，从而更好地决策未来是否从事人工智能方面的研究和实践工作。人生中充满选择，每次选择就是一次决策，我们正是从一次次决策中，把自己带领到人生的下一段旅程中。...

• 第一章 初探强化学习