内容简介 · · · · · ·
本书前半部分介绍强化学习的重要思想和基础知识,后半部分介绍如何将深度学习应用于强化学习,遴选讲解了深度强化学习的最新技术。全书从最适合入门的多臂老虎机问题切入,依次介绍了定义一般强化学习问题的马尔可夫决策过程、用于寻找最佳答案的贝尔曼方程,以及解决贝尔曼方程的动态规划法、蒙特卡洛方法和TD方法。随后,神经网络和Q学习、DQN、策略梯度法等几章则分别讨论了深度学习在强化学习领域的应用。本书延续“鱼书”系列的风格,搭配丰富的图、表、代码示例,加上轻松、简明的讲解,让人循序渐进地理解强化学习中各种方法之间的关系,于不知不觉中登堂入室。
编辑推荐
沿袭“鱼书”系列风格,提供实际代码,边实践边学习,无须依赖外部库,从零开始实现支撑强化学习的基础技术。
本书有什么特点?
●把握潮流中的变与不变
在快速发展变化的深度学习领域,有变化的事物,有不变的事物。有些事物会...
本书前半部分介绍强化学习的重要思想和基础知识,后半部分介绍如何将深度学习应用于强化学习,遴选讲解了深度强化学习的最新技术。全书从最适合入门的多臂老虎机问题切入,依次介绍了定义一般强化学习问题的马尔可夫决策过程、用于寻找最佳答案的贝尔曼方程,以及解决贝尔曼方程的动态规划法、蒙特卡洛方法和TD方法。随后,神经网络和Q学习、DQN、策略梯度法等几章则分别讨论了深度学习在强化学习领域的应用。本书延续“鱼书”系列的风格,搭配丰富的图、表、代码示例,加上轻松、简明的讲解,让人循序渐进地理解强化学习中各种方法之间的关系,于不知不觉中登堂入室。
编辑推荐
沿袭“鱼书”系列风格,提供实际代码,边实践边学习,无须依赖外部库,从零开始实现支撑强化学习的基础技术。
本书有什么特点?
●把握潮流中的变与不变
在快速发展变化的深度学习领域,有变化的事物,有不变的事物。有些事物会随潮流而消逝,有些则会被传承下去。本书从马尔可夫决策过程、贝尔曼方程、蒙特卡洛方法、时间差分法等强化学习基础方法,自然而然地过渡到神经网络和深度学习,从前沿视角为读者遴选出最值得关注的强化学习理论和方法。
●内容丰富,讲解简明易懂
作为超高人气“鱼书”系列第四部作品,本书延续了这一系列的写作和讲解风格,搭配丰富的图、表、代码示例,加上轻松、简明的讲解,能够让人非常信服地理解强化学习中各种方法之间的关系,于不知不觉中登堂入室。
●原理与实践并重
本书旨在确保读者能够牢固掌握强化学习的独特理论,奉行“只有做出来才能真正理解”的理念,将这一主题的每个构成要素都从“理论”和“实践”两个方面进行详尽解释,并鼓励读者动手尝试。与仅通过数学公式解释理论的图书不同,读者将通过实际运行本书代码获得许多令人惊叹的领悟。
作者简介 · · · · · ·
斋藤康毅,1984年出生于日本长崎县,东京工业大学毕业,并完成东京大学研究生院课程。目前在某企业从事人工智能相关的研究和开发工作。著有“鱼书”系列《深度学习入门:基于Python的理论与实现》《深度学习进阶:自然语言处理》《深度学习入门2:自制框架》,同时也是Python in Practice、The Elements of Computing Systems、Building MachineLearning Systems with Python的日文版译者。
目录 · · · · · ·
第 1章 老虎机问题 1
1.1 机器学习的分类与强化学习 1
1.1.1 监督学习 2
1.1.2 无监督学习 2
1.1.3 强化学习 3
1.2 老虎机问题 5
1.2.1 什么是老虎机问题 5
1.2.2 什么是好的老虎机 7
1.2.3 使用数学式表示 8
1.3 老虎机算法 9
1.3.1 价值的估计方法 10
1.3.2 求平均值的实现 12
1.3.3 玩家的策略 15
1.4 老虎机算法的实现 17
1.4.1 老虎机的实现 17
1.4.2 智能代理的实现 19
1.4.3 尝试运行 20
1.4.4 算法平均的特性 23
1.5 非稳态问题 28
1.5.1 解决非稳态问题前的准备工作 29
1.5.2 解决非稳态问题 32
1.6 小结 34
第 2章 马尔可夫决策过程 36
2.1 什么是MDP 37
2.1.1 MDP的具体例子 37
2.1.2 智能代理与环境的互动 39
2.2 环境和智能代理的数学表示 40
2.2.1 状态迁移 40
2.2.2 奖励函数 42
2.2.3 智能代理的策略 43
2.3 MDP的目标 45
2.3.1 回合制任务和连续性任务 45
2.3.2 收益 46
2.3.3 状态价值函数 47
2.3.4 最优策略和最优价值函数 48
2.4 MDP的例子 50
2.4.1 回溯线形图 51
2.4.2 找出最优策略 52
2.5 小结 54
第3章 贝尔曼方程 56
3.1 贝尔曼方程的推导 57
3.1.1 概率和期望值(推导贝尔曼方程的准备)57
3.1.2 贝尔曼方程的推导 60
3.2 贝尔曼方程的例子 64
3.2.1 有两个方格的网格世界 64
3.2.2 贝尔曼方程的意义 68
3.3 行动价值函数与贝尔曼方程 68
3.3.1 行动价值函数 69
3.3.2 使用行动价值函数的贝尔曼方程 70
3.4 贝尔曼最优方程 71
3.4.1 状态价值函数的贝尔曼最优方程 71
3.4.2 Q函数的贝尔曼最优方程 73
3.5 贝尔曼最优方程的示例 74
3.5.1 应用贝尔曼最优方程 74
3.5.2 得到最优策略 76
3.6 小结 78
第4章 动态规划法 79
4.1 动态规划法和策略评估 80
4.1.1 动态规划法简介 80
4.1.2 尝试迭代策略评估 81
4.1.3 迭代策略评估的其他实现方式 86
4.2 解决更大的问题 87
4.2.1 GridWorld类的实现 88
4.2.2 defaultdict的用法 94
4.2.3 迭代策略评估的实现 95
4.3 策略迭代法 99
4.3.1 策略的改进 99
4.3.2 重复评估和改进 101
4.4 实施策略迭代法 102
4.4.1 改进策略 103
4.4.2 重复评估和改进 105
4.5 价值迭代法 107
4.5.1 价值迭代法的推导 109
4.5.2 价值迭代法的实现 113
4.6 小结 116
第5章 蒙特卡洛方法 117
5.1 蒙特卡洛方法的基础知识 117
5.1.1 骰子的点数和 118
5.1.2 分布模型和样本模型 119
5.1.3 蒙特卡洛方法的实现 121
5.2 使用蒙特卡洛方法评估策略 123
5.2.1 使用蒙特卡洛方法计算价值函数 124
5.2.2 求所有状态的价值函数 126
5.2.3 蒙特卡洛方法的高效实现 129
5.3 蒙特卡洛方法的实现 130
5.3.1 step方法 130
5.3.2 智能代理类的实现 132
5.3.3 运行蒙特卡洛方法 134
5.4 使用蒙特卡洛方法的策略控制 136
5.4.1 评估和改进 136
5.4.2 使用蒙特卡洛方法实现策略控制 137
5.4.3 ε-greedy算法(第 1个修改) 139
5.4.4 修改为固定值α的方式(第 2个修改) 141
5.4.5 [ 修改版] 使用蒙特卡洛方法实现策略迭代法 142
5.5 异策略型和重要性采样 145
5.5.1 同策略型和异策略型 145
5.5.2 重要性采样 146
5.5.3 如何减小方差 150
5.6 小结 152
第6章 TD方法 153
6.1 使用TD方法评估策略 153
6.1.1 TD方法的推导 154
6.1.2 MC方法和TD方法的比较 157
6.1.3 TD方法的实现 158
6.2 SARSA 161
6.2.1 同策略型的SARSA 161
6.2.2 SARSA的实现 162
6.3 异策略型的SARSA 165
6.3.1 异策略型和重要性采样 166
6.3.2 异策略型的SARSA的实现 167
6.4 Q学习 169
6.4.1 贝尔曼方程与SARSA 170
6.4.2 贝尔曼最优方程与Q学习 171
6.4.3 Q学习的实现 173
6.5 分布模型与样本模型 175
6.5.1 分布模型与样本模型 175
6.5.2 样本模型版的Q学习 176
6.6 小结 179
第7章 神经网络和Q学习 181
7.1 DeZero简介 182
7.1.1 使用DeZero 183
7.1.2 多维数组(张量)和函数 184
7.1.3 最优化 186
7.2 线性回归 189
7.2.1 玩具数据集 189
7.2.2 线性回归的理论知识 190
7.2.3 线性回归的实现 191
7.3 神经网络 195
7.3.1 非线性数据集 195
7.3.2 线性变换和激活函数 196
7.3.3 神经网络的实现 197
7.3.4 层与模型 199
7.3.5 优化器(最优化方法)202
7.4 Q学习与神经网络 204
7.4.1 神经网络的预处理 204
7.4.2 表示Q函数的神经网络 205
7.4.3 神经网络和Q学习 208
7.5 小结 212
第8章 DQN 213
8.1 OpenAI Gym 213
8.1.1 OpenAI Gym的基础知识 214
8.1.2 随机智能代理 216
8.2 DQN的核心技术 218
8.2.1 经验回放 218
8.2.2 经验回放的实现 220
8.2.3 目标网络 223
8.2.4 目标网络的实现 224
8.2.5 运行DQN 227
8.3 DQN与Atari 230
8.3.1 Atari的游戏环境 231
8.3.2 预处理 232
8.3.3 CNN 232
8.3.4 其他技巧 233
8.4 DQN的扩展 234
8.4.1 Double DQN 234
8.4.2 优先级经验回放 235
8.4.3 Dueling DQN 236
8.5 小结 238
第9章 策略梯度法 239
9.1 最简单的策略梯度法 239
9.1.1 策略梯度法的推导 240
9.1.2 策略梯度法的算法 241
9.1.3 策略梯度法的实现 243
9.2 REINFORCE 248
9.2.1 REINFORCE算法 249
9.2.2 REINFORCE的实现 250
9.3 基线 251
9.3.1 基线的思路 251
9.3.2 带基线的策略梯度法 253
9.4 Actor-Critic 254
9.4.1 Actor-Critic的推导 255
9.4.2 Actor-Critic的实现 257
9.5 基于策略的方法的优点 260
9.6 小结 262
第 10章 进一步学习 263
10.1 深度强化学习算法的分类 263
10.2 策略梯度法的改进算法 265
10.2.1 A3C和A2C 265
10.2.2 DDPG 268
10.2.3 TRPO和PPO 271
10.3 DQN的改进算法 272
10.3.1 分类DQN 272
10.3.2 Noisy Network 274
10.3.3 Rainbow 274
10.3.4 在Rainbow以后提出的改进算法 275
10.4 案例研究 276
10.4.1 棋盘游戏 277
10.4.2 机器人控制 279
10.4.3 NAS 280
10.4.4 其他案例 282
10.5 深度强化学习的挑战和可能性 283
10.5.1 应用于实际系统 283
10.5.2 将问题表示为MDP形式时的建议 286
10.5.3 通用人工智能系统 288
10.6 小结 288
附录A 异策略型的蒙特卡洛方法 291
附录B n-step TD方法 298
附录C Double DQN的理解 300
附录D 策略梯度法的证明 304
后记 308
参考文献 310
· · · · · · (收起)
喜欢读"深度学习入门4"的人也喜欢 · · · · · ·
-
- 深度学习入门5 9.7
-
- 从零构建大模型 9.3
-
- 动手学强化学习 8.7
-
- 机器学习与深度学习算法基础 9.5
-
- 预训练语言模型 9.3
-
- 深度强化学习 9.7
-
- 深入浅出神经网络与深度学习 9.0
-
- PyTorch生成对抗网络编程 8.9
-
- Easy RL:强化学习教程 8.2
-
- Python深度学习 (第2版) 9.6
深度学习入门4的书评 · · · · · · ( 全部 4 条 )
豆瓣9.9分,几乎无差评,深度学习神作“鱼书”系列第四弹强化学习来了!
> 更多书评 4篇
论坛 · · · · · ·
在这本书的论坛里发言这本书的其他版本 · · · · · · ( 全部3 )
-
オライリージャパン (2022)暂无评分 4人读过
-
歐萊禮 (2023)暂无评分
以下书单推荐 · · · · · · ( 全部 )
- 豆瓣9分以上计算机图书 (晚安,本杰明)
- 计算机 (徐永冰)
- 书单|AI大模型研发训练营 (欧阳)
- 书单|AI (book)
- 计算机方向日本韩国人写的高分书 (damengxinfa02)
谁读这本书? · · · · · ·
二手市场
· · · · · ·
- 在豆瓣转让 有524人想读,手里有一本闲着?
订阅关于深度学习入门4的评论:
feed: rss 2.0
0 有用 Walter 2024-12-17 14:48:27 北京
非常好的一本书,讲解的深入浅出。要是结合实际的案例再多一些就好了
0 有用 清歌 2025-04-01 20:06:46 上海
终于学到学完强化学习了,爽!过完年一口气把系列四部书都学完了,对深度学习和强化学习有了一些认识,感觉非常开心!这个系列由浅入深,层层递进,非常好!有点无痛学习的意思了!下一步:大模型我来啦!(期待作者继续出书)
1 有用 momo 2025-07-12 09:59:41 辽宁
我想和作者在一起,书写的也太棒了。作者很厉害,讲强化学习的基础本质通俗易懂的,将我不是这个学科的同学也可以讲明白
1 有用 白色斯巴鲁男子 2025-02-22 16:06:18 四川
这是我见过能将各个概念讲的最清晰,最直白的书。简单明白的可怕。感谢斋藤,期待你的第五本
0 有用 图灵社区 2024-08-21 16:29:28 北京
深受读者喜爱的“鱼书”系列第四弹,深度学习入门经典,从零开始掌握强化学习。沿袭“鱼书”系列风格,提供实际代码,边实践边学习,无须依赖外部库,从零开始实现支撑强化学习的基础技术。