你的第一本RL教科书

这本书，这门课是我的RL引路人，由浅入深，从Model-Base到Model-Free，从Value Function Approximation到Policy Function Approximation再到AC，覆盖了RL的主要内容。虽然这本书侧重于数学原理，离实践还有一定距离，但理解了这套框架，抓住RL的本质，后续理解RL中的一些具体算法也会容易很多。总之，这是一本好的教材，应当成为很多人的第一本RL教材。

好的教材，并不在于内容多么深奥，而在于它真的能教会人。一个发生在自己身上的例子是，高中时候曾尝试看同济的《高等数学》自学微积分，当时只觉得自己愚笨，看不懂（因为有同学能看懂）。但在本科时，学校用的是Thomas Calculus，虽然存在语言的隔阂，但配合书中彩色插图，一章一章读完，理解起来并不吃力，当时第一次觉得，教材也能这么好读。这本MFRL也同样属于后者，不是简单地罗列概念，而是结合例子与证明，具象与抽象相结合，一点一点带你去理解，是一本能看懂能学会的教材。

为什么直到现在，仍然缺少好的教科书？尤其是一些学科基础类的，毕竟它们的内容大都已经十分固定了。我想主要有两方面原因，一方面，编写好的教材，需要耗费大量的时间。不仅是编写内容本身，而是需要花费大量的时间去修改、去完善，需要在教学实践过程中不断根据反馈去提升。MFRL这本教材赵老师早就将预印本放到网上了，但知道最近才正式出版，这中间想必是花了很多时间在打磨修改上。

更重要的是，花费了如此多的时间与精力，编教材对于教授们而言，更多的是一门为爱发电的事情。在现在国内高校纷纷往「研究型」大学转向的风潮下，教学是最先被抛弃的一环。在学术界的评价体系中，教学是被排除在外的。即使是Gilbert Strang，也会被人怀疑他是不是为了教学而荒废了学术：为什么麻省理工学院数学教授Gilbert Strang讲课牛逼但是科研能力不行?为了科研而放弃教学大有人在，这是一件再合理不过的事情。但于此同时，结合我的观察，那些愿意为了教学花费时间与精力的老师，无一不是考虑学生发展、尊重学生的导师（选导师第一定律）。

赵老师愿意花如此多的精力去编写教材、去录制课程，并将课程分享出来，对于RL的学习者来说，太过幸福。对于强化学习感兴趣的朋友们，一定不要错过这本教材，这门课程。

最后，感谢赵老师！