机器学习导论

前言
2012年,我回到清华大学语音语言技术中心(CSLT)任教,继续关于语音和语言信息处理领域的研究。在这些研究中,机器学习是基础工具,掌握机器学习方法和学会敲代码一样,属于基本功。因此,不论是在授课还是在研究中,我们一向重视向学生传授机器学习的基础知识。
当前关于机器学习方面的资料非常丰富:Andrew Ng在 Coursera上的机器学习教程、ChristoperBishop的《模式识别与机器学习》和周志华的《机器学习》都是非常好的基础教材;Goodfelow等人编写的《深度学习》是学习深度学习技术的首选资料;麻省理工学院、斯坦福大学等名校的公开课也非常有价值;一些主要会议的 Tutorial、Keynote也都可以在网上搜索到。然而,在教学过程中,我深感这些资料的专业性很强,且入门不易。一方面可能是因为语言障碍,另一方面可能是因为机器学习覆盖面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词和算法面前产生了畏难情绪,导致半途而废。
2016年7月到8月,我在 CSLT组织了一次关于机器学习的内部暑期研讨班,主要目的不是细致讨论各种具体算法,而是将各种看似高深的方法有机地组织起来,告诉学生每种方法的基本思路、基本用法及与其他技术的关联,帮助他们走入机器学习的宏伟殿堂。除了我讲以外,还有冯洋、王彩霞、王卯宁三位教师,分别讲述图模型、核方法和遗传算法。研讨班取得了意想不到的效果,很多学生不仅掌握了基础知识和基本方法,对这些方法与具体应用研究的结合也有了更深刻的理解,为在本领域的深入研究打下了基础。
本书的主体内容是基于该研讨班形成的总结性资料,从 2016年 8月开始整理,历经数次大规模修正,直到2019年1月定稿。全书共分11章,内容如下。
第1章:介绍机器学习研究的总体思路、发展历史与关键问题;
· · · · · · (更多)

前言
2012年,我回到清华大学语音语言技术中心(CSLT)任教,继续关于语音和语言信息处理领域的研究。在这些研究中,机器学习是基础工具,掌握机器学习方法和学会敲代码一样,属于基本功。因此,不论是在授课还是在研究中,我们一向重视向学生传授机器学习的基础知识。
当前关于机器学习方面的资料非常丰富:Andrew Ng在 Coursera上的机器学习教程、ChristoperBishop的《模式识别与机器学习》和周志华的《机器学习》都是非常好的基础教材;Goodfelow等人编写的《深度学习》是学习深度学习技术的首选资料;麻省理工学院、斯坦福大学等名校的公开课也非常有价值;一些主要会议的 Tutorial、Keynote也都可以在网上搜索到。然而,在教学过程中,我深感这些资料的专业性很强,且入门不易。一方面可能是因为语言障碍,另一方面可能是因为机器学习覆盖面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词和算法面前产生了畏难情绪,导致半途而废。
2016年7月到8月,我在 CSLT组织了一次关于机器学习的内部暑期研讨班,主要目的不是细致讨论各种具体算法,而是将各种看似高深的方法有机地组织起来,告诉学生每种方法的基本思路、基本用法及与其他技术的关联,帮助他们走入机器学习的宏伟殿堂。除了我讲以外,还有冯洋、王彩霞、王卯宁三位教师,分别讲述图模型、核方法和遗传算法。研讨班取得了意想不到的效果,很多学生不仅掌握了基础知识和基本方法,对这些方法与具体应用研究的结合也有了更深刻的理解,为在本领域的深入研究打下了基础。
本书的主体内容是基于该研讨班形成的总结性资料,从 2016年 8月开始整理,历经数次大规模修正,直到2019年1月定稿。全书共分11章,内容如下。
第1章:介绍机器学习研究的总体思路、发展历史与关键问题;
第2章:介绍线性模型,包括线性预测模型、线性分类模型和线性高斯概率模型;
第3章:介绍神经网络的基础知识、基础结构和训练方法;
第4章:介绍深度神经网络的基础方法和最新进展; 第5章:介绍核方法 ,特别是支持向量机模型 ;
第6章:介绍图模型的基本概念和基于图模型的学习与推理方法 ;
第7章:介绍非监督学习方法 ,特别是各种聚类方法和流形学习 ;
第8章:介绍非参数模型 ,重点关注高斯过程和狄利克雷过程 ;
第9章:介绍遗传算法、遗传编程、群体学习等演化学习方法 ;
第10章:介绍强化学习 ,包括基础算法及近年来兴起的深度强化学习方法 ;
第11章:介绍各种数值优化方法。
基于作者的研究背景 ,这本书很难说是机器学习领域的专业著作 ,而是一本学习笔记 ,是从一个机器学习技术使用者角度对机器学习知识的一次总结 ,并加入编著者在本领域研究中的一些经验和体会。与其说是一本专业著作 ,不如说是一本科普读物 ,用简洁的语言和深入浅出的描述为初学者打开机器学习这扇充满魔力的大门。打开大门以后 ,我们会发现这是一个多么让人激动人心的领域 ,每天都有新的知识、新的思路、新的方法产生 ,每天都有令人振奋的成果。我们希望这本书可以让更多学生、工程师和相关领域的研究者对机器学习产生兴趣 ,在这片异彩纷呈的海域上找到属于自己的那颗贝壳。
本书的出版凝聚了很多人的心血。冯洋、王卯宁、王彩霞、邢超、李蓝天、汤志远、张记袁、李傲冬、刘艾婷、白子薇、罗航、石颖、林婧伊、汪洋、张安迪、陈怿翔等老师和同学对本书资料进行了整理 ,并形成了初始版本。张淼同学对全书进行了校对。蔡云麒博士对全部引用和图片做了整理。张雪薇、林婧伊、蔡佳音、景鑫、傅豪、何丹、于嘉威、齐诏娣、吴嘉瑶、张阳、姜修齐、刘逸博、张镭锏等同学参与了文字整理工作。
感谢朱小燕老师为本书做序并提出了很多中肯建议。感谢苏红亮、戴海生、利节、黄伟明等老师对部分章节的审读和建设性意见。感谢语音语言中心的郑方、周强及其他老师 ,中心宽松的治学环境是本书得以完成的前提。
感谢我的家人 ,他们为我承担了学术以外的所有生活压力 ,没有他们的支持 ,就没有本书的出版。
由于编著者在知识和经验上的局限性 ,书中难免会出现各种错误和疏漏 ,敬请各位读者批评、指正。
著者
2020年6月18日于清华大学
Ⅳ
....
· · · · · · (收起)