《机器学习导论》试读：前言

机器学习使用实例数据或过去的经验训练计算机，以优化性能标准。当人们不能直接编写计算机程序解决给定的问题，而是需要借助于实例数据或经验时，就需要学习。一种需要学习的情况是人们没有专门技术，或者不能解释他们的专门技术。以语音识别，即将声学语音信号转换成ASCII文本为例。看上去我们可以毫无困难地做这件事，但是我们却不能解释我们是如何做的。由于年龄、性别或口音的差异，不同的人读相同的词发音却不同。在机器学习中，这个问题的解决方法是从不同的人那里收集大量发音样本，并学习将它们映射到词。 另一种需要学习的情况是要解决的问题随时间变化或依赖于特定的环境。我们希望有一个能够自动适应环境的通用系统，而不是为每个特定的环境编写一个不同的程序。以计算机网络上的包传递为例。最大化服务质量的、从源地到目的地的路径随网络流量的改变而改变。学习路由程序能够通过监视网络流量自动调整到最佳路径。另一个例子是智能用户界面，它能够自动适应用户的生物特征，即用户的口音、笔迹、工作习惯等。 机器学习在各个领域都有许多成功的应用：已经有了识别语音和笔迹的商用系统。零售商分析他们过去的销售数据，了解顾客行为，以便改善顾客关系管理。金融机构分析过去的交易，以便预测顾客的信用风险。机器人学习优化它们的行为，以便使用最少的资源来完成任务。在生物信息学方面，使用计算机不仅可以分析海量数据，而且还可以提取知识。这些只是我们(即你和我)将在本书讨论的应用的一部分。我们只能想象一下可使用机器学习实现的未来应用：可以在不同的路况、不同的天气条件下自己行驶的汽车，可以实时翻译外语的电话，可以在新环境(例如另一个星球的表面)航行的自动化机器人。机器学习的确是一个令人激动的研究领域! 本书讨论的许多方法都源于各种领域：统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。过去，这些不同领域的研究遵循不同的途径，侧重点也不同。本书旨在把它们组合在一起，给出问题的统一处理并提供它们的解。 本书是一本入门教材，用于高年级本科生和研究生的机器学习课程，以及在业界工作、对这些方法的应用感兴趣的工程技术人员。预备知识是计算机程序设计、概率论、微积分和线性代数方面的课程。本书的目标是充分解释所有的学习算法，使得从本书给出的方程到计算机程序只是一小步。为了使这一任务更容易完成，对于某些情况，我们给出了算法的伪代码。 适当选取一些章节，本书可用作一学期的课程。再额外讨论一些研究论文的话，本书也可以作为两学期的课程，这时每章后的参考文献将很有用。 本书网页为http://www.cmpe.boun.edu.tr/~ethem/i2ml/，我将在那里提供一些与本书有关的信息，如勘误表。我真诚地欢迎你将你的反馈意见发到我的邮箱：alpaydin@boun.edu.tr。 我非常喜欢写这本书;希望你能喜欢读它。 致 谢 获得好想法的途径是与有才干的人一起工作，与他们一起工作也是一种乐趣。Boazii大学计算机工程系是一个极好的工作场所，在我写这本书时，我的同事们为我提供了我所需要的所有支持。我也要感谢我过去和现在的学生，在他们身上，我实际检验了现在写进这本书中的内容。 在写本书时，我得到了土耳其科学院青年科学家奖励计划的资助(EATBA-GEBI·P/2001-1-1)。 我特别感谢Michael Jordan。对于他多年来的支持和最近对本书的支持，我深表感谢。他针对本书大体组织和第1章所给出的建议在内容和形式上都大大改进了本书。Taner Bilgi、Vladimir Cherkassky、Tom Dietterich、Fikret Gürgen、Olcay Taner Yldz和MIT出版社的未留名审稿人也部分阅读了本书，并提供了非常宝贵的反馈。我希望他们在注意到我采纳了他们的建议但却没有特别致谢时，能够体会到我的感激之情。当然，书中的错误和不足应当由我个人负责。 我的父母信任我，我感谢他们永恒的爱和支持。无论我何时需要，Sema Oktu总在身边，我将永远感激她的友谊。我还要感谢Hakan nlü，在过去的几年中，我们无数次讨论了涉及生活、宇宙和万事万物的众多主题。 本书使用Chris Manning准备的LATEX宏排版，对此我很感谢他。我要感谢MIT出版社的编辑们，以及Bob Prior、Valerie Geary、Kathleen Caruso、Sharon Deacon Warne、Erica Schultz和Emily Gutheinz，感谢他们在本书完成期间的不断支持和帮助。 符 号 表 x 标量值 x向量 X矩阵 xT转置 X-1逆矩阵 X随机变量 P(X)概率质量函数，X是离散的 p(X)概率质量函数，X是连续的 P(XY)给定Y，X的条件概率 E[X]随机变量X的期望值 Var(X)X的方差 Cov(X，Y)X和Y的协方差 Corr(X，Y)X和Y的相关性 μ均值 σ2方差 Σ协方差矩阵 m均值的估计 s2方差的估计 S协方差矩阵的估计 (μ，σ2)一元正态分布，均值为μ，方差为σ2 单位正态分布：(0，1) d(μ，Σ)d-变量正态分布，均值向量为μ，协方差矩阵为Σ x输入 d输入数：输入的维度 y输出 r要求的输出 K输出数(类) N训练实例数 z隐藏的值，内蕴维，潜在因子 k隐藏维数，潜在因子数 Ci类i χ训练样本 {xt｝Nt=1x的集合，上标t遍取1到N {xt，rt}t上标为t的输入和期望输出的有序对的集合 g(xθ)x的函数，其定义依赖于参数集θ arg maxθg(xθ)参数θ，g关于它取最大值 arg minθg(xθ)参数θ，g关于它取最小值 E(θχ)样本χ上具有参数θ的误差函数 l(θχ)样本χ上具有参数θ的似然函数 (θχ)样本χ上具有参数θ的对数似然函数 1(c)如果c为真，则值为1，否则为0 #{c｝c为真的元素数目 δijKronecker δ：如果i=j，取1，否则取0