第1页 引言

层次：让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。
这些机器学习算法的性能在很大程度上依赖给定数据的表示。然而，对于许多人物来说，我们很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，二不仅仅把表示映射到输出。这种方法我们称之为表示学习。
深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。
就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。
控制论Cybernetics，联结主义Connnectionism，深度学习Deep Learning。
先行模型无法学习异或XOR函数。这导致了神经网络热潮的第一次大衰退。
联结主义的中心思想史，当网络将大量简单的计算单元连接在一起时可以实现智能行为。
在那个时候，人们普遍认为深度网络是难以训练的。现在我们知道，20世纪80年代就存在的算法能工做得非常好，但是知道2006年前后都没有体现出来。这可能仅仅由于其计算代价太高，而以当时可用的硬件难以进行足够的试验。
最重要的进展是，现在我们有了这些算法得意成功训练所需的资源。
监督深度学习算法在每类给定约5000个标注样本情况下一般讲达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类表现。
几十年来，我们的机器学习模型中每个神经元的连接数量已经与哺乳动物的大脑在同一数量级上。
神经图灵机，能学习读取存储单元和向存储单元写入任意内容。这种自我变成技术正处于起步阶段，但原则上未来可以适用于几乎所有的任务。
在强化学习中，如DeepMind的AlphaGo，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。