深度学习的哲学基础和成长之路
这篇书评可能有关键情节透露
深度学习的哲学基础和三次革命
深度学习（神经网络）的轮回大概是30年一次，在1950年代的雏形形成、1980年代的算法突破之后，我们在2010年代迎来了深度学习的第三次革命。
说这番话的不是别人，正是杰弗里·辛顿齐名的特伦斯·谢诺夫斯基，美国的杰出科学家，一位神经网络的先驱人物。
回头看来，这几句话虽然简单，但却精准的勾勒出了这一学科发展的时间历程，当然也着实透露出一门学科从诞生到成为显学的辛酸过程。今天，当我们动辄就要提深度学习和人工智能的时候，我们经常以为这些东西都是一下子蹦出来的，殊不知这一概念的兴起可以追溯到半个世纪之前，而我们今天使用的大多数神经网络算法（包括最为著名的反向传播），都是上世纪80年的理论结晶。
人工智能的定义一直无法规范，原因在于各个流派对于何为人工智能一直莫衷一是。但从历史的发展角度来说，人工智能可以简单分为两大派别（类似于笑傲江湖的剑宗和气宗）：
一派是自上而下的，即认为给出符号、规则和方法，可以让机器具有人的理性思考能力，这有点像告诉一个孩子这是一个杯子，然后让孩子知道其他能够装水的可能都叫杯子；
另一派则可能喜欢自内而外，他们认为机器可以学习大脑的原理，靠自己理解事物，继而便可以具有人类的智能。后者的思想往往会被称为联结主义。
特伦斯秉承联结主义的思想，但他的思考结晶——《深度学习》一书，显然不是一部联结主义史，所以他的叙述未必如词条般谨慎，而是更多具有个人色彩。在他看来，人类对大脑工作原理的理解乃是这种联结主义人工智能思想的根源：简而言之，搞懂大脑，我们就可以模仿之。
这样的思想显然不止千年，但若要说到真正落实，则肯定要从20世纪开始说起，尤其是图灵式机器与智能关系的探讨，更是开启了新的历程。
特伦斯生于上世纪五十年代，最早的那一段显然与他无关，但他还是对他之前的深度学习起源——那些对他影响至深的人和物做了梳理。而关于初期的重要人物，他重点提到了两个人：Selfridge和Rosenblatt。
下面的这幅图就比较有意思。这图叫做鬼蜮，乃是Oliver Gordon Selfridge所提出的一种认知模型。 Oliver Gordon Selfridge 我们似乎并不熟悉，但其实他是人工智能的先驱之一，是维纳的学生，也是马文·明斯基的一位导师。
这个图非常简单，它把人对世界的感知分成了四部分。首先是输入，之后开始辨认特征，然后是进行认知，最后是一个决策输出。这个模型的核心特征，在于它将人类的思维理解为一个先部分后整体的处理过程，即设想人类大脑对任何外部输入的处理，都是先部分认识，分辨，最后进行组合。很显然，这种思想为后世的联结主义者（神经网络学者）带来了很大的启示。
之后则是感知机的出现。感知机的出现有赖于另外一位著名的先驱 Frank Rosenblatt ——明斯基的室友。 Frank Rosenblatt 引入了单层的感知机，号称可以能够通过感知（例如图片）把猫和狗区分开来。当时这个感知机的出现引起了震动，纽约时报称这是一个能够自学的电子脑，而这也在一定程度上引发了外界对人工智能的狂热遐想，他们以为一个机器替代人类的时代可以马上到来。
但显然研究者高估了自己的能力。事实上，这种感知机的应用能力有限，它分不出来什么实际的东西。而后来明斯基的《感知机》一书则将这种网络神经的思想彻底判了死刑，也将联结主义这一派的人工智能研究送入了寒冷的冬天。 Frank Rosenblatt 年纪轻轻就死了，有人说是因为研究的失败而自杀，当然特伦斯对此作了澄清。
尽管AI深入寒冬，但像特伦斯这些出身于生物学的大脑神经研究者则在这一过程中一直坚信，对人类大脑神经的研究将继续促进这一学科的发展。搞清楚大脑的原理，然后建立一种新的神经网络模型，就成了一个新任务。
所幸，在1970年代的后期，特伦斯遇见了杰弗里·辛顿。这两个对神经网络都抱有信心的人走到了一起，并且开始为之后的深度学习发展奠定基础。
更为重要的是，在这个时期，研究大脑运作规律的神经科学有了更多的发展，科学家从不同的层面更多的了解了这个神秘器官的工作原理。与此同时，计算机的发展也为神经网络模型更好的实现对大脑的模拟创造出更好的条件。
特伦斯和辛顿一起发明的玻尔兹曼机将神经网络学习向前推进了一步，这种结合了最新神经科学研究成果的方法能够突破先前感知器的局限，实现多层神经网络。当然，在当时的计算机条件下，多层神经网络的实践并不顺畅，而这个时候，以鲁姆哈特为首的另一批先驱（包括辛顿）又恰逢其时推出了反向传播算法，更好的提升了多层网络的效率，实现了算法上的优化。
自此之后，深度学习可以说正式开启了一个新的时代，而接下来的三十年，则变成了深度学习开始从学术走向大众视野和商业应用的新周期——这些我们今日早已耳熟能详。
深度学习的发展历史，正是特伦斯《深度学习》一书的核心。作为深度学习的深度参与者，作者的叙述既有个人感情，但也丝毫不忽视所有人的贡献，正是因此，本书不但比我们目前看到的所有关于深度学习发展历史的描述更加具有人情味（甚至八卦），从某种意义上也颇具客观性。
当然，如果对于技术本身的发展不感兴趣，我想也可以看看本书的后半部分——一个深度学习亲历者对深度学习以及人工智能未来的预测、感知以及期待。作为一个技术的参与者，特伦斯显然是技术乐观派，他毫无疑问的相信深度学习——这种对大脑模拟方法具有光明的未来。大自然当然比我们每个人聪明，但作为一个物种，人类总在不断突破，正因为如此，我们势必也可以进入一个更为智能的时代。
————
221修订，之前错字太多。
