从八卦中看AI传奇

《深度学习》是AI传奇人物特伦斯的一本准回忆录。特伦斯和Hinton一起发明了玻尔兹曼机，帮助神经网络社区走出1980年代的寒冬。他又是NIPS的主席。作为行业顶级会议，NIPS对AI的发展方向有着举足轻重的影响。因此，我们能从这本书中看到AI的真实发展历程。

从技术方面，这本书对神经网络的发展有一个相对清晰的梳理，从最开始的感知器这样的线性工具，到后来的多层网络，再到反向传播算法。随后的卷积学习和奖励学习横空出世，彻底改变了人们对于神经网络的态度。卷积学习广泛应用于图像识别相关的问题，让计算机在解决相关问题时，表现出超越人类的能力。在我的工作中，就会用卷积神经网络来做猪只的识别、盘点和估重。神经网络的准确性和稳定性，都是传统计算机算法无法企及的。奖励学习更不用说，AlphaGo就是经过奖励学习训练出来的。不过，特伦斯在写这本书时，显示没把书当做一本教材来写，对于技术的细节都是一笔带过。因此，对于缺乏AI算法基础的人来说，这本书在技术方面会显得有些晦涩。

这本书独特的地方，当然是特伦斯讲到的一个又一个故事。神经网络曾经在1980年代遇冷，萎缩成一个很小的社区。现在我们耳熟能详的AI大神们，都来自这个小圈子。特伦斯是这个小圈子的关键一员，因此能讲出不少故事，比如Hinton怎样获得研究基金，比如Yann LeCun心直口快的态度。特伦斯提到所谓“邋遢”的神经网络。很多时候，神经网络运转起来了，都还没有人能说清它的原理。这导致了很多“整洁”派科学家对神经网络的抵触。有的人说深度学习缺乏严谨性，甚至说深度学习是“炼金术”。然而，就像特伦斯的回应，当年也是在蒸汽机发明很多年后，才有了热力学定律来系统解释蒸汽机。先有实践，再有理论工具，确实在科学中常有发生。

特伦斯特别记录了一件事。1970年代，马文·明斯基的《感知器》一书，把神经网络推入寒冬。明斯基对多层感知器做出悲观判断，让整整一代研究者对神经网络望而却步。特伦斯坚持了在这一领域的研究，因此可以说是受益者。但他还是忍不住在2006年的一个宴会上问明斯基：你是上世纪70年代制造神经网络萧条的魔鬼吗？明斯基犹豫了片刻，承认了。即便如此，明斯基在2016年去世前，还是坚持神经网络的局限性。即使在学术领域，很多人都无法接受深度学习的成功。或许在很多年后，有一个严格的数学理论能说明深度学习为什么能完成它所擅长的任务时，萦绕在这一学科的“炼金术”论断，才有可能消散。

不过，特伦斯尝试给深度学习的成功做出一个生物学解释。要知道，他的博士背景是物理，后面转去神经科学。因此，特伦斯不会简单地把深度学习看做一大段计算机代码。在整本书中，特伦斯都在类比计算机神经网络和大脑神经的相似之处。在特伦斯看来，这两个系统都是基于简单的神经元搭建起来的复杂系统。在自然界中，这种基于简单单元的神经系统可以处理令人惊叹的视觉和语言任务。在计算机上运行的神经网络，其实是对大脑神经系统的一个模仿。既然自然已经证明这一方式有效，那深度学习的成功一点都不意外。特伦斯后来的研究经历中，也越来越偏向于认知方面的工作。计算机世界的深度学习，同样启发了他对人类智慧的研究。这一感悟，是全书最独到的一点。