科技革命同样需要牺牲精神

叶龙先生整理出版的钱穆《中国文学史》在序言里讲到，"国内以往数十年所出的文学史教科书，缺失的恰恰是个性，恰恰是个人视角，个人立场，个人审美判断力的阙如"，钱先生这本“一家之言”的文学史书，正好给读者提供了独到而新颖的思想。讲人工智能的历史，Terrence Sejnowski(特伦斯·谢诺夫斯基)新著的《The Deep Learning Revolution》正是这样一本好书。比叶、钱更胜一筹之处在于，前者只是文学史的研究者，后者却是人工智能历史的亲历者，书中的人和事，很多都是发生在作者和他的朋友们之间的，许多鲜为人知的科研轶事十分精彩。亲历者写史，更能写出清晰的时间线和逻辑线。

作者Terrence是世界十大AI科学家之一，美国四大国家学院在世仅3位的“四院院士”之一，NIPS基金会主席，长期任美国索尔克生物研究所计算神经生物学实验室主任，是美国政府资助50亿美元“脑计划”项目的领军人物。这本书的内容正如名字所传达的那样，不是讲整个AI技术的历史，而是作者深耕的那一部分—AI中结联主义的发展历史，从单个神经元模型如何发展到深度学习模型。毫不夸张地说，深度学习几乎统治了当下AI研究领域。研究人工智能就像“言必称希腊”一样“必称”深度学习；“言必称希腊”略带有一些过分而不当的意味，此处同样适用。

这本书主要分为三个部分，第一部分偏重历史背景，讲人工智能的结联主义是如何在生物学（仿生的出发点）的启发下一点一点发展起来的，这里面许多和作者志同道合的人，尤其是作者三十多年的好友、被誉为深度学习之父的Hinton，深信大自然是最好的老师。自然进化的智慧清晰地展现了结联主义的正确性和无限前景。第二部分以当下深度学习技术的几个主要研究方面和突破性技术为框架展开，当然仍是以讲发展脉络为主，以技术的指导思想对这些方面的原理及思路作概念性的解答，有助于具有一定研究基础的人更深刻地理解和认识。前两部分是我认为比较精彩的地方。第三部分主要讲这些技术的影响与展望，以及作者的一些思考，依然重视生物学（重点是人类智慧）启发。前两部分逻辑清晰，尤其是第二部分，有人工智能研究基础的人，能够看到以往公式背后的人和思想，对于深刻理解算法、提高科研能力有很好的启迪。个人认为第三部分写的缺乏逻辑（也可能是和大牛水平相差太远，看不出来），而且生物生理方面的讨论较多，非专业人士理解起来较难。我读的是英文原版，生僻专业词汇较多，更不易理解。

这本书里有个地方讲的比较精彩。大牛打架，不用棍棒，用数学。AI启蒙阶段就产生了结联主义和符号主义的路线之争。所谓结联主义，就是以神经网络为主要形式，采用学习的方式，由训练数据直接到学习结果的研究方式；所谓符号主义，就是采用逻辑推理和符号表示的方式，由具有明确规则的算法运算给出最终结果的研究方式。到底哪个通向胜利？这引发了两派研究者不断地争论。深度学习属于结联主义，本书作者认为深度学习的“先祖”应是康奈尔大学的Frank Rosenblatt，他大概在1957年的时候提出了perception的概念，这不是重点，重点是他从数学上证明了perception的收敛性，为利用perception解决分类问题的有效性作了理论证明，极大地鼓舞了结联主义者们，Rosenblatt的工作让结联主义一时占据了上风。符号主义的牛人Marvin Minsky不乐意了，啥？你数学上证明了perception能收敛？收敛到哪儿你可没说清楚！Minsky数学也不赖，一番推导，1969年写了一篇论文，一棒子就把Rosenblatt等人的结联主义从乡长打回了三胖子。Minsky的论文从数学上证明了：perception的能力是有限的，它们只能用来区分线性可分的类，对于非线性问题，收敛又能怎样呢，反正收敛不到正确的解上。论文起的名字更气人，Rosenblatt不是提出了perception么？Minsky的论文就叫Perceptions，好像在说“我可比你更了解你的perception!”Minsky的论文直接把结联主义拍死了十几年，大多数研究者一窝蜂跑到符号主义阵营中去了。几十年后，本书作者曾半开玩笑半认真地质问Minsky，你就是那个把结联主义推入寒冬的恶魔码？是的。

做AI研究需要许多人在生物学领域开拓，能够提出切实有效的数学模型以供计算机科学家进一步挖掘与发展，才能形成有价值的算法与机器智能技术，就像David Hubel等人的视觉神经元模型逐渐发展到Rosenblatt提出Perception模型，后又发展到（深度）神经网络。去年一次学术会议结束后，我与中科院自动化所研究计算机视觉的一位老师开车送中国科学院郭爱克院士回家，路上郭院士谈到当下计算机视觉的研究过于侧重算法与技巧，而忽视了生物学启发，从这些年出版的相关书籍可见一斑。实际上最早研究计算机视觉的人都是从生物视觉出发的，比如Marr经典的《Vision》一书，生物味道就很浓，而现在很难见到了。我也认同郭院士的话，做生物与计算机科学之间的桥梁，意味着你的研究要更加有原创性，这是很困难的工作，也是需要很长时间才能见到成果的工作，做这个工作的人少了，这又引出了科研领域另一个令人深思的问题。

做原创性研究，想要取得基础科学的重大突破，需要长时间的坐冷板凳，也有可能因为方向选择错误而终不得成功，科研也是需要有牺牲精神的。本书作者在前言中将深度学习的成功归于三个因素，排第一的是相关科学家三十年来持之以恒的坚持。深度学习教父Hinton从三十岁坚持做到六七十岁才令世人看到了该技术的巨大效力，三十年在黑暗中坚持寻找光明，三十年在大多数同行的不认可中坚持己见，这种坚持需要的是莫大地勇气，三十年，可谓敢于牺牲的勇气。非科研人员可能无法感同身受。对科研人员而言，时间是最宝贵的，因而选择研究方向至关重要，可以说是可以说是事关生死（职业生命）。如果长期没有有效科研产出，研究者很难评职称，从而影响申请课题与经费，从而更难以取得成果，进入一个死循环。这是一个科研浮躁的年代，急功近利，研究缺乏韧性，非独中国，全世界亦然，程度不同而已。本书作者以及一些志同道合的科研人员，对自己的信念笃定不移，然而能坚持三十年这么久，仅靠这份自信还不够，更需要莫大的勇气、近乎牺牲的勇气。这本书里科学家的故事，他们的成功，像树起的一面旗帜，鼓舞更多的人，勇于去探索，去长期的坚持。