在扩张为全球最大的公司之一并建立了与普通公司一样的官僚制度之后,微软调整方向的速度变慢了。
杰夫·辛顿于11月中旬抵达,他躺在出租车的后座上,准备穿越横跨华盛顿湖的浮桥,这座浮桥将西雅图与它的东区连接起来,然后才到雷德蒙。雷德蒙是一个郊区小镇,这里的建筑主要是一些中型的办公楼,属于一家非常大的企业。辛顿和邓力一起工作的办公室位于微软99号楼的3楼,这是一栋花岗岩和玻璃建筑,是该公司研发实验室的核心。这就是让语言学家克里斯·布罗克特恐慌发作的那间实验室,该实验室偏学术风格,不像微软的其他部门那样关注市场和资金,而是关注未来的技术。在这间实验室1991年启动运营时,微软也开始主导国际软件市场,该实验室的主要目标之一是开发出能够识别口语词汇的技术。在接下来的15年里,微软支付了异常高额的工资,招募了该领域的很多顶尖研究人员,包括邓力。但是,当辛顿抵达雷德蒙时,微软在全世界的地位正在发生变化,权力平衡正从软件巨头转移到科技行业的其他领域。谷歌、苹果、亚马逊和Facebook(脸书)正在崛起,抓住了新的市场和新的资金——互联网搜索、智能手机、网络零售和社交网络。依靠运行在大多数台式电脑和笔记本电脑上的Windows操作系统,微软仍然统治着计算机软件领域,但是,在扩张为全球最大的公司之一并建立了与普通公司一样的官僚制度之后,微软调整方向的速度变慢了。
微软的99号楼是一栋4层小楼,其实验室、会议室和办公室环绕着一个大中庭和一个小咖啡厅。辛顿和邓力计划根据多伦多大学的研究成果打造一个原型,训练一个神经网络来识别口语词汇。这个项目只有他们两个人参与,但工作刚开始就遇到一点儿麻烦。辛顿需要密码才能登录微软的计算机网络,而获得密码的唯一途径是通过一部公司的电话,但公司电话又需要自己的密码。他们发了无数封电子邮件,试图获得一部电话的密码,但都没有成功,邓力只好带着辛顿来到4楼的技术支持台。微软有一个特殊的规定,即如果访客只停留一天的时间,微软就可以提供一个临时网络密码,在技术支持台工作的女士给了他们一个。但是,当辛顿问她第二天早上密码是否还有效时,她把密码拿了回来,说:“如果你停留一天以上,你就不能用这个密码。”
在他们最终找到了接入网络的方法之后,这个项目在几天之内就完成了。有一次,当辛顿在他的台式电脑上输入计算机代码时,邓力在他旁边用同一个键盘输入。对容易激动的邓力来说,这很正常,但辛顿从未见过这样的事情。“我习惯了大家在交流的时候互相打断,”他说,“但我不习惯在输入代码时被其他人在同一个键盘上输入代码打断。”他们用一种名为MATLAB的编程语言创建了原型,代码的篇幅不超过10页,大部分是辛顿编写的。尽管辛顿淡化了他作为数学家和计算机科学家的技能,但邓力还是被其代码的优雅简洁风格打动了。“一行一行,都太清晰了。”邓力想。但给他留下深刻印象的,不仅仅是代码的清晰度。在他们用微软的语音数据训练了这个系统后,它奏效了——不是仅仅与当时领先的系统一样好,而是好到足以让邓力意识到,这才是语音识别的未来。商业系统使用其他的手工方法来识别语音,但那些方法并没有真正奏效。但邓力可以看出,他和辛顿已经打造了一个系统,随着它不断地从大量数据中进行学习,这个系统可能会变得更加强大。
他们的原型所欠缺的,是分析所有数据时所需的额外处理能力。在多伦多大学,辛顿采用了一种非常特殊的计算机芯片,叫GPU。像英伟达这样的硅谷芯片制造商最初设计这些芯片是为了给《光环》和《侠盗猎车手》等热门的电子游戏快速渲染图形,但在这个过程中,深度学习的研究人员意识到,GPU同样擅长运行支撑神经网络的数学。在邓力和辛顿打造其语音原型的同一间微软实验室里,有三名工程师曾在2005年对这个想法进行了修改完善。另外,斯坦福大学的一个团队也在同一时间偶然发现了同样的技术诀窍。基于这些芯片,神经网络能够在更短的时间内从更多的数据中进行学习。这与杨立昆20世纪90年代初在贝尔实验室的工作如出一辙,不同的是,GPU是现成的硬件。研究人员不必制造新的芯片来加速深度学习的进程。多亏了像《侠盗猎车手》这样的游戏和Xbox这样的游戏机,他们才可以使用已经存在的芯片进行训练。在多伦多大学,辛顿和他的两名学生——阿卜杜勒-拉赫曼·穆罕默德(Abdel-rahman Mohamed)和英语教授的儿子乔治·达尔,利用这些专门的芯片训练了他们的语音系统,这就是推动该系统超越最先进技术的核心。
在辛顿结束在微软的短暂停留之后,邓力坚持让穆罕默德和达尔都来微软的99号楼做客,而且希望他们在不同的时间来,这样这个项目的进展在接下来的几个月里都不会停滞。辛顿和他的学生都同意这个延长的实验,并解释说,如果没有一套完全不同的硬件,包括一块价值一万美元的GPU显卡,这个项目就不会成功。起初,邓力对这一代价感到犹豫不决。他的上司亚历克斯·阿塞罗(Alex Acero)告诉他,这是一笔不必要的开支,阿塞罗后来去了苹果公司负责iPhone(苹果手机)上的智能语音助手Siri。GPU是用来玩游戏的,而不是用来做人工智能研究的。“不要浪费钱。”他说,并且告诉邓力不用考虑昂贵的英伟达设备,在当地的弗莱电子商店购买通用显卡就行。但辛顿敦促邓力进行反驳,他解释说,廉价的硬件会破坏实验的目的。神经网络要连续几天分析微软的语音数据,如果这些通用显卡运行那么久,那么它们可能被烧毁。但他提出的一个更重要的观点是,神经网络要依靠额外的处理能力实现蓬勃发展。邓力不仅需要购买单价为一万美元的GPU显卡,而且可能需要不止一块,外加一台可以运行该显卡的专用服务器,服务器的价格与显卡的价格相当。辛顿在给邓力的一封电子邮件中说:“这将花费你大约一万美元。我们自己则要订购三套,但我们是一所资金雄厚的加拿大大学,不是一家资金短缺的软件销售商。”最终,邓力购买了必要的硬件。