智慧的疆界

原文摘录   · · · · · ·  ( 全部 )

• 辛顿确实曾经表示误差反向传播并不是自然界生物大脑中存在的训练机制，也不相信人类大脑是通过生物方式完成求导，通过梯度来调节神经元权重和激活阈值的。从辛顿的成长经历里我们就知道他对模仿人类大脑工作原理有多么的执着。目前已有许多脑科学的研究证实，大脑皮层中普遍存在一种称为“微皮层柱”（Cortical Minicolumn）的柱状结构，它像一颗胶囊一般把数百个神经元封装在一起，每个微皮层柱里的神经元都记录、处理相同特征的同一种信号。由此看来，人类大脑并不是像经典神经网络一样由神经元直接连接的简单分层结构，而是具有更高的内部复杂性；先由神经元组成“微皮层柱”，再由“微皮层”柱组成“皮层柱”（Cortical Column），由小到大逐步复杂化。 (查看原文)

  圆圆 2024-01-13 13:59:26

• 这个发现不仅令休伯尔和威泽尔分享了1981年的诺贝尔医学奖，还激发了人们对于神经系统的进一步思考：信息从“视觉细胞”到“中枢神经”再到“大脑”的流动过程，或许是一个分层迭代、逐级抽象的过程。这里的关键词有两个，一个是“抽象”，一个是“迭代”，从原始信号输人开始，先做低级的抽象，逐渐向高级抽象迭代。人类自己可以感知的逻辑思维层面，总是使用高度抽象的概念，可是人类的感知器官，接触的都是低级的具体的事物，通俗一点来说，我们的视网膜感知到的是像素的颜色、亮度等信息，但我们大脑中思考的是具体的物体和对象。假如我看见一位朋友，要判断出他是一名熟悉的人的话，很可能的神经活动是如上图所示这样的。 ●从原始信号被摄入开始一瞳孔摄入像素。 ●接着做初步处理一大脑皮层某些细胞发现边缘和方向。 ●然后抽象一大脑判定，眼前的物体的形状，是人形的，有基本的五官特征。 ●最后进一步抽象一大脑进一步判定该物体是一幅人脸，确定具体是哪一位朋友。 在50年代的这个神经生理学的发现，促成了计算机人工智能在半个世纪后（2006年）的突破性进展。现代科学已经基本确定了人的视觉系统的信息处理的确是分级的，从最低级像素提取边缘特征，再到稍高层次的形状或者目标的部分等，再到更高层的整体目标，以及目标的行为和其他特征的联想等。换句话说，高层的特征是低层特征的组合提炼，从低层到高层的特征表示越来越抽象，越来越能表现出认知的意图。抽象层面越高，存在的可能猜测就越少，就越利于分类。其实不仅仅是图像的模式识别，人类大部分的认知都很符合这样的规律，譬如语言，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这也是一个层级体系。敏感的读者也许已经猜想到人类认知过程与深度学习之间可能出现的共通点了，即“分层迭代、逐级抽象”。 在深度学习之前的统计学习方法，包括浅层的神... (查看原文)

  圆圆 2024-01-13 13:59:26

> 全部原文摘录