纯阳书评第572期《纯阳子讲人工智能之二---为什么大模型时代的AI很能？！》
上一期说到，行为主义忽略内在认知，误入歧途，注定没救；符号主义忽视人脑局限，先天不足，走火入魔；连接主义理念对路，困于数据，制于算力，只能等待时机。三大流派，虽不断修炼，屡次冲关，均未能突破，所以传统人工智能一直不能！本期讲述为什么大模型时代的AI很能。那么，为什么很能？答案是算力、数据和算法三大要素出现了集体爆发，直接推动了连接主义的突破，而连接主义的突破意味着打开了一个原以为无法打开的潘多拉魔盒。
第一、算力的爆发算力是大模型训练和学习的身体，是大模型的胃，没有算力，大模型的成长就无从谈起。首先，算力的爆发是硬件性能的爆发。这一点通过比较不同时期的处理器能力尤能说明问题。回顾2000年，当时的主流桌面处理器，如Intel的Pentium III和AMD的Athlon，其浮点运算能力大约在500到1000 MFLOPS（百万次浮点运算每秒）。而如今，英伟达的GPU A100展现出了碾压式的能力。在单精度（FP32）运算领域，它能提供高达19.5 TFLOPs（万亿次浮点运算每秒）的处理能力。在半精度（FP16）运算领域，其性能进一步提升至156 TFLOPs。对于混合精度（TF32）运算，A100能实现312 TFLOPs的运算速度。在Int8整数运算方面，它的性能达到了惊人的624 TOPs（万亿次整数运算每秒）。这种秒杀式的性能提升，为大模型训练和推理提供了强大的物质基础。 其次，算力的爆发也来自于运算模式的爆发。硬件性能的提升只是算力提升的一个方面，并行计算、分布式计算和云计算等运算模式的创新是算力提升的另一个方面。这些新的运算模式对传统计算模式实现了碾压打击。通过将复杂问题分解成若干个部分，并利用多个处理器、计算机、网络同时处理这些部分，实现并行计算处理，显著提高计算能力。并行计算可以同时处理多个任务，大大缩短了总体运行时间。分布式计算则通过网络将任务分散到世界各地的计算资源上，理论上可以实现几乎无限的扩展。云计算则提供了弹性、可扩展的计算资源，可以根据需求迅速提供需要的计算能力，无需投资昂贵的硬件设备。这种“即用即付”的模式使得算力变得更加灵活和经济。提升硬件性能是在纵向上提升算力，而新运算模式则是在横向上扩展算力，让硬件组合运算，形成协同规模效益。算力的飞速提升如同打开了魔法世界的大门，为模型的训练提供了无尽的能量。曾经，受限的计算资源让模型的训练如同在魔法森林中摸索前行，而今，强大的算力则如同闪电划破黑暗，照亮了前行的道路，使得模型能够在短时间内处理巨量的数据。
第二、数据的爆发在信息时代初期，尽管计算机技术已经出现，但那时的数据大多还是以非电子化的形式存在，且可供处理的数据量相对较小。这就像是大模型面临的困境——没有足够的“粮食”来喂养它，因此它难以进行有效的训练和学习，更不用说掌握复杂的知识和技能了。然而，随着时间的推移，互联网技术开始蓬勃发展，尤其是在21世纪初的那次革命性的飞跃，它彻底改变了数据的生产和消费方式。移动设备的普及使得每个人都能轻松地接入网络，产生和分享数据。物联网技术的兴起使得无数的设备和传感器连接起来，实时收集和交换数据。电子商务和社交网络平台的爆炸性增长也产生了海量的用户互动数据。所有这些因素共同推动了数据量的指数级增长，我们进入了一个被称为“大数据”的时代。根据IDC的数据，2005年左右，全球的数据量大约为130EB（艾字节）。仅仅过了15年，到2020年，这个数字增长了近500倍，达到了惊人的59ZB（泽字节）。这里的单位换算关系是1ZB等于1024EB，因此59ZB相当于59乘以1024EB，即60,416EB。这个数字几乎难以想象，但它真实地反映了我们这个时代数据的爆炸性增长。对于大模型来说，这个时代的到来就像是久旱逢甘露。海量的数据为大模型提供了丰富的“粮食”，使其得以进行深入的学习和训练。通过对这些数据的分析和挖掘，大模型能够识别出其中隐藏的高阶特征，进而学习和掌握各种知识和技能。数据的爆炸式增长为模型提供了丰富的魔法素材。在这个信息时代，数据如同魔法世界中的魔法材料，无处不在，无时不有。模型通过学习这些数据，就如同魔法师学习魔法材料，逐渐掌握各种知识和模式，从而能够应对各种复杂的任务。
第三、算法的升级大模型的爆发，除了数据和算力的爆发外，算法的升级也起到了至关重要的作用。随着人工智能技术的不断发展，深度学习算法作为其中的核心技术，也在不断演进和完善。这些算法的升级不仅提升了大模型的性能和效率，还为其在各个领域的应用提供了更多的可能性。首先，模型结构的改进是算法升级的重要方向之一。早期的神经网络模型相对简单，主要由输入层、隐藏层和输出层三部分组成。然而，随着对复杂数据和任务的需求不断增加，这种简单的模型结构已经无法满足要求。人们开始探索更加复杂和精细的模型结构，以提高模型的表达能力和性能。其中Diffusion和Transformer等模型结构逐渐成为了深度学习领域的主流。这些模型通过引入更多的层、神经元、激活函数等方式，使得模型能够学习更加复杂的特征和表示，为大模型爆发提供了有力的武器。其次，训练技术的改进也是算法升级的重要方面。大模型的训练需要大量的计算资源和时间，因此如何提高训练效率成为了一个重要的问题。在这个方面，研究者们提出了很多优化技术。通过改进梯度下降算法，引入动量等方法，加速了模型的收敛速度；通过引入批量归一化（Batch Normalization）等技术，缓解了内部协变量偏移的问题，提高模型的稳定性和性能；通过引入Dropout等技术，防止了模型过拟合，提高模型的泛化能力。这些优化技术的应用，不仅提高了大模型的训练效率，还降低了对训练数据和计算资源的需求，使得大模型的训练变得更加可行和高效。算法的升级则为模型的训练和应用提供了更加高效和准确的魔法咒语。曾经，简单的算法让模型的训练如同魔法师的初级练习，效果有限。而现在，先进的算法则如同强大的魔法咒语，让模型的训练和应用效果倍增。通过算法的升级，模型不仅能够更快地学习，还能够更准确地预测和决策。大模型的突破，无疑是算力、数据和算法三大要素协同作用的巅峰体现。这三者之间的紧密关系，如同魔法世界中的元素法则，缺一不可，相互激荡，给连接主义带来了突破的强劲动力。
第四、连接主义打开了一个人们以为无法打开的魔盒连接主义的思路是模仿大脑的逻辑，构建人工智能。但是大脑智能的逻辑其实也并不是完全清楚，只是知道大脑由神经元连接构成，但是知识又不是具体存储在某个神经元之中，而是存储在神经元形成的网络之中，同样也是基于这样的神经元网络，随着规模的显著提升，达到一定阈值以后，涌现出了思维、记忆等高级功能，并最终涌现出了意识。之所以在这里使用“涌现”这个词汇，其实根本原因是人们目前还无法明确厘清这种高级认知功能的实现逻辑，正因为说不清楚，所以只能不得不用一个词汇来表达这样一种现象。正因为如此，连接主义一直在盼望着人工智能也出现一个“涌现”，他们认为既然以神经元连接组成的人脑在神经元数量达到阈值以后，能够涌现出高级功能，能够达到智能，那么他们有理由认为这种“涌现”也会在人工智能领域出现。这种想法在很多人眼里，不啻于一种幻想，因为他们认为高级功能必须来自于高级设计，意识即使不是来自于灵魂，也不能来自于大规模简单的合成。对于这种看法，连接主义一直无法反驳，因为他们长期以来一直没有算力、数据，受困于前两者，算法也就没有机会升级，所以他们无法证明自己。随着资源的陆续到位，连接主义在一片质疑之中证明了大力真的可以出奇迹，以事实表明只要参数达到一定阈值以后，他们心心念念的涌现竟然真的出现了。大模型居然真的能够理解人们的语言，感受人们的情绪，抓住人们的目的，这样的表现超出了质疑者的预期，甚至也超过了连接主义者的预期。尤其是连接主义大模型的进步迭代速度，更是远超所有人的预期。 这种超预期的表现和超预期的进步速度，不只证明了连接主义的可行，而且还表明通过神经元网络构建智能，可能是通往超级智能的通途。经过进化的努力，人类只能将这种网络推进到1000亿量级，但是人工智能可以很快迭代升级，这就意味着，未来的人工智能的能力将远超人类，而且会远超人类想象。可见，连接主义打开了一个很多人以为根本无法打开的潘多拉魔盒，魔盒威力到底有多大，目前尚不确定，唯一确定的是，很大。
人工智能14ai10模型8数字化转型12人工智能 · 目录上一篇纯阳书评第571期《追寻记忆的痕迹》下一篇纯阳书评第573期《AI3.0（梅拉妮.米歇尔版）》
