自由能 :一个系统所包含,处于可以被外部使用的能量形态
什么是物理中的自由能法则?简单来说,就是任何处于平衡状态的自组织系统均趋于自由能极小的状态。
自由能是什么?自由能是指在某一个热力学过程中,系统减少的内能中可以转换为对外做功的部分,它衡量的是在一个特定的热力学过程中,系统可对外输出的“有用能量”。与外界具备能量交换的系统(一杯放在桌上的热茶)处于平衡状态下,则自由能最小(水温下降,热量扩散),指的是一个熵尽可能大的状态,当水温下降到室温时,达到最稳态。自由能最小是热力学第二定律下系统与外界环境相互作用的法则。
大脑认知系统的学习过程也符合这个自由能趋向最小的原理。
简单地说,我们可以把大脑想象成那杯茶,外部环境和这杯水具有一种能量交互关系,对应大脑通过眼睛和耳朵这样的器官采集外部的信息(感知)。这杯水会越来越趋于室温,对应大脑像这杯水一样与外界交换信息,在这个过程中,大脑中关于外界的信息越来越丰富,它不仅是被动采纳,还要主动预测和做出行为。
在大脑的自由能最小原理中,学习的状态就是不断调整行为得到符合大脑预期的感知状态,并且大脑内部的状态能够更加准确地匹配外部世界的变化,不至于出现没有预期到的状况。
也就是上行的感知与下行的预测,这两部分合在一起使得大脑的自由能最小。
大脑的自由能最小原理试图提供一个统一的框架,将现有的大脑理论置于该框架内,希望通过统一对大脑功能的不同观点,包括感知、学习和行动来识别共同的论点
提出大脑的自由能最小原理的动机是:生物系统的本质特征是它们在面对不断变化的环境时需要保持其状态和形式。从大脑的角度来看,环境包括外部环境和内部环境。大脑的自由能最小原理本质上是大脑如何抵抗自然紊乱倾向的数学公式。为了做到这一点,大脑必须最大限度地减少其自由能。自由能是“惊喜”的上限,这意味着如果大脑最小化自由能,它将相应地最小化“惊喜”。在这里,意外是指概率很低的事件。例如,“在炎热的夏日下雪”将是一个“惊喜”。
一个“惊喜”会导致环境和大脑内部模型之间的信息不平衡。比如,在大脑的内部模型中,“炎热的夏天下雪”是极不可能的,如果真的发生了,那就是信息不平衡,系统不稳定。
在信息不平衡的情况下如何让它更稳定?答案是最小化自由能使其更稳定。最小化自由能有两种方式:动作(改变信息源)和更新(通过更新神经元连接和权重来改变内部模型),

从这里我们看到认知模型包含两方面:一方面是感知和动作所获取的外部世界的状态;另一方面是大脑内部认知过程的内部模型的更新。这个内部模型不停地预测每个感官背后的动因和所蕴含的未来变化,而行为本身则趋向那些有利于生存的结果。学习的目的就是让内部状态的模型更准确(预测精准),让行为决策获取更多对生存有利的证据。如果模型预测不正确,则行为决策无法得到正确的结果。
相比之下,采取行动改变信息源比更新内部模型消耗的能量要少得多。
内容来自
于非——《智能简史》
克拉克——《预测算法》
> 我来回应