可计算的奥卡姆剃刀原理

出于要了解NLP的需要翻开这本书，最初觉得内容讲的并不深，等到全部读完了这本书，觉得还是很有收获，让学计算机出身的我对可计算有了更深的理解。这本书从时间纵向和学科横向上覆盖了计算机和人工智能的很多概念，也修正和串联了我自己关于这些领域的很多相关概念。

比如书中提到过《信息简史》中的信息熵的概念，最后用信息熵和算法概率证明了奥卡姆剃刀原理：越简洁的编码概率越高，“规则之所以为规则就必须简单”。这在我看来真是文理两科最优美的结合。

再比如在“注意流”那章里提到的Kleiber定律定义网络中“流量”和“存量”的关系，并以此为基础讨论如何优化网络中的信息产出效率，以维持网络自身的活跃并减低对外界能量输入的要求。让人惊讶的是生活中很多自然进化或优化过的人工设计的网络（比如河流，交通，国际贸易网络）都遵循Kleiber定律，甚至人体的毛细血管的分布经过几百万年也进化出了Kleiber分布来达到最小化能量的消散。所以不得不说进化也是个优秀的创作家。

后面就自然进入到具体人工智能尤其是深度学习的技术，包括语音，图像，自然语言处理领域。以及通过康博士和贝博士的对话讲述算法驱动的计算机科学和生物神经研究驱动的脑科学在智能识别方面的孰优孰劣。还有人工智能科学家对通用人工智能的理论设想和尝试。

还有书里反复提到的复杂系统我也在《复杂》那本书里读到过。通过演化模型我们看到从简单的个体进化到有复杂行为的群体，包括自私策略的形成的过程。让人看到如何可以通过可计算能力实现自然的生物群体的高度相似的群体智慧。

所以回归到计算，从图灵机的诞生到今天的几十年间，计算科学显示了它的极大的计算一切的野心和能力，并且它已经完全地改造了人类的生活。但我们仍然在期待一种超越图灵的计算，因为人和人类智慧的秘密还远不止如此。