别听腰封的推荐，这本书比他们说的要好很多

翻译版没看过，英文版真的很棒。特别是讲到信息论，熵以及随机性......


关于熵（entropy），看过很多的介绍，总是含糊不清。什么叫做无序的度量？它为什么又是信息的单位？ 看了几章对其来龙去脉的介绍，我总算明白了，这一切都跟概率有关。对于随机分布的运动，乱序总是比有序的几率要高，所以世界总是倾向于乱序，最后趋于一致。所谓信息，是关于选择的，是关于惊讶程度的，选择越多则信息量就越大。之所以区LOG，无非就是EXP的反运算，而EXP就是计算组合数的。


什么是随机数？

1111111111和1001111100，你是否认为后者比前者更随机？但是从统计学的角度来看，生成这两个序列的概率是一样的！如果按照香农的信息论公式，那么这两者包含的信息量是一样的！

3.1415926....不用我继续往下写，你一定可以猜到后面的数字序列。但是经过大型计算机的运算分析表明，这个序列里任何的一位数（0-9)，或者两位书（00-99），以及三位数（000-999）出现的概率都是一样，这意味着这个序列完全没有规律可言。可是任何人都知道，这个序列是数学里的π，序列里的每个数字都是可以准确预测的！

信息跟模式有关，如果你能识别一个模式，你就能理解这个信息。否则，对你就是杂乱的信息。就像音乐，写在乐谱上，以及保存在CD里，都是同样的信息。你能读懂听懂就是音乐，否则就是糟糕的噪音。现在我们知道，其实人类的大脑就是通过对模式的识别进行识别的。这就是为什么，同样的大脑皮层即可以处理声音又可以处理图像。因为对大脑的算法来说，根本没有声音和图像的区别，只是信息的模式。

最后，人们同意用算法长度来表示随机程度。算法越长，表示越随机。算法越短，则越有序。就像物理学一样，人们通过观察万物运作，总结出一个规律。懂得了规律，世界就不是随机的了，就像π。如果世界太有规律，就会索然无味。太乱，则无法形成任何有用的东西。于是，生命是介于两者之间的。