The initial questions treated by information theory lay in the areas of data compression and transmission. The answers are quantities such as entropy and mutual information, which are functions of the probability distributions that underlie the process of communication.
The Kol-mogorov complexity of a binary string is defined as the length of the
shortest computer program that prints out the string.
Entropy is the uncertainty of a single random variable.
A communication channel is a system in which the output depends probabilistically on its input.
The entropy H of a random variable is a lower bound on the average length of the shortest description of the random variable. (查看原文)
读这本书的时候看见一个知乎的帖子，问 “信息论值不值得研究？” 想了一下，有些理论还是很重要的，比如信息熵，字节跳动 2021 年 ACL 的 Best Paper Award 就用到了，我还非常有幸和论文第一作者交流了一下学术。 信息论看来可能对于通讯领域更加重要吧。很难想象在几十年前...
(展开)
lx271
Wiley-Blackwell2006版
橡皮人
机械工业出版社2008版
钢的门
机械工业出版社2008版
djin
Wiley-Blackwell2006版
Hao
Wiley-Blackwell2006版
0 有用 苏恩 2010-04-07 02:51:34
基本没看懂
0 有用 Requiem 2009-12-30 12:51:03
信息论的圣经
0 有用 Genus_G 2012-11-27 13:40:13
挺好玩的书
0 有用 林暗草惊风 2011-07-20 22:17:56
没看完....还好
0 有用 Sariel 2009-02-21 20:13:59
好像很快就开始看不懂了……结构稍显混乱
0 有用 Dreamcatcher 2014-04-16 02:33:14
很喜欢里面对于Gambling的介绍
1 有用 daphoon 2014-01-11 17:09:30
大二时候用的教材，开学的时候还来个摸底考试。老师是个纯nerd。当然我正态分布的反常积分忘了怎么积，也真是够弱的。书的内容很好，中文版把Elements翻成基础，书名都给翻译错了。至于里面的数学语言，处理的很严格是好事儿，不过内容也有点太天马行空了。。。
1 有用 天文臺 2014-01-09 21:49:55
其实就是概率统计在编码的建模应用+复杂度问题么
0 有用 蝉 2013-12-21 14:37:05
: TN911.2/2950
0 有用 Genus_G 2012-11-27 13:40:13
挺好玩的书