信息传

一、 基本概念

1. 信息是不确定性的辨析度。信息的意义就在于，使用它能够消除一个藏在黑盒子里的未知世界的不确定性，从而达到了解它的目的。

2. 信息技术的本质。从20世纪中期开始，决定我们这个星球文明程度的主要因素，开始从能量转变为信息。全世界信息技术的发展，都是沿着用更少的能量，传输、处理和存储更多的信息这条主线来进行的。

3. 信息论的核心。香农用一个被称为“熵”的概念和三个非常简洁的定律，描述了信息科学的本质。

4. 不确定性是世界固有的特性，不要试图否定它。而要消除不确定性，或者说预测事情的发展，需要大量的信息，这就是信息时代我们利用大数据来解决问题的方法论。

5. 不论用哪种方式编码，一段信息固有的信息量是恒定的，它就是这段信息的信息熵。

6. 信息传输的安全性和可靠性是通过增加信息的冗余度来实现的。

7. 所有信息的传输和存储问题，本质上是在特定需求下选择合适的信息编码方式的问题，根据不同的应用和要求，在编码长度和冗余度之间寻找一个合适的平衡点。

8. 对不同符号采取不同编码，经常出现的符号，采用较短的编码，出现次数较少的符号，采用较长的编码，这样就能够做到总的编码长度最短。如果能做到每一种符号的编码长度正好等于它出现概率的对数，那么编码的总长度就是它的信息熵。这个原理被称为香农第一定律，又被称为无失真（不丢失信息的）信源编码定律。它有两个非常重要的意义。首先，这个定律为人们进行信息压缩指明了方向，使我们可以将任何形式的原始信息都转化为一种新的编码符号，并且可以使这种新的编码符号具有尽可能短的编码长度，同时完整保存了所有原始信息，在需要恢复原始信息时，我们可以采用和编码逆向的操作过程来准确无误地恢复它们。其次，这个定律也给信息压缩划定了一个极限，即如果想不丢失任何信息，无论采用什么样的编码，都不可能将信息压缩到小于信息熵的程度。

9. 在任何一个信道中，无论怎样对编码进行“优化”，信息的传输率R永远都不可能超过信道的容量C。这就是香农第二定律，它可以简单描述为R≤C。它为人们划定了通信技术的一个极限，如果要增加信道容量，可以有两个途径：增加频率范围（也就是带宽）和增加信噪比。信号会随着距离的增加，按照平方的速度衰减，而噪声则是恒定不衰减的，因此，要想在不增加功率的情况下增加信噪比，唯一的方式就是缩短通信的距离，这就是5G基站要建得非常密的原因之一。

10. 总能找到一种行之有效的编码方法，让信息的传输率无限接近信道的容量而不出错。这就是香农第三定律。如果试图以超越信道容量的传输率来传输信息，那么不论怎样编码，通信出错的概率都是100%。比如，如果环境太吵，为了能让对方听清楚我们讲话，我们能用的办法，除了提高声调，就是把话讲的慢一点。这其实就是因为当噪声降低了信道的容量后，我们可以通过降低信息的传输率，让信息能够传输出去，而不是被堵死。

二、 做事的方法

1. 成功需要尊重运气。早期通信业的发展并没有得到什么信息理论的指导，因为根本不存在所谓理论。因此，一种努力，一种尝试，是否能成功，运气的成分非常大。历史的那些成就，其实不过是大量尝试中成功的，并且产生结果后被人记住的，而大量的失败几乎无人知晓。

2. 用简单方式解决复杂问题。巴贝奇和埃达的失败，最根本的原因是选错了技术路线。他们为了实现复杂的计算功能，就把计算机搞得越来越复杂，甚至复杂到难以做出来。楚泽用机械实现了人类第一台可编程计算机，是因为了解化繁为简的工具布尔代数，指导应该用简单的计算搭建起复杂计算的模块，再用模块搭建通用的计算机。

3. 方向至关重要。一项发明如果方向走对了，剩下的问题就可以靠勤奋来弥补。

4. 最关键是完整地走完整个过程，成为解决问题的人。在科学史上，某项技术的第一个发明人往往找不到。原因有三：第一，任何一项技术都可以追溯更早的发明人；第二，也是更重要的原因，那些不断回溯找到的相关发明和我们最终的使用通常是无关的，对后面的发明也没有什么启发；第三，一个实物（比如电话），或者一个实用方法（比如CDMA码分多址通信）的发明通常要用到很多科学技术，但是，在多数情况下，其中一项关键技术的发明，和这个实物或者方法的发明是两回事。在科技史上，大家把一个人和一项发明联系在一起，除了他提出了原创性的设计，通常还因为他解决了从技术诞生到大家受益之间的诸多技术难题，让广大受益者从感情上愿意将他和发明关联起来。

5. 成本领先是王道。在信息行业，衡量一项技术是否有广阔的市场前景，有一个简单而准确的指标，就是成本的下降速度。

6. 思维方式的竞争。马可尼和特斯拉的竞争其实是两个不同时代、两种不同思维方式的竞争。在特斯拉看来，电磁波是传输能量的媒介，而在马可尼看来，它是传递信息的媒介。特斯拉生活在需要动力特别是电能的第二次工业革命期间，而马可尼生活在信息产业刚刚起步的时代。对同一事物的不同看法，导致了两个人不同的人生命运。

7. 联结的艺术。雷达和近炸引信在二战中的效用表明：一种产品在被进行了信息化改造后，就会性能倍增；人类在进入信息时代后，群体对发明的作用越来越明显。

8. 阴谋论盛行，是因为懒于思考的人太多。比如，罗斯福对日本偷袭珍珠港知情吗？简单来说，不是因为罗斯福忽视了各种情报，而是因为罗斯福和他的团队获得的情报太多，以致无法在真真假假，并且充满矛盾的信息中判定哪些信息是真实的，哪些是谣言、误导和噪声。

9. 如果可以，不要选择二流公司。二流公司之所以是二流，是因为它比一流公司有更多的问题，而不是更多机会。

10. 不要被宏大的表象所迷惑，要关注本质。从1G到5G的发展过程，始终贯穿着一个基本原则，那就是使用更少的能量传输和处理更多的信息。所谓的星链计划，一颗卫星总的信息传输容量只有基站的1/400，根据香农第二定律，如果要用星链计划解决中国目前的移动通信问题，需要32亿颗低轨道通信卫星，这显然是不可能的，因此，卫星通信从来只是通信的辅助手段，它要解决的是覆盖率问题，特别是基站覆盖不到的地方，比如海上和南极，而不是提高传输率的问题。

信息是不确定性的辨析度。—香农

密码系统和有噪声的通讯系统没有什么不同。—香农

纳普：谣言常常表达并满足了人们在社会动荡时期的一种潜在的情感需求。

过时的谣言成了阴谋论的证据。

比较语言学，破译语言基于概率

密码：增加密文随机性

编码长度总是超过信息熵，超出的部分是信息冗余。

在部分传输发生错误时，能够通过冗余信息恢复原有信息。白话文冗余信息多，恢复容易; 文言文冗余信息少，恢复困难。

加密要尽量减少信息冗余。

可以传多次，增加信息冗余度，来增强信息传输的安全性与可靠性。

对于特斯拉的新认识：

这是对《了不起的盖茨比》里“我们奋力前行，小舟逆水而上，不断地被浪潮推回到过去。”的概率式解释 非本书内容：

香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。

香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

香农第三定理：保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D’<=D

摩尔定律不仅揭示了信息产业的发展规律，还鼓励着IT行业的从业者不断创新，创造出一个又一个的奇迹。

“Intel——Integrated electronics/Intelligence”

《把更多元器件塞进集成电路里》，摩尔

“如果不能摆脱不尽如人意的工作环境，就干脆另起炉灶，创办一家新公司，而不是主动去修复过去的工作环境”

“格鲁夫和摩尔一样，看清了未来信息产业的发展方向”

“我赌的是骑手，又不是马——巴菲特评投资Intel”“有了好的骑手，还要保证马沿着一个正确的方向奔跑——摩尔定律”

“翻番增长是一个非常惊人的发展速度，指数增长的发展速度太让人难以置信，而且在历史上从来没有哪一个产业这样发展的”

“摩尔定律在让全世界人民受益（信息处理，存储和传输领域）的同时，也定义了信息产业的产业结构和产品开发方式”

“对于开发和信息相关产品的人来讲，由于摩尔定律的作用，必须把眼光放在18个月，甚至36个月之后，工程师最需要考虑的是18个月后的信息处理能力，能够让我们做什么事情，而不是基于今天的技术条件。任何将目光仅仅停留在今天的开发者，还没等到产品上市就已经落后了”

“摩尔定律这个奇迹的发生，符合信息产业本身的特点及60多年前诺伊斯所讲的信息产业所需的原材料非常少，成本几乎是零，真正有价值的是工艺，当然，工艺背后则是技术的有力支撑。能成立的第二个原因，也可能是更重要的原因，就是人的因素，是信息产业科学家和工程师的不断努力，因此，摩尔定律更像是结果，而不是原因”

“开会时尊重每一个人的意见，但是他要求提意见的人也要给出解决方案，而不是紧紧的简单地说不行，有了解决方案，就要按期提交设定的结果，而不是一拖再拖”——格鲁夫，OKR管理方法。

“一定要砍掉那些发展前途不好，技术含量低，利润率低的产品。”

格鲁夫领导的英特尔纪律严明，讲究效率和结果。背对背开发方式。

英特尔公司一直是全球研发经费最高的企业。

“摩尔定律是工程师，努力实现自我突破的结果。”

“摩尔定律其实是在要求信息产业不断的以更少的能量传输，处理和存储更多的信息，我们既可以把摩尔定律看成每一个处理器性能提升的速度，也可以理解为单位能量处理信息能力的提升”

“在此之前，人类围绕着信息的各种发明，其实就是在使用越来越少的能量处理和传输更多的信息”

“使用信息将社会连接起来，这是我们社会发展的趋势，这也让信息产业必将在未来社会中居于核心地位。”