第6章 信息的度量和作用

所谓语音识别，就是听话的人去猜测说话者要表达的意思。这其实就像是通信中，根据接收端接收到的信号去分析、理解、还原发送端传来的信息。
一条信息的信息量和它的不确定性有着直接关系。比如说，我们要搞清楚一件非常不确定的事情，或者是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，那么就不需要太多信息就能把它搞清楚。
信息和消除不确定性是相联系的，情报的作用就是排除不确定性。
消除不确定性
当获取的信息和要研究的事务“有关系”时，这些信息才能帮助我们消除不确定性。
互信息
相对熵用来衡量两个取值为正数的函数的相似性：①对于两个完全相同的函数，它们的相对熵等于零。②相对熵越大，两个函数差异越大；反之，相对熵越小，两个函数差异越小。③对于概率分布或者概率密度函数，如果取值均大于零，相对熵可以度量两个随机分布的差异性。