如何做出正确的预测
Nate Silver如今俨然美国权威的政治观察分析家。这位纽约时报（New York Times）广受关注的政治选举预测分析博客FiveThirtyEight 的作者，准确预测了2012美国总统大选所有50个州的结果，超越了自己在2008年总统大选中49个州结果预测正确的记录。但是如果Silver也出错了呢？恐怕最惊讶的应该是Silver自己本人。这也是《信号与噪音》这本探讨了从德州扑克到气候变暖这样广泛的书，为什么如此有用和重要的原因。
纵观人类历史，人们总是认为那些能够预测未来的人，都拥有极其特别甚至是神圣的能力。从古希腊德尔菲神庙的神谕、中国古代传统中运用易经占卜，直到今天在金融危机前提出警告的Nassim Taleb所认为的，“黑天鹅”事件远比我们所认为的要多。
现代世界中，人类对预知未来的渴求几乎成为一种心魔。生活中有无数“今后会怎么样”的问题萦绕其间：禽流感究竟会不会大流行？气候变暖影响的程度会有多大？我退休后社保基金够不够支付我的养老金和医疗费用？下半年到明年A股的大势会怎么样？我们既会不断收到诚实但是不够准确的预测答案，也会受到某些神棍和别有用心的人利用这种心理而达到某种目的的忽悠和恐吓。所以说，Silver的成就是名符其实的，尽管预测选举结果并不是与这些问题相关的体系，但是，之所以他是如此特别的预言家，并不在于他帮助我们更加智慧的预测未来，而是在于他警告我们，对于未来的确定性我们无法全知全能。
在继续探讨之前我们需要先讲讲作者自己的故事。Silver2000年从芝加哥大学经济学专业本科毕业之后的头几年，一直在毕马威会计师事务所做国际税务顾问，工作之余他决定利用自己掌握的统计学知识，构建了一个名叫PECOTA（Player Empirical Comparison and Optimization Test Algrithm）的数学模型，来预测MLB美国职业棒球联盟球员的表现走向。他的模型灵感来源于奥克兰运动家队经理Billy Beane运用的统计思想（Billy Beane带领奥克兰运动家队的传奇事迹后来被Michael Lewis写成书，就是Moneyball，同时被改编成同名电影，非常引人入胜）。后来的一系列事实证明了PECOTA模型的正确，然后Silver将模型卖给了另一家专业从事棒球分析预测的公司，小赚一笔，当然了，PECOTA也不是绝对的百分百正确，一样会有预测失误的时候。2011年底回顾过去六年历史时Silver发现，他的模型能够很好的应用在小联盟运动员进入大联盟比赛后的成功，但是棒球球探的经验分析结果也会比模型做出更好的预测。经历过这些，他在书中不断强调这样的观点：仅仅依靠数据挖掘是不够的，人的经验和决策是无法替代的。
就在完善应用PECOTA模型的同时，Silver还进入了职业赌博的世界，并迅速打入了世界扑克巡回赛（WSOP）。顶级德州扑克赛事的层面上，需要在快速发牌中运用惊人的概率计算能力，以及其他比赛技能，刚开始时Silver收获颇丰。然而，在经受了一连串损失之后，他在2007年彻底放弃了德州扑克，主要在于比赛愈发艰难时他难以持续改进他的方法。他在书中写道：“玩德州扑克比赛那几年教会了我很多，即在尝试理解世界和预测它的未来进程时,概率在我们生活和所带来的错觉妄想中扮演的角色。”
这些并不是我们经常在电视里砖家访谈和经济评论网站上读到的那种耸人听闻故弄玄虚的自传故事。Silver的观点是，我们需要使用概率化方法来思考，而不是在虚幻的确定性中得到满足。他的FiveThirtyEight博客中的预测同样是使用这样的思维方法，在12年美国大选中的不同时点，Silver对奥巴马胜出概率的预测从最低的59%到最高的91%（选民投票前夜），当然了，即便是91%概率胜出的预测也可能失算——好比玩德州扑克你就算拿到一手葫芦牌也可能会输一样。
Silver使用的方法可以总结为两个方面：首先是获取尽可能多的数据，以总统选举预测为例，为各州层面上的选举数据；其次是使用基于贝叶斯方法的统计技术，根据人口统计和其他因素对数据进行均值和校正。运用贝叶斯定律的技术方法，需要对未来做出最优预测，然后在获得新的信息数据后不断修订调整。
《信号与噪音》一书中大部分探讨的领域都与Silver的专业并不相关，从德州扑克到国际象棋，从金融危机到气象预报，但这些都是贝叶斯定律的应用范畴。气象预报的模型已经非常准确和完善，但是根据作者的观点，气象预测仍然受到高水平不确定性的影响。社会科学领域的预测或许是最容易被击败的，例如在2007年末，《华尔街日报》对08年经济形势的一个调查结果显示，经济学家们认为2008年仅有38%的概率进入衰退。事实结果证明，2008年后直至今日，美国经济依然没有走出低谷。
非常令人惊喜的结果是在气象预报领域，可以称之为预测罕有的突破，并且在最近几十年间不断优化进步。就在1980年代，美国国家飓风中心还无法提前一天在100英里精度内预测飓风的登陆地点。但是今天研究者已经对飓风活动建立了精密的模型，能够在同样精度范围内提前三天做出预报，并告知处于飓风威胁区域的人们精确的时间进行疏散。美国国家气象局预报有20%的降水概率时，在那段时间水平里的的确确是有20%的可能会下雨。
优秀的预测有两个主要来源：可提供反馈的大量数据，能让预测者持续根据现实检查和修正他们的模型。这也可以帮助我们理解为什么气象系统能够有效运行。经济学家的预测为什么通常都十分糟糕，关键在于存在海量数据，同时缺乏能够有效解释经济活动运转的可靠模型，这就导致了难以解释数据的真实含义。换句话讲，他们难以从“噪音”中提取出“信号”。Silver这样总结：“信号代表着真实，噪音使我们远离真实。”然而，找出信号，并不简单的是一个技术性难题。比如，在911恐怖袭击发生之前，确实存在一些可以预警的线索和情报，但是国防部和中央情报局的官员却忽视了这种级别的自杀式恐怖袭击，根源在于并没有想象到这种可能性竟然会存在。
“我们可能高估了自己预测未来的能力”，Silver写道。这是一条我们不会从各种深具权威的专家口里听到但又非常重要的观点。预测是一门必要但是危险丛生的艺术。运用自身能力观察世界时应保持谦逊，对待别人的断言应心存怀疑。这些经验和教训，或许极大的提高了本书的信噪比吧！
纵观人类历史，人们总是认为那些能够预测未来的人，都拥有极其特别甚至是神圣的能力。从古希腊德尔菲神庙的神谕、中国古代传统中运用易经占卜，直到今天在金融危机前提出警告的Nassim Taleb所认为的，“黑天鹅”事件远比我们所认为的要多。
现代世界中，人类对预知未来的渴求几乎成为一种心魔。生活中有无数“今后会怎么样”的问题萦绕其间：禽流感究竟会不会大流行？气候变暖影响的程度会有多大？我退休后社保基金够不够支付我的养老金和医疗费用？下半年到明年A股的大势会怎么样？我们既会不断收到诚实但是不够准确的预测答案，也会受到某些神棍和别有用心的人利用这种心理而达到某种目的的忽悠和恐吓。所以说，Silver的成就是名符其实的，尽管预测选举结果并不是与这些问题相关的体系，但是，之所以他是如此特别的预言家，并不在于他帮助我们更加智慧的预测未来，而是在于他警告我们，对于未来的确定性我们无法全知全能。
在继续探讨之前我们需要先讲讲作者自己的故事。Silver2000年从芝加哥大学经济学专业本科毕业之后的头几年，一直在毕马威会计师事务所做国际税务顾问，工作之余他决定利用自己掌握的统计学知识，构建了一个名叫PECOTA（Player Empirical Comparison and Optimization Test Algrithm）的数学模型，来预测MLB美国职业棒球联盟球员的表现走向。他的模型灵感来源于奥克兰运动家队经理Billy Beane运用的统计思想（Billy Beane带领奥克兰运动家队的传奇事迹后来被Michael Lewis写成书，就是Moneyball，同时被改编成同名电影，非常引人入胜）。后来的一系列事实证明了PECOTA模型的正确，然后Silver将模型卖给了另一家专业从事棒球分析预测的公司，小赚一笔，当然了，PECOTA也不是绝对的百分百正确，一样会有预测失误的时候。2011年底回顾过去六年历史时Silver发现，他的模型能够很好的应用在小联盟运动员进入大联盟比赛后的成功，但是棒球球探的经验分析结果也会比模型做出更好的预测。经历过这些，他在书中不断强调这样的观点：仅仅依靠数据挖掘是不够的，人的经验和决策是无法替代的。
就在完善应用PECOTA模型的同时，Silver还进入了职业赌博的世界，并迅速打入了世界扑克巡回赛（WSOP）。顶级德州扑克赛事的层面上，需要在快速发牌中运用惊人的概率计算能力，以及其他比赛技能，刚开始时Silver收获颇丰。然而，在经受了一连串损失之后，他在2007年彻底放弃了德州扑克，主要在于比赛愈发艰难时他难以持续改进他的方法。他在书中写道：“玩德州扑克比赛那几年教会了我很多，即在尝试理解世界和预测它的未来进程时,概率在我们生活和所带来的错觉妄想中扮演的角色。”
这些并不是我们经常在电视里砖家访谈和经济评论网站上读到的那种耸人听闻故弄玄虚的自传故事。Silver的观点是，我们需要使用概率化方法来思考，而不是在虚幻的确定性中得到满足。他的FiveThirtyEight博客中的预测同样是使用这样的思维方法，在12年美国大选中的不同时点，Silver对奥巴马胜出概率的预测从最低的59%到最高的91%（选民投票前夜），当然了，即便是91%概率胜出的预测也可能失算——好比玩德州扑克你就算拿到一手葫芦牌也可能会输一样。
Silver使用的方法可以总结为两个方面：首先是获取尽可能多的数据，以总统选举预测为例，为各州层面上的选举数据；其次是使用基于贝叶斯方法的统计技术，根据人口统计和其他因素对数据进行均值和校正。运用贝叶斯定律的技术方法，需要对未来做出最优预测，然后在获得新的信息数据后不断修订调整。
《信号与噪音》一书中大部分探讨的领域都与Silver的专业并不相关，从德州扑克到国际象棋，从金融危机到气象预报，但这些都是贝叶斯定律的应用范畴。气象预报的模型已经非常准确和完善，但是根据作者的观点，气象预测仍然受到高水平不确定性的影响。社会科学领域的预测或许是最容易被击败的，例如在2007年末，《华尔街日报》对08年经济形势的一个调查结果显示，经济学家们认为2008年仅有38%的概率进入衰退。事实结果证明，2008年后直至今日，美国经济依然没有走出低谷。
非常令人惊喜的结果是在气象预报领域，可以称之为预测罕有的突破，并且在最近几十年间不断优化进步。就在1980年代，美国国家飓风中心还无法提前一天在100英里精度内预测飓风的登陆地点。但是今天研究者已经对飓风活动建立了精密的模型，能够在同样精度范围内提前三天做出预报，并告知处于飓风威胁区域的人们精确的时间进行疏散。美国国家气象局预报有20%的降水概率时，在那段时间水平里的的确确是有20%的可能会下雨。
优秀的预测有两个主要来源：可提供反馈的大量数据，能让预测者持续根据现实检查和修正他们的模型。这也可以帮助我们理解为什么气象系统能够有效运行。经济学家的预测为什么通常都十分糟糕，关键在于存在海量数据，同时缺乏能够有效解释经济活动运转的可靠模型，这就导致了难以解释数据的真实含义。换句话讲，他们难以从“噪音”中提取出“信号”。Silver这样总结：“信号代表着真实，噪音使我们远离真实。”然而，找出信号，并不简单的是一个技术性难题。比如，在911恐怖袭击发生之前，确实存在一些可以预警的线索和情报，但是国防部和中央情报局的官员却忽视了这种级别的自杀式恐怖袭击，根源在于并没有想象到这种可能性竟然会存在。
“我们可能高估了自己预测未来的能力”，Silver写道。这是一条我们不会从各种深具权威的专家口里听到但又非常重要的观点。预测是一门必要但是危险丛生的艺术。运用自身能力观察世界时应保持谦逊，对待别人的断言应心存怀疑。这些经验和教训，或许极大的提高了本书的信噪比吧！
有关键情节透露