女士品茶

第1章 女士品茶 实验的设计 科学家需要从潜在实验结果的数据模型开始工作。 实验设计的第一步是建立一组数学公式，用以描述待搜集数据与欲估计结果之间的关系。 第2章 偏斜分布 弗朗西斯·高尔顿（Francis Galton） 在人口统计中发现了“向平均回归”（regression to the mean）的现象。 高尔顿发现了这种关系的一种数学测度，他称之为“相关系数”（coefficient of correlation） K·皮尔逊（Karl Pearson） 单个实验的结果是随机的，分布的统计模型却使我们能够描述这种随机的数学性质。 测量值本身，而不是测量的误差，就具有一种正态分布。 “偏斜分布”（skew distribution）：四个参数分别被称为： 1. 平均数（the mean）——测量值散布状态的中间值； 2. 标准差（the standard deviation）——测量值的散布与平均值偏离有多远； 3. 对称性（symmetry）——测量值在平均值一侧规程的程度； 4. 峰度（kurtosis）——个别的观测值偏离平均值有多远。 K·皮尔逊的偏斜分布体系并没有包含所有可能存在的分布，许多重要问题不能用K·皮尔逊的体系解决。 “拟合优度检验“（goodness of fit test）的基本统计工具 K·皮尔逊的革命所留下来的是这样一个观念：科学的对象并不是不可观测事物本身，而是数学分布函数，以描述与所观测事物相联系的概率。 第3章 可爱的戈塞特先生 威廉·西利·戈塞特（William Sealy Gosset） t检验 第4章 在“垃圾堆”中寻觅 第5章 收成变动研究 “方差分析”（ananlysis of variance） 第6章 “百年不遇的洪水” L·H·C·蒂皮特（Leonard Henry Caleb Tippett） 极值分布：如果我们知道极值分布与正常值的分布之间的关系，就可以记录每年洪峰的高度，并预测百年不遇的洪灾发生时最有可能的洪峰高度。 第7章 费歇尔获胜 费歇尔学派与皮尔逊学派：两种统计观: K·皮尔逊把统计分布视为对他所分析数据的集合的真实描述。而按照费歇尔的观点，真实分布只是一个抽象的数学公式，搜集的数据只能用来估计这个真实分布的参数。 为了得到一致且有效（但未必无偏）的统计量，费歇尔提出了被他称之为“极大似然估计量”（maximum likelihood estimator, MLE）的一个概念。 第8章 致死的剂量 切斯特·布利斯（Chester Bliss） “概率单位分析”（probit analysis） 第9章 钟形曲线 第10章 拟合优度检验 K·皮尔逊最伟大的成就之一就是创造出第一个“拟合优度检验“（goodness of fit test）。通过观测值与预测值的比较，皮尔逊构造出一种能对拟合优度进行检验的统计量，并称之为“χ2拟合优度检验”（chi square goodness of fit test）。 假设检验（或者说显著性检验）是一种正规的统计方法，是在“待检验的假设为真”的假设前提下，用来计算以往观测到的结果发生的概率。 “significant”（显著的）这个词只是用来指“概率低到足以拒绝的程度”，数据如果可以用来拒绝某个分布，则它就是显著的。 第11章 假设检验 奈曼和E·皮尔逊把被检验的假设称为“零假设”（null hypothesis），称其它可能的假设为“备择假设”（alternative hypothesis）。在他们的理论公式中，计算P 值是为了检验零假设，而检验的效力则是指在备择假设为真的条件下P 值的表现效果。 第12章 置信诡计 耶日·奈曼 “置信区间”（confidence intervals） 对奈曼来说，与置信区间相联系的概率并不是我们“答对”的概率，而是统计学家使用某种方法从长期来看做出正确陈述的频率。这个数字与当前的估计值有多“准确”根本没有任何关系。 第13章 贝叶斯异论 贝叶斯定理 第14章 数学界的莫扎特 俄国数学家安德烈·N·柯尔莫哥洛夫（Andrei N. Kolmogorov） “概率论的公理化”（axiomization of probability theory） 第15章 “小人物”之见解 弗洛伦斯·南丁格尔·大卫（Florence Nightingale David） 第16章 非参数方法 弗兰克·威尔科克森（Frank Wilcoxon） 如何才能知道一个数到底是不是异常值呢？必须剔除多少个异常值呢？当异常值被剔除之后，还能继续使用那些基于标准检验统计量的概率图表吗？ 威尔科克森检验（Wilcoxon test） 亨利·B·曼（Henry B. Mann）,D·兰塞姆·惠特尼（D. Ransom Whitney） （Mann-Whitney test） 新的方法是一种无需估计任何参数的检验方法，仅需要将观测数据的散点图与纯随机分布所预期的情形进行比较，这属于一种非参数检验（nonparametric test） 威尔科克森检验可以看作是次序统计量（ordered statistics）的期望均值。 埃得温·詹姆斯·乔治·皮特曼（Edwin JamesGeorge Pitman） 皮特曼成功地回答了第一个问题：当我们知道参数模型和本应使用特定的参数检验时，如果还使用非参数检验，结果会有多差呢？皮特曼的答案是，根本不差。 第二个问题的答案更让人吃惊。如果数据不适合用参数模型，得差多远时使用非参数检验才会更好呢？皮特曼的计算表明，只需稍稍偏离参数模型，则非参数检验将远远地胜过参数检验。 皮特曼的结论表明，所有的假设检验都应该是非参数方法的。 第17章 当部分优于总体时 K·皮尔逊所使用的方法存在一个根本性的缺陷。他获得的数据现在被称为“便利样本”（opportunity sample），都属于那些最容易得到的数据，并不能真正代表总体分布。 判断样本似乎是获得大总体的代表性样本的好方法，但它有两个主要缺点。第一个是只有当我们确信对大总体具有充分的了解，可以将总体划分为能用一些个体来代表 的几个子总体（specific subclasses）时，判断样本才具有代表性。既然我们希望通过样本来了解的问题，正是据以将大总体划分为几个匀质组（homogeneous groups）的依据，如果我们对大总体已经了解得这么清楚，可能就无需再进行抽样了。第二个问题更加麻烦，如果判断样本的估计结果是错的，我们无法知道该结果与真值到底相关多少。 普拉桑塔·钱德拉·马哈拉诺比斯（Prasanta Chandra Mahalanobis） 马哈拉诺比斯的解决办法是采用随机样本（random sample）。我们采用随机原则从大总体中抽取个体，由随机样本得到的数据很可能会错，但是我们可以用数理统计学的理论确定该如何最优地抽取样本并测定数值，以确保长期来看我们的数据将比其它数据更接近真值。并且，我们知道随机抽样概率分布的数学形式，可以计算总体那些待估参数的置信区间。 第18章 吸烟会致癌吗？ “追溯性研究”（retrospective studies）。 从一种疾病开始着手，向后看与这种病相联的有什么先决条件。这种研究需要有对照组（未患此病的其他组病人），用以断定恰恰是这些先决条件与此病有关，而不是病人某些更一般的特征。 另一种替代的研究方法是事前研究（prospective study）。在这类研究中，事先选定一群人，详细记录他们的吸烟史，再跟踪他们以观察会发生些什么事。 第19章 如果您需要最佳人选…… 第20章 朴实的德克萨斯农家小伙 “序贯分析”（sequential analysis），这是一种当实验还在进行时，就可以对实验设计进行修订的方法。序贯分析所允许的实验修正，涉及每一个被检验的处理步骤。就算是最审慎的实验设计，得到的结果有时也会显示出，原先的设计要做一些变动，以使实验结果更为完整。序贯分析的数学理论会使科学家知道，在不影响结论有效性的情况下，什么样的修订可行，什么样的修订不可行。 第21章 家庭中的天才 I·J·古德（I. J. Good） 经验贝叶斯法（empirical Bayes）与层次贝叶斯模型（hierarchal Bayes methods） 佩尔西·迪亚科尼斯（Persi Diaconis） “投影追踪”（projection pursuit）数据分析法 “维度的诅咒”（curses of dimensionality）。这组定理表示，当空间的维度增加时，得到确切参数估计的可能性就越来越小。一旦分析空间维度达到10 至20 个，观测值又少于10 万，那么就分析不出任何结果。 第22章 统计学界的毕加索 人类倾向于寻求模式，并往往在只有一些随机的、模糊的信息时，就认为已经找到了模式。 约翰·图基 “探索性数据分析”（exploratory data analysis）。 第23章 处理有瑕疵的数据 第24章 重塑产业的人 W·爱德华兹·戴明（W. Edwards Deming） 质量管理 戴明关于产品质量管理的主要观点是：产品的生产过程是可变的。戴明强调：消费者最希望的产品并不是完美无缺的，而是质量稳定可靠的（reliable）。 生产过程中的变异有两方面的来源：一个原因戴明称之为特殊原因（special causes），另一个他称之为一般原因（common），也可称为环境原因（environmental）。 戴明主张，美国产业界应该制订相应产品生产的标准程序，允许产品生产过程在一定范围内变化。一旦生产过程中出现的问题超出这一界限，即停下来寻找问题出在何处。 第25章 来自黑衣女士的忠告 第26章 鞅的发展 保罗·利维 利维对中心极限定理的证明建立了一组更具有普遍意义的必要条件，这两个条件相当于有一组随机产生的一个接一个的数列： 1. 变异是有界的，因此个别值不可能是无穷大的，也不可能是无穷小的。 2．下一个数字的最佳估计值必是它的前一个数值。 利维称这样的数列为鞅（martingale）。 在赌博中，martingale的意思是指赌博者在输了的情况下加倍下注，如果他输赢的机会各半，即50%：50%，那么损失的期望值就等于他原来的损失。 Martingale这个英文词还有另外两个含义。一个意思是用来描述法国农夫套马的一种装置，让马低着头不向后甩。在此装置控制下，马的头可以随意活动，但马头下一个最有可能的位置是它现在所在的位置。 第27章 意向治疗法 “意向治疗”（intert to treat）分析方法 这样命名的理由及其用途是：如果我们对医疗政策的总体结果感兴趣的话（该政策通常会推荐使用某个治疗方案），就得授权引而伸之医生，让他可以按照他的判断去调整治疗方法。用皮托的方法，临床实验的分析可以判断：建议使用一个给定的方法作为治疗的起点，是不是一个好的公共政策。“意向治疗”分析方法最被认为是一种很好的方法，适合用于那些政府资助的、为制定好的公共政策而进行的大型研究。 大卫·R·考克斯 他称费歇尔的方法为“显著性检验”（significance testing），而称奈曼－皮尔逊的理论为“假设检验”（hypothesis testing） 第28章 电脑随心所欲 布拉德利·埃弗龙（Bradley Efron） Bootstrap 整个计算过程是一个数据自身模拟提升的过程，就像是解靴带一样，一个接一个地被解开。 他最初的论文中证明了，如果对真实的数据分布做出了恰当的假设，这个方法与标准方法是等同的。 第29章 “泥菩萨” 让我们用统计的宇宙观来考虑下面三个哲学问题： 1. 可以用统计模型来做决策吗？ 2. 当概率应用于现实生活中时其含义是什么？ 3. 人们真的懂得什么是概率吗？