伪装的客观

模型的局限性与可怕的破坏力

模型不会倾听，也不会屈服，对诱惑、威胁和哄骗以及逻辑通通充耳不闻，即使被评估者有充足的理由怀疑得出结论的数据被污染。在多数情况下，操作程序的人只能耸耸肩，好像在说：“嘿，你又能怎么样呢？”

模型的本质就是简化。没有模型能囊括现实世界的所有复杂因素或者人类交流上的所有细微差别。有些信息会不可避免地被遗漏。因此，要建立一个模型，我们需要对各个因素的重要性进行评估，并根据我们选出的那些重要的因素将世界简化成一个容易理解的玩具，据此推断出重要的事实和行动。

科学家需要错误反馈来做取证分析，查明系统哪儿出错了，什么变量被误读了，什么数据被忽略了。而系统则在此过程中得以学习并进化。但是，大量的数学杀伤性武器，从再犯模型到教师评估模型，只不过是在打造它们自己所定义的现实。管理层假定教师评估模式是贴合现实情况的，因此认为它非常有用，该模型使得考核教师的教育成果变得更加容易。管理层可以据此开除职员，削减开支，把责任推卸给一个客观的评分数字，而不管这一数字是否真正符合现实情况。

公平VS效率

法律传统更倾向于公平。站在建模者的立场，无罪推定带来的副作用是让一些确实有罪的人被判无罪释放。即使是被判有罪的人也有权对判决提出上诉，而这又会消耗大量的时间和资源。法律体系在很大程度上牺牲了效率来保证公平。相反，数学杀伤性武器更倾向于效率。本质上，数学杀伤性武器建基于可测量和可计算的数据。但公平是模糊的，很难量化，它是一个抽象概念。到目前为止，计算机还完全不理解公平这个概念。程序员不知道该如何为公平编码。因此，公平的概念没能被编入数学杀伤性武器，这导致了大规模的、产业化的不公平。

不公平有了一个新的化身——自动化筛选程序。那些拥有充足的金钱和资源来准备简历的人脱颖而出。没有精心准备简历的人也许永远不会知道他们投递的简历已经早早被机器排除了。这个案例再一次生动地展示了有钱人和消息灵通的人能占据多大的优势，而穷人被判出局的可能性又有多高。在这个被吹捧为公平、科学和民主的数字化世界里，仍然只有内部人士才能找到那条通往成功的路径。

“物以类聚，人以群分”

这些追踪我们并试图分析我们的行为模式的模型通过把我们与别人比较而对我们进行推断，并据此进行风险评估。电子评分系统建模者设法回答的是：“像你这样的那类人过去的行为表现如何？”而在理想的情况下，应该问的问题是：“你过去的行为表现如何？”

在遍布替代变量的统计界，这种模型经常奏效。毕竟在很多时候，物以类聚，人以群分。有钱人买游轮和宝马，而穷人往往确实需要发薪日贷款。而且，由于这些统计模型在大多数情况下都奏效了，带来了效率提高，利润激增，因此投资者会加倍投资这些科学系统，让这些科学系统把成千上万的人归入正确的“池”中。这就是大数据的胜利。但是经常会有被误解、误放入错误的“池”里的人，而并没有可用的反馈回路用以修正系统。被无监管的电子评分系统评选出的失败者无权抱怨，更不用说纠正系统的错误了。在数学杀伤性武器领域，他们的遭遇是附带损害。而由于整个黑暗的系统隐藏在遥远的服务器群中，他们几乎不可能弄清真相。他们中的大多数人可能会理所当然地得出这样的结论：生活就是不公平的。

拆除数学杀伤性武器并不总能带来明显回报。虽然更高水平的公平和正义肯定有利于提升社会的整体利益，但单个企业无法从中获得实际的收益。大多数企业认为数学杀伤性武器是一种非常高效的工具。受害者的感受完全相反。但是大部分受害者都是穷人——小时工、失业人员、一辈子携带低信用评级的人，囚犯当然更是无能为力。如汽车保险公司关注投保人管理金钱的水平（信用评分）高于开车水平，给出不公平的保险报价，创造了利润丰厚的弱势司机群体。在这个金钱可以买到影响力的社会，数学杀伤性武器的受害者几乎没有话语权。穷人也并不是数学杀伤性武器的唯一受害者。恶劣的数学模型能把合格的应聘者列入黑名单，克扣那些不符合公司所谓的理想健康指标的员工的薪酬。