AI、算法、大数据在美国的阴暗面：3.5星|《算法霸权》
作者在华尔街对冲基金德绍集团担任过金融工程师，后来去银行做过风险分析，再后来去做旅游网站的用户分析。后来辞职专门揭露美国社会生活背后的各种算法的阴暗面。
书中提到的算法的技术缺陷，我归纳为两点：第一个比较致命：不准确。不准确有两种体现，首先是算法先天的问题，比如教师评估算法，针对大规模的学生来评估教学质量是可行的，但是具体到一个教师，每年只教30个学生，如果这30个学生中有一两个极好或极差的，会导致对教师的评估出现很大的波动。
算法不准确的第二种情况是得不到反馈因此没法逐步优化，作者举一些美国公司采用的招聘评估软件为例，及可能把一些不合格的员工派出在外了，但是雇主不关心，算法得不到反馈因此得不到改进的机会。
另外一大缺陷是不公开导致有效益但不公平。还是以招聘时候的评估算法为例，会把一些人拒绝，拒绝的原因有可能是跟罪犯同名之类的错误，更有可能是因为应聘者的种族、居住地等信息。
书中提到算法在加重美国的贫富分化。除了招聘评估算法外，预计犯罪地点的算法，实际只能预测轻度犯罪，这一类犯罪在贫民区更多，反过来会强化警察在贫民区的巡查，在贫民区抓获更多轻度犯罪者投入监狱。
美国的营利性大学（按书中描述跟国内的莆田系有一拼），靠算法帮助，把营销目标集中的穷人身上，让他们花相对高数倍的学费，得到的文凭在人才市场上跟高中文凭价值接近。
作者提出的改善措施是：自律、监管、公开。算法工程师要像医生一样自律，政府需要监管算法的逻辑，算法的逻辑和计算结果需要公开。
总体评价3.5星，还不错。
以下是书中一些内容的摘抄：
1：棒球模型之所以公平,部分原因在于其模型是透明的。每个人都可以获取作为模型根据的数据,并且或多或少能够理解模型的结果应该怎么解读。P5
2：棒球的统计也比较严谨。棒球专家手中掌握大量数据,而且几乎所有的数据都和球员的表现直接相关。可以说,他们的数据和他们根据模型预测的结果高度相关。这听起来也许平淡无奇,但读完本书我们就会看到,建立数学杀伤性武器的人通常在他们最感兴趣的行为方面缺乏相应的数据。 P5
3：然而现实是,许多公司竭尽所能地隐藏它们的模型运算结果,甚至隐藏模型的存在。常见的一个辩护理由就是模型算法包含对它们的业务至关重要的“商业机密”。P18
4：但是,再犯风险调查问卷是根据犯人的生活背景细节信息评判罪犯的危险等级的,而该细节信息在法庭上是不被允许作为证据出现的,因此这个模型是不公平的。虽然很多人可能会因此受益,但另一些人也因此受苦。P19
5：综上所述,数学杀伤性武器共有三个特征:不透明,规模化毁灭性。P21
6：但重点不是有没有人受益,而是有很多人受害。这些数学杀伤性武器关闭了亿万人的机会之门,通常只是因为一些微不足道的理由,而且不予他们上诉的机会。因此,它们仍然是不公平的模型。P21
7：我们【对冲基金】利用数学工具搜刮来的每一分钱,它们不是从矿山里面挖出的金砖或者从西班牙沉船里捞出的硬币那种意外财富,它们是人们辛苦挣来的钱。而在华尔街那些自鸣得意的对冲基金投资人那里,这些血汗钱被称为“傻瓜资金”。P28
8：到2009年,可以清楚地看到,市场崩溃的教训完全没有给金融界带来新的发展方向,也没有引人新的价值判断标准。大部分说客都成功了,而游戏依然如故:说服傻瓜资金的投人。除了几条新规定之外,一切照常。P38
9：为了提高自己在学生选择度方面的评分,这所保底学校现在更倾向于拒绝那些——根据其历史数据推导出的——最有可能被更好的大学录取而放弃该校的优秀考生。整个筛选程序可以说是本末倒置的。 无论招生办公室的数据专家怎样卖力工作,这所大学最终无疑仍会丢失一定量的本想选择该校的优秀学生。P57
10：《美国新闻》的排名模型把成本排除在算法外,这就好像是给大学校长们递了一本镀金支票簿。后者要遵循的唯一指令,就是最大限度地提高15个考核指标的评分,而降低成本则不在其列。事实上,提高学费反而能让他们有更多的资源用于提升考核项目的表现。P59
11：营利性大学使用的数学杀伤性武器精准度极高,直指最为弱势的群体。它们给弱势群体提供了一个接受教育的机会,并向他们承诺了一个美好的未来,一个诱人的突破固有阶层的机会,而结果是这些贫困家庭的学生因此背负了更多的债务。 P86
12：那么该模型最擅长预测的是什么类型的犯罪呢?轻微犯罪。实际上,在世界各地应用该类模型都将导向这个结果。醉汉总会在同一面墙上尿尿,瘾君子总会睡在同一个公园的长椅上,而偷车贼或抢劫犯则总会四处走动,试图预测警察的动向。P96
13：暂且不谈公平和合法问题。研究表明,人格测试并不能预测一个人的工作表现。P121
14：模型的目标是从众多求职者中筛选出更容易管理的那部分人。除非工作场所发生失控事件,比如大规模盗窃事件,或者生产效率急剧下跌等,否则公司没有理由去调整筛选模型。错过一些优秀的求职者完全是可以接受的损失。P124
15：颅相学也是一种模型,依靠伪科学建立权威,风行了几十年。现如今的大数据似乎也落人了同样的窠臼。对凯尔·贝姆“亮红灯”的人格测试模型,圣乔治医学院筛掉外国医学院优秀申请者的招聘模型都将人们拒之门外,而这些模型的“科学性”之所在只不过是一些未被证实的假设罢了。P136
16：这是一个大问题,因为科学家需要错误反馈来做取证分析查明系统哪儿出错了,什么变量破误读了,什么数据被忽略了,而系统则在此过程中得以学习并进化。但是,如我们所见,大量的数学杀伤性武器,从再犯模型到教师评估模型,只不过是在打造它们自己所定义的现实。 P150
17：事实上,数据误读贯穿整个教师评估史。问题起源于《国家处在危险中》这份教育报告在分析教育现状时出现的大量统计错误。教育报告研究员基于一个本科生才会犯的根本性错误做出了一系列错误的判断。事实上,研究员自己对数据的错误解读就是美国教育失败的完美案例。P154
18：当他们的模型将“邮政编码”数据考虑在内时,他们其实表达了这样一种观点:某个区域的居民的行为史可以决定,或者至少在某种程度上决定,住在那里的人应该得到什么样的贷款。P168
19：那么,这对于我们来说意味着什么?随着电子评分甚露尘上,我们被一些秘密算法归类分组,其中有些算法仰赖的还是错误百出的个人档案。我们不是被当作个体,而是被当作某个群体的一员,被迫戴上了某顶帽子。P184
20：根据美国消费者联合会的数据,好事达通过分析消费者的人口数据预测消费者购买低价商品的可能性。 如果可能性较低,那么向他们收取更高的费用就是合理的。这就是好事达在做的事。P192
21：由于保险公司对我们的了解越来越多,它们现在已经能够查明哪些人是风险最高的客户,然后,它们要么将这些人的保险费增加到最高,要么在合法的限度内拒绝支付他们的保险赔偿金。这与保险业创建之初帮助社会平衡风险的最初目的相距甚远。P198
22：大约有20%的人在看到他们的朋友发布了带有“我已投票”标签的信息之后也加人了该活动。 而那些没有从朋友那里得到相关信息分享的人中,只有18%的人参与了投票活动。P214
23：整个政治系统(通过金钱投人,关注,讨好等一系列活动)锁定特定的目标选民,就像一朵花追随太阳,而其余的选民则几乎被完全忽视了(除了能够提供资金的人)。模型已经预测到了我们大多数人的投票决定,且认为不值得投人任何资金来改变。P231
24：正如大多数数学杀伤性武器一样,核心问题主要在于模型的目标。把目标由压榨大众变更为帮助大众,数学杀伤性武器的危险性就解除了,甚至可以反过来变成一种正面力量。P232
25：但是,人类的决策虽然经常有缺陷,却也有一个主要的优点,即人类的决策是可以改善的。随着一步步地学习和适应,我们会改变,我们的处理方式也会改变。相比之下,自动化系统不会随着时间的推移而改变,除非开发者对系统做出改变。 P238
26：大数据程序只能将过去编人代码,而不会创造未来。创造未来需要道德想象力,而想象力只有人类才有。 P238
27：更好的价值观嵌人我们的算法代码中,创造符合我们的道德准则的大数据模型。有时,这就意味着要重视公平,牺牲利润。P238
28：我们如何规范这些逐渐渗透继而操纵着我们整个生活的数学模型呢?我建议从建模者自己开始做起。数据科学家应该像医生一样遵守希波克拉底氏誓言,尽可能防止或避免对模型可能的误用和误解。P240
29：如果想要更进一步,我们可以参考欧洲模式,即规定收集任何数据都必须经过用户的批准,用户具有选择权。欧洲模式还禁止将数据重新用于其他目的。“事前同意”由于常常被用户忽视,因此作用不大。 但是,“不可重复使用”条款的约束力则非常强大:该条款将销售用户数据定义为非法行为。P250
30：最后一点是,那些对我们的生活有重大影响的模型,包括信用评分系统和各类电子评分系统,都应该对公众公开。理想情况下,我们应该可以像操作手机应用程序一样管理这些评分系统。P250
31：保证这些模型的良性运转,还必须使其公开透明,对公众披露模型使用的输入数据以及输出结果。 此外,模型必须接受审查。毕竟,这些模型可是强大的机器,我们必须看好它们。P255
更多良心书评参见我的公众号：左其盛经管新书点评
