大数据时代

执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架的，是能适用于传统数据库的。如果不接受混乱，剩下95%的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。当数据只有500万的时候，简单的算法表现得很差，但数据达10亿的时候，它变成表现得最好的，准确率从原来的75%提高到95%以上。大数据的简单算法比小数据的复杂算法更有效。

《大数据时代》读书笔记PPT 源文件下载链接，请戳：http://yun.baidu.com/s/1tMZvg本读书笔记由微博@天天向Qian前 制作。系列图书笔记分享在微博@读书笔记PPT 。

Google：系统唯一关注的就是特定检索词条的频繁使用与流感在时间和空间上的传播关系之间的联系。 社会新能力：前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，与深刻洞见。 Oren Erzioni：Harvard CS 1st(1986 grad) 飞机票价格预测 到2012年为止，Farecast系统用了将近十万一条价格记录来帮助预测美国国内航班的票价。准确度高达75%。 社会需要放弃它对因果关系的渴求，而今需关注相关关系，只要知道是什么，不需要知道为什么。 硅谷技术成熟度曲线：经过新闻媒体和学术会议的宣传后，新技术趋势一下子跌到谷底。 【大数据先锋】：天文学，信息爆炸的起源 人类存储信息量的增长速度比世界经济的增长速度快4倍，而计算机数据处理能力的增长速度比世界经济增长速度快9倍。 量变导致质变，当我们改变规模时，事物的状态有时也会发生改变。 纳米技术！ 大数据是把数学算法用到海量的数据上来预测事情发生的可能性。 大数据【我们分析信息时的三个转变】： 1.我们可以分析更多数据，甚至处理和某个特别现象相关的所有数据，而不依赖与随机采样。 2.研究数据如此之多，以至于我们不再热衷于追求精确度。只要掌握大题的发展方向就好。 3.不再热衷于寻找因果关系，二是相关关系。 大数据对个人的影响是惊人的，使专业性不那么重要了。 【马其诺防线？】 ！对我们而言，危险不再是隐私的泄露，而是被预知的可能性。 【IBM资深大数据专家】：Jeff Jonas：要让数据说话。 【大数据与三个重大的思维转变有关】： 1.要分析于某事物相关的所有数据，而不是依靠分析少量的数据样本。 2.乐于接受数据的纷繁复杂，而不再追求精确性。 3.不再探求因果，而是相关。 当样本数量达到了某个之后，我们从新个体身上得到的信息会越来越少，就如同经济学中的边际效益递减一样。 随机采样不是和考察子类别的情况，因为一旦继续细分，随机采样的结果的错误率会大大增加。就像模拟照片打印，远看不错，一旦聚焦某个点就会模糊不清。 【DNA分析】2012年，基因组解码的价格跌破1000美元，这也是非正式的行业平均水平。从2007年期，硅谷新兴的科技公司23 and me就开始分析人类基因，价格仅为几百美元。 Jobs是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。支付了几十万美元。他得到的是包括整个基因密码的数据文档。 【全数据模式：样本=总体】 通过使用所有数据，我们可以发现可能会在大量数据中淹没调的情况。eg：信用卡诈骗是通过观察异常情况来识别的。 谷歌流感趋势预测建立在数亿的数学模型上，而它们又建立在数十亿数据节点的基础之上。 【cool！Lytro相机，把大数据用到了基本的摄影中，可以记录整个广场里的所有光，达1100万之多，具体生成什么样的照片可以在拍摄后再根据需要决定，没有必要一开始就聚焦。】 【哇哦，托福听力【=。=|| social network point：如果把一个在社区内有很多链接关系的人从社区关系网中提出开来，这个关系网就会变的没那么搞笑但却不会解体；但如果把一个与所在社区之外的很多人有着连接关系的人从这个关系网中剔除，整个关系网很快就会破碎成很多小块。 【混乱性】：不精确，格式不一致。 谷歌翻译！接受了有错误的数据 《数据的非理性效果》：大数据的简单算法比小数据的复杂算法更有效。 错误并不是大数据固有的特性，而是一个亟需我们去处理的现实问题，并且有可能长期存在。 BBP（the billion prices project） MIT的两位经济学家（Alberto Cavell 和 Oberto Rigobon）提出了一个大数据方案，接受更混乱的数据，提供给联邦政府。通过一个软件在互联网上收集信息。 照片的标签取代预先的分类标准。 传统的数据库引擎要求数据高度精确和准确排列，数据不是单纯地被存储，它往往被划分为包含“域”的记录，每个域都包含了特定种类和特定长度的信息。 索引时实现就设定好了的，这就限制了人们的搜索。增加一个新的索引往往既消耗时间，又惹人争议，因为需要改变底层的设计。 非关系型数据库出现，包容了结构多样性，要求更多的 Pat Helland：来自微软的世界上最权威的数据库设计专家之一：《如果你有足够多的数据，那么“足够好”真的足够好》：处理海量数据会不可变面的导致部分信息的确实，虽然有“损耗性”，但是能快速得到想要的结果弥补了这个缺陷。 【多样性】是解决同步更新的一种方法。 Hadoop是与谷歌的MapReduce系统相对应的开原市分布系统的基础架构，非常善于处理超大量的数据。通过八大数据变成小模块然后分配给其他机器进行分析，它实现了对超大数据的处理。它预设硬件可能会瘫痪，所以在内部建立数据的副本，他还家丁数据两只大导致数据在处理之前不可能整齐排练。它假定了数据量的巨大时的数据完全无法移动，所以人们必须在本地进行数据分析。 H的数据输出结果没有关系型数据库输出的结果那么精确，他不能用于卫星发射这种精确度要求很高的任务，但是顾客细分这种就很快。 VISA使用Hadoop. Zest Finance由谷歌前任首席信息官道格拉斯·梅里尔创立。帮助决策者判断是否应该想拥有不良信息的人提供小额短期贷款。 只有5%的数字数据是结构化的且能适用于传统数据库。 【社会的两个折中的想法】： 1.我们默认自己不能使用更多的数据，所以我们就不回去使用更多的数据。但是，数据量的限制正在逐渐消失，而且通过无限接近“样本=总体”的方式来处理数据，我们会获得极大的好处。 2.在小数据时代，追求精确度是合理的。但是对于其他事情，快速获得一个大概的轮廓和发展脉络比严格的精确性要重要的多。 大数据更强调数据的完整性和混乱性，帮助我们进一步接近事实真相。“部分”和“确切”的吸引力是可以理解的。但是，当我们的事业局现在我们可以分析和能够确定的数据上市，我们对世界的整体理解就可能产生偏差和错误。

所以，维克托赞同许多物理学家的看法，世界的本质就是数据。因此，大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论将会转变为实证科学中的具体问题。可知性是绝对的，无事无物不可知；不可知性是相对的，是尚未知道的意思。首先，作者抛出了大数据时代处理数据理念上的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果；接着，从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后，作者冷静描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。今天，一种可能的方式是，亦是本书采取的方式，认为大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民关系的方法。这仅仅只是一个开始，大数据时代对我们的生活，以及与世界交流的方式都提出了挑战。最惊人的是，社会需要放弃它对因果关系的渴求，而仅需关注相关关系。也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。但是这种定义是有误导性的。大数据不是要教机器像人一样思考。相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性.第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。数据化意味着我们要从一切太阳底下的事物中汲取信息，甚至包括很多我们以前认为和“信息”根本搭不上边的事情。大数据时代开启了一场寻宝游戏，而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度，正是主宰这场游戏的关键。寻找原因是一种现代社会的一神论，大数据推翻了这个论断。但我们又陷入了一个历史的困境，那就是我们活在一个“上帝已死”的时代。也就是说，我们曾经坚守的信念动摇了。讽刺的是，这些信念正在被“更好”的证据所取代。那么，从经验中得来的与证据相矛盾的直觉、信念和迷惘应该充当什么角色呢？当世界由探求因果关系变成挖掘相关关系，我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类前行的基石，又取得实际的进步呢？本书意在解释我们身在何处，我们从何而来，并且提供当下亟需的指导，以应对眼前的利益和危险。值得注意的是，错误性并不是大数据本身固有的。它只是我们用来测量、记录和交流数据的工具的一个缺陷。如果说哪天技术变得完美无缺了，不精确的问题也就不复存在了。错误并不是大数据固有的特性，而是一个亟需我们去处理的现实问题，并且有可能长期存在。因为拥有更大数据量所能带来的商业利益远远超过增加一点精确性，所以通常我们不会再花大力气去提升数据的精确性。这又是一个关注焦点的转变，正如以前，统计学家们总是把他们的兴趣放在提高样本的随机性而不是数量上。如今，大数据给我们带来的利益，让我们能够接受不精确的存在了。互联网上最火的网址都表明，它们欣赏不精确而不会假装精确。这并不代表系统不知道正确的数据是多少，只是当数量规模变大的时候，确切的数量已经不那么重要了。社会将两个折中的想法不知不觉地渗入了我们的处事方法中，我们甚至不再把这当成一种折中，而是把它当成了事物的自然状态。第一个折中是，我们默认自己不能使用更多的数据，所以我们就不会去使用更多的数据。但是，数据量的限制正在逐渐消失，而且通过无限接近“样本=总体”的方式来处理数据，我们会获得极大的好处。第二个折中出现在数据的质量上。在小数据时代，追求精确度是合理的。因为当时我们收集的数据很少，所以需要越精确越好。如今这依然适用于一些事情。但是对于其他事情，快速获得一个大概的轮廓和发展脉络，就要比严格的精确性要重要得多。知道人们为什么对这些信息感兴趣可能是有用的，但这个问题目前并不是很重要。但是，知道“是什么”可以创造点击率，这种洞察力足以重塑很多行业，不仅仅只是电子商务。所有行业中的销售人员早就被告知，他们需要了解是什么让客户做出了选择，要把握客户做决定背后的真正原因，因此专业技能和多年的经验受到高度重视。大数据却显示，还有另外一个在某些方面更有用的方法。亚马逊的推荐系统梳理出了有趣的相关关系，但不知道背后的原因。知道是什么就够了，没必要知道为什么。多年来，经济学家和政治家一直错误地认为收入水平和幸福感是成正比的。我们从数据图表上可以看到，虽然统计工具呈现的是一种线性关系，但事实上，它们之间存在一种更复杂的动态关系：对于收入水平在1万美元以下的人来说，一旦收入增加，幸福感会随之提升；但对于收入水平在1万美元以上的人来说，幸福感并不会随着收入水平提高而提升。如果能发现这层关系，我们看到的就应该是一条曲线，而不是统计工具分析出来的直线。在哲学界，关于因果关系是否存在的争论已经持续了几个世纪。毕竟，如果凡事皆有因果的话，那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果，而这个结果又是由其他原因导致的，以此循环往复，那么就不存在人的自由意志这一说了——所有的生命轨迹都只是受因果关系的控制了。因此，对于因果关系在世间所扮演的角色，哲学家们争论不休，有时他们认为，这是与自由意志相对立的。当然，关于理论的争辩并不是我们要研究的重点。相关关系很有用，不仅仅是因为它能为我们提供新的视角，而且提供的视角都很清晰。而我们一旦把因果关系考虑进来，这些视角就有可能被蒙蔽掉。大数据是在理论的基础上形成的。比方说，大数据分析就用到了统计和数学理论，有时候也会用到计算机科学理论。是的，这不是关于像地心引力这样特定现象的产生原因的理论，但是无论如何这依然是理论。而且如我们所见，建立在这些理论上的大数据分析模式是实现大数据预测能力的重要因素。事实上，就是因为不受限于传统的思维模式和特定领域里隐含的固有偏见，大数据才能为我们提供如此多新的深刻洞见。大数据时代将要释放出的巨大价值使得我们选择大数据的理念和方法不再是一种权衡，而是通往未来的必然改变。但是在我们到达目的地之前，我们有必要了解怎样才能到达。我们还没有合适的词用来形容莫里和越水重臣教授所做的这些转变，所以我们姑且称其为“数据化”吧——这是指一种把现象转变为可制表分析的量化形式的过程。莱维斯说，“预测给我们知识，而知识赋予我们智慧和洞见。”他很确信，有一天，这个系统一定能在用户意识到问题之前预测到并且解决问题。有了大数据的帮助，我们不会再将世界看作是一连串我们认为或是自然或是社会现象的事件，我们会意识到本质上世界是由信息构成的。随着大数据的出现，数据的总和比部分更有价值。当我们将多个数据集的总和重组在一起时，重组总和本身的价值也比单个总和更大。根据所提供价值的不同来源，分别出现了三种大数据公司。这三种来源是指：数据本身、技能与思维。第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据，却不一定有从数据中提取价值或者用数据催生创新思想的技能。最好的例子就Twitter，它拥有海量数据这一点是毫无疑问的，但是它的数据都通过两个独立的公司授权给别人使用。第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的才能。比方说，沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司（Teradata）的分析来获得营销点子，天睿就是一家大数据分析公司。第三种是基于思维的公司。皮特·华登（Pete Warden），Jetpac的联合创始人，就是通过想法获得价值的一个例子。Jetpac通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于某些公司来说，数据和技能并不是成功的关键。让这些公司脱颖而出的是其创始人和员工的创新思维，他们有怎样挖掘数据的新价值的独特想法。大数据还会带来更多的威胁，毕竟，大数据的核心思想就是用规模剧增来改变现状。我们也将分析它是如何加深对我们隐私的威胁的，同时还将面对一个新的挑战，即运用大数据预测来判断和惩罚人类的潜在行为。这是对公平公正以及自由意志的一种亵渎，同时也轻视了决策过程中深思熟虑的重要性。除了纠结于数据的准确性、正确性、纯洁度和严格度之外，我们也应该容许一些不精确的存在。数据不可能是完全对或完全错的。当数据的规模以数量级增加时，这些混乱也就算不上问题了。事实上，它甚至可以是有好处的，因为当我们只想使用一小部分时，无须捕捉这么多的知识细节。又因为我们可以用更快更便宜的方式找到数据的相关性，并且效果往往更好，而不必努力去寻找因果关系。当然在某些情况下，我们仍然需要精心策划的数据来做因果关系研究和控制实验，如测试药物的副作用或设计关键的飞机部件。但是在日常情况下，知道“是什么”就已经足够，不必非要弄清楚“为什么”。大数据的相关性将人们指向了比探讨因果关系更有前景的领域。大数据并不是一个充斥着运算法则和机器的冰冷世界，其中仍需要人类扮演重要角色。人类独有的弱点、错觉、错误都是十分必要的，因为这些特性的另一头牵着的是人类的创造力、直觉和天赋。偶尔也会带来屈辱或固执的同样混乱的大脑运作，也能带来成功，或在偶然间促成我们的伟大。这提示我们应该乐于接受类似的不准确，因为不准确正是我们之所以为人的特征之一。就好像我们学习处理混乱数据一样，因为这些数据服务的是更加广大的目标。毕竟混乱构成了世界的本质，也构成了人脑的本质，而无论是世界的混乱还是人脑的混乱，学会接受和应用它们才能得益。