大数据应用

原文摘录   · · · · · · 

• 1.回归 本章和下一章要探讨的是大数据处理的新方法、工具和技术，一些编程语言如SQL很显然不适合PB级数据量的数据库。但对于同样数据量，另外一些工具或方法却颇能适应。回归算是一个。 概况来说，回归分析使得人们能够理解一个特定数据集中不同变量之间的关系。比如，人们可以理解比如产品销售因变量与比如营销费用或产品年份等自变量之间的函数关系。 因变量（自变量） 产品销售量（企业营销费用、季节性、产品年份、社交媒体评论、产品评论、竞争产品数量和价格） 员工流失率（失业率、员工福利、特定技能需求（比如编程）） 空置率（综合单个公寓而言）（失业率、广告、租金、购房价格、现有公寓的供应） 回归能够将更多数据远离无根据的臆测，从而极大提高我们对事件的实证理解能力。 不要先入为主地认为传统统计方法不能处理新类型和新来源的数据，尤其当数据已经转化为更可用的格式后。视情况而定，例如，利用贝叶斯法分析数据可能依然是个好建议。 (查看原文)

  绿蜻蜓 2015-04-27 16:07:32

• 时间序列分析 比如我在当地开了一家电子商店有一段时间了，我不必像股票高手那样观察销售数据并判断常规趋势。年复一年，我注意到销售量在接近黑色星期五（感恩节后一天）时一般会上升，我的客户们会在那时为其所爱的人购买节日礼物。站在季节角度，我假想电子商店的销售非常稳定。总归，季节因素在起作用。人们在夏天购买更多防晒霜，在冬天则购买更多铲子。大多数电影都是在他们首映的第一个周末最赚钱。 以上这些例子就是时间序列。规范的定义是：“一个变量在等距时间间隔里按顺序排列的值。”还有例子包括具体工业过程数据、股票价格和其他企业商业指标等。 时间序列分析考虑的是某种类型数据的季节性，或者，更技术的说法，是特定日期数据点应该考虑其可能具备的内在结构（比如自相关、趋势或季节波动等）。 一个时间序列可分解为以下3个构成部分来进行观察。 （1）趋势（长期方向） （2）季节性（系统的、日历相关的变动） （3）非规律性（非系统性的、短期波动） 时间序列数据库专注于处理由时间有序组织的数据，并不断 加以优化。再次强调下，Tableau软件是此领域的佼佼者。 (查看原文)

  绿蜻蜓 2015-04-27 16:28:34