数据分析思维

本篇内容来自《数据分析思维》的阅读，以及猴子老师发布的文章和专栏，另外还有一些自己收集的内容，一共分为四个部分：

第一部分，推荐几本适合新手阅读的书，大致了解数据分析这个行业在社会分工中的生态位置，知道数据分析的前景，还有未来的发展方向。

第二部分，聊聊为什么要学习数据分析，它能为我们工作带来什么样的帮助，这里的帮助并不是数据分析这个职业的帮助，而是你一生的帮助，未来转到其他行业里的帮助。

第三部分，在你知道什么是数据分析师后，你还要在这个行业里深耕，那么我们需要掌握哪些技能？未来的职业之路又该如何成长？

第四部分，作为一个数据分析师，我们需要在哪里去获取数据，了解这个行业最新的分析方法，有时间可以看看同行优秀的分析报告，这样，我们才能不断成长。

一、推荐阅读的书

《大数据时代》《数据分析思维》《精益数据分析》《金字塔原理》《模型思维》

《大数据时代》是我在这本书上市的第二年看的，当时我在富士康做企划生管的工作。当时这本书应该是上了一个阅读的榜单，在富士康的内网里看到这本书的推荐，推荐这本书的人是富士康老板郭台铭。当时我就去当当网买了这本书的纸质版。看完之后感觉很震撼，很认同里面的观点。如果说我们当社会是靠石油能源推动的，那么未来的社会一定是靠大数据推动的。

这本书现在已经上市十年，很多事情都已经得到验证。比如现在的短视频的推荐算法，靠的是大数据；现在的电商运营依靠的是大数据；广告的营销、推广依靠大数据。可以说大数据在知行各业的存在就像空气和水，你感觉不到，但它却是生命的源泉。这本书的评分虽然不是特别高，只有7.5分，但它非常具有启发意义。

第二本书叫《数据分析思维》，这是我读过最通俗易懂的数据分析书。十年前我读完大数据时代之后，觉得数据行业一定大有可为，但那时我并不知道如何参与期中，直到后来我在得到看到了猴子，知道了这本《数据分析思维》。这篇文章的大纲也是来源于这本书，带你认识数据分析这个行业，告诉你需要掌握数据分析的知识和技能，还教你在这个行业里如何成长。

第三本叫《精益数据分析》，当你拥有了数据分析思维，熟悉了基础的分析方法后，还需要对分析的方法不断打磨精进。这个过程是一个不断提升自己认知颗粒度的过程。开始入门时你知道了常用的分析方法，知道分析思路，对于入门来说已经够了。便如果你需要在这个行业里精进，你需要对不同分析方法的精确把握，不同的分析需求如何去调分析中的细微差别。

第四本叫《金字塔原理》。好玩的是，我第一次看这本书的目的并不是为了学习数据分析，而是为了学习写作。这本书不仅是教你如何写作和表达，更重要的是它教会你结构化思考，它是数据分析必须训练的逻辑能力。

第五本书叫《模型思维》，这本书的作者是密歇根大学复杂性研究中心“掌门人”斯科特·佩奇。写这本书从大纲到定稿作者就用了七年的时间。这是一本能提升你推理、解释、设计、沟通、行动、预测和探索能力的书，它教会你应用模型集合去理解复杂现象，不管是否从事数据分析都非常推荐读一下这本书。

二、为什么要学习数据分析？

为什么学习数据分析师？每个人答案可能都不一样，但对于我来说，不管是创业还是职场它都是通用能力；另外一点它是零基础成为人工智能领域人才的必经之路。也就是说如果说未来你想从事人工智能方面的工作，那么数据分析是你的一座桥梁。

前段时间看过一本书叫《遥远的救世主》。其中提到一个词叫文化属性。很多国家和群体声称自己有文化，但是他们都忘了问自己，我们的文化是强者文化？还是弱者文化？是尊重客观事实的文化还是神明至上的文化？

强者文化造就强者，弱者文化造就弱者。在《遥远的救世主》中，贫困的王庙村却有着一个金碧辉煌的教堂。在他们的观念里，天可以救他们，地可以救他们，神明可以救他们。靠天靠地靠神明，就是不能靠自己，这种文化不可能造就强者。

与之相反的是尊重客观事实的文化。尊重科学、尊重事实，而事实和科学就是建立在数据分析的基础之上的。

三、数据分析师需要的技能及成长

数据分析师分为：初级数据分析师、中级数据分析师和高级数据分析师。

数据分析的理论和统计学息息相关，可以说是数据分析的一个底层逻辑。如果在数据分析的学习上遇到天花板，可以考虑调转船头去研究统计学，说不定能帮你突破数据分析的瓶颈。

数据分析师的日常工作就是：监控、分析、建议和沟通。

3.1初级数据分析师需要掌握的技能：

3.1.1对业务指标的理解：每个行业都有自己的关键指标，对于初学者来说，需要理解业务指标的基本含义。

常用的指标分为：用户数据指标（日新增用户、活跃率、留存率）、行为数据指标（pv、uv、转发率、转化率、K因子）、产品数据指标【总量（成交总额-成交数量-访问时长）、人均（人均付费、付费用户人均付费、人均访问时间）付费（付费率、复购率）】、推广付费指标（展示次数付费CPM、点击次数付费CPC、投放效果付费CPA、下载数付费CPD、安装次数付付CPI、销售额付费CPS）。

各行业指标参考：

电商行业：新（老）用户点比、新（老）用户金额占比、复购率、平均复购周期、回购率、点击率、点击转化率坏、访客（uv)、加购数、收藏数、成交总额（GMV)、购买转化率、支付转化率、折扣率、拒退量、拒退额、实销额、SPU、SKU、备货值、售卖比、动销率等。

金融信贷行业：申请用户数、放款用户数、复借用户数、复借率、审批通过率、逾期率、催回率、坏账率、vintage30+等。

金融第三方支付行业：业务员业产能、审核通过率、活跃商家数、交易笔数、交易率、终端产品损耗率等。

家政行业：转化率、使用率、售后率等。

旅游行业：下单人数、出游人数、人均团费、复购率、转化率、投拆率等。

在线教育行业：点击次数、点击率、点进概率、弹出率、付费转化率、人均付费（ARPU)、付费用户人均付费（ARPPU)、出勤率、完课率、评价数、好评率等。

运营商行业：出账用户数、用户保有率、收入保有率、用户留失率、项目增收、外呼用户数、接通率、有效接通率、接通办理率、外呼渗透率等。

内容平台行业：内容生产用户数、内容生产者比例、更新频率、内容曝光用户数、人均曝光次数、内容平均点击数、内容曝光点击率、完成阅读率、评论用户数、用户评论率、内容分享用户数、内容分享率、内容生产价值等。

房地产平台行业：房源量、环比上月、额外付费购买率、房源浏览量、收藏量、咨询量、净推荐值等。

汽车行业：线索数、跟进率、进件数、信审通过率、签约待支付数、合同签约数、交车数等。

零售行业：完成率、退货率、折扣率、库龄、周转率、周转天数、存销比、坪效、SKU、动销比、售罄率、订单执行率、费率比、毛利率、净利率。

3.1.2如何建立指标体系？首先根据部门KPI找到一级指标，其次了解业务情况找到二级指标，最后梳理业务流程找到三级指标。

3.1.3常用的分析方法有哪些？

常用的分析法：5W2H分析法、逻辑树分析法、行业分析法、多维度拆解分析法、对比分析法、假设分析法、相关分析法、群组分析法、RFM分析法、AARRR模型分析法、漏斗分析法。

3.1.4如何利用数据分析解决问题？

首先是明确问题，其次是分析问题，最后是基于分析给出建议。

3.1.5数据分析师需要掌握的软件工具：

EXCEL：数据清洗（数据重复、数据抽取：left-right-mid、数据计算：average-sum-max-min-date-if-or-countif）、数据分析（数据汇总、描述统计分析、多表关联查询）、数据可视化（散点图、折线图、柱状图、条形图）。

3.2中级数据分析师需要掌握哪些技能？

3.2.1 商业智能BI

商业智能BI是一种可视化工具，把数据导入到软件可可以快速实现数据可视化。常用的软件有：Power BI、Tableau、帆软。

3.2.2 数据库SQL

简单查询：获取数据语句select、条件查询语句where、逻辑运算符。

汇总分析：行数cornt、数据求和sum、数据平均avg、最大数值max、最小数值min、汇总group by、指定条件查询having。

复杂查询：多行子查询in-nay-all、单一值比较运算between、关联子查询。窗口函数高级功能：排名问题、TopN问题、累计求和问题、分组比较问题。

3.3高级数据分析师需要掌握哪些技能？

Python 数据分析工具

Python基础语法：数据类型、容器、函数、条件判断、循环。

Python工具包：数据分析包numpy，pandas、可视化图形包matplotlib、机器学习包scikit-learn等。

能够用Python操作数据，进行数据清洗，数据抽取，数据可视化等。

四、推荐的数据网站

4.1大数据导航

4.2腾讯大数据

4.3阿里研究院

4.4易观分析

4.5艾媒网

https://www.yearbookchina.com

数据分析思维：分析方法和业务知识

猴子·数据分析学院

46个笔记

◆ 1.1 如何理解数据？

>> 第1步，弄清楚数据里每一列的含义。例如拿到一份Excel数据，要理解清楚每一列表示什么意思。不懂的地方，要和数据提供方沟通清楚。第2步，对数据进行分类，有助于后期的分析。通常将数据分为3类：用户数据（我是谁）、行为数据（我做

>> 用户数据是指用户的基本情况，包括姓名、性别、邮箱、年龄、家庭住址、教育水平、职业等。

>> 行为数据是记录用户做过什么的数据。例如淘宝上，用户行为可以是用户在某个产品页面的停留时间、浏览过哪些产品、购买了哪些产品等。

>> 一个平台里的东西都可以看作产品，例如淘宝里的商品、优酷上的视频、公众号里的文章都可以看作产品。产品数据包括产品名称、产品类别、产品评论、库

>> 存等。

>> 有些数据从不同角度来看，可以属于不同的分类。例如，对于文章的收藏量而言，收藏是一个行为，那么收藏量可以看作是行为数据；另外，收藏是产品被收藏，那收藏量也可以看作是产品数据。

◆ 1.2 常用的指标有哪些？

>> 现代管理学之父彼得·德鲁克提出用管理促进企业增长（图1-3），他讲过一句非常经典的话：“如果你不能衡量，那么你就不能有效增长。”

>> 那么如何去衡量呢？就是用某个统一标准去衡量业务，这个统一标准就是指标。

>> 假设我有一个鱼塘，为了扩大鱼塘的规模，我每天都会从外部渠道买新的鱼放到鱼塘里，这些新买的鱼就是鱼塘里的新增用户。鱼塘里的一部分鱼感觉鱼塘非常棒，有好吃的，环境也好，经常在水里活蹦乱跳，很活跃，这些鱼就是活跃用户。剩下的一部分鱼感觉鱼塘没啥意思，就不活跃，经常待在一个角落里，这些鱼就是不活跃用户。随着时间的推移，一部分鱼觉得鱼塘没意思，就离开跑到其他鱼塘里了，这些鱼就是流失用户。留下来的鱼就是留存用户。

>> 在讲解活跃率之前，需要先知道活跃用户数。怎么定义活跃呢？是某个用户登录了App算活跃用户？还是打开使用了App里哪个功能算活跃用户？不同的产品定义不一样，所以看到这样的指标，一定要搞清楚活跃是怎么定义的。

>> 活跃用户数按时间又分为日活跃用户数、周活跃用户数、月活跃用户数。

>> 日活跃率=日活跃用户数／总用户数

>> 还是通过公众号来举例，把取消关注公众号的用户定义为流失用户，那么继续关注公众号的用户就是留存用户。

>> 留存可以评估产品功能对用户的黏性。如果一个产品留存低，那么说明产品对用户的黏性就小，就要想办法来提高留存了。留存反映了不同时期获得新用户的流失情况，如果留存低，就要找到用户流失的原因。

>> 第1天新增的用户中，在第N天还使用过产品的用户数，除以第1天新增总用户数，就是留存率。

>> Facebook有一个著名的40-20-10法则，也就是新用户次日留存率为40%，第7日留存率为20%，第30日留存率为10%，有这个表现的产品属于数据比较好的。

>> V（访问次数，Page View）：一定时间内某个页面的浏览次数，用户每打开一个网页可以看作一个PV。

>> UV（访问人数，Unique Visitor）：一定时间内访问某个页面的人数。例如，某一个网页1天中被1个人打开过10次，那么UV是1。

>> 现在很多产品为了实现“病毒式”推广都有转发功能，转发率=转发某功能的用户数／看到该功能的用户数

>> 因子（K-factor）可用来衡量推荐的效果，即一个发起推荐的用户可以带来多少新用户。K因子=平均每个用户向多少人发出邀请×接收到邀请的人转化为新用户的转化率。

>> 当K>1时，新增用户数就会像滚雪球一样增大。如果K<1的话，那么新增用户数到某个规模时就会停止通过自传播增长。

>> 产品数据相关的指标包括：用来衡量业务总量的指标，例如成交总额、成交数量；用来衡量人均情况的指标，例如客单价；用来衡量付费情况的指标，例如付费率、复购率；

>> 如果你经常看分析报告，一定会看到GMV（Gross Merchandise Volume），它就是指成交总额，也就是零售业说的“流水”。需要注意的是，成交总额包括销售额、取消订单金额、拒收订单金额和退货订单金额。

>> 用来衡量人均情况的指标有人均付费、付费用户人均付费、人均访问时长。

>> 付费相关的指标有付费率、复购率

>> 付费率=付费人数／总用户数

>> 复购率指一定时间内，消费两次以上的用户数／付费人数。

>> 产品相关的指标是指从产品的角度去衡量哪些产品好，哪些产品不好。通过找出好的产品来进行重点推销，不好的产品去分析原因。

常见的几个指标是热销产品数、好评产品数、差评产品数。这里可以根据具体的业务需求，灵活扩展使用。

>> 对于公众号来说，每篇文章就是一个产品。我每个月会把公众号里的全部文章按转发率来排名，从而发现哪些文章是大家比较喜欢的。

>> 在付费做广告推广时，涉及考察推广效果的指标。从不同的付费渠道可以分为以下指标：展示位广告、搜索广告、信息流广告

>> ）展示位广告

展示位广告出现在网站或手机App的顶部、App的开屏等。开屏广告就是当用户打开手机App时，会有几秒的广告时间，例如打开微博、知乎时会先给你展示一个开屏广告。

这种类型的广告通常是按展示次数付费（CPM，Cost Per Mille），也就是有多少人看到了该广告。

2）搜索广告

例如搜索引擎（百度等）的关键字搜索广告、电商搜索广告（淘宝直通车等）。广告主为某一个搜索关键词出价，用户看到的搜索结果是按广告主出价的高低来排名的。

这种类型的广告是按点击次数付费（CPC，Cost Per Click），也就是有多少人点击了该广告。

3）信息流广告

例如微博、今日头条、知乎、朋友圈（信息流）里的广告。这种广告是根据用户的兴趣爱好来推荐的。这种类型的广告按点击次数付费（CPC）或者按投放的实际效果付费（CPA，Cost Per Action）。

按投放的实际效果付费（CPA，Cost Per Action）包括：

CPD（Cost Per Download）：按App的下载数付费；

CPI（Cost Per Install）：按安装App的数量付费，也就是下载后有多少人安装了App；

CPS（Cost Per Sales）：按完成购买的用户数或者销售额来付费。

>> 在决定将产品投放到哪个渠道的时候，要清楚你的目标用户是谁，目标用户在哪。如果你是一款为企业服务的软件，在娱乐网站打广告就非常不合适。目前主流广告平台都支持这三种方式的付费：按展示次数付费（CPM）、按点击次数付费（CPC）和按投放的实际效果付费（CPA）。广告主可以按自己的产品需求来灵活选择。

>> 一般来说，如果是推广一个新的产品，要选择按App的下载数付费（CPD）。因为新产品还没有人知道，用下载数来衡量，是比较划算的。等有一定的品牌影响力积累了，再用按点击次数付费（CPC）或者按投放的实际效果付费（CPA）。

◆ 1.3 如何选择指标？

>> （1）好的数据指标应该是比例。通常要想理解一个数字的真实含义，最好把它除以一个总数，换算成一个比例。

◆ 1.4 指标体系和报表

>> 如果不按照业务流程来建立指标体系，虽然指标很多，但是指标之间没有逻辑关系，以至于出现问题的时候，找不到对应的业务节点是哪个，没办法解决问题。

>> 建立指标体系不是一个人能够完成的，需要业务部门（市场、运营、产品等部门统称为业务部门）、数据部门（这里把数据分析师所在的部门统称为数据部门）、开发部门相互之间进行协作。

>> 建立指标体系需要各部门紧密沟通，还需要对公司业务和各部门职能的深刻理解

◆ 2.1 5W2H分析方法

>> what（是什么）：这是什么产品？

when（何时）：什么时候需要上线？

where（何地）：在哪里发布这些产品？

why（为什么）：用户为什么需要它？

who（是谁）：这是给谁设计的？

how（怎么做）：这个产品需要怎么运作？

how much（多少钱）：这个产品里有付费功能吗？价格是多少？

◆ 2.2 逻辑树分析方法

>> 我们经常会说某个人工作能力强，那什么是工作能力？就是像马斯克这样，能用逻辑树分析方法把一个大目标拆解成小任务的能力。

再进一步，我们经常会说到领导力，就是把目标拆解成员工可以执行的小任务的能力。

◆ 2.4 多维度拆解分析方法

>> 1）从指标构成来拆解

>> 2）从业务流程来拆解

◆ 2.5 对比分析方法

>> A/B测试的背后也是用了对比分析方法。什么是A/B测试？

做过App功能设计的读者朋友可能经常会面临多个设计方案的选择，例如某个按钮是用蓝色还是黄色，是放左边还是放右边。传统的解决方法通常是集体讨论表决，或者由某位专家或领导来拍板，实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的，但A/B测试可能是解决这类问题的一个更好的方法。

简单来说，A/B测试就是为同一个目标制定两个版本，这两个版本只有某个方面不一样，其他方面保持一致。例如两个版本只有按钮的颜色不一样，让一部分用户使用A版本（实验组），另一部分用户使用B版本（对照组）。试运行一段时间后，分别统计两组用户的表现，然后对两组数据进行对比分析，最后选择效果更好的版本正式发布给全部用户（图2-46）。



图2-46　A/B测试

A/B测试是怎么来的呢？

◆ 2.6 假设检验分析方法

>> 如何使用假设检验分析方法？

前面我们提到假设检验分析方法的步骤分为3步：提出假设、收集证据、得出结论。

>> P营销理论产生于20世纪60年代的美国，它是随着营销组合理论的提出而出现的。营销组合实际上有几十个要素，这些要素可以概括为4类：产品、价格、渠道、促销。

>> （1）产品：公司提供给目标市场的有形或无形产品，包括产品实体、品牌、包装、样式、服务、技术等；

（2）价格：用户购买产品时的价格，包括基本价格、折扣价格、付款期限及各种定价方法和定价技巧等；

（3）渠道：产品从生产公司到消费用户所经历的销售路径。

（4）促销：是指企业利用各种方法刺激用户消费，来促进销售的增长。包括广告、人员推销、营业推广等。例如买一送一、过节打折等。

◆ 3.2 如何明确问题？

>> 有一个段子是说一个小伙子看到一个老头和他脚边的一只狗。然后小伙子问：“你的狗咬人么？”老头说：“不咬人。”于是小伙子弯腰摸了摸这条狗，结果被咬了一口。小伙子气地说：“你不是说你的狗不咬人么？”老头说：“这不是我的狗。”

#小曾曾读书笔记#《数据分析思维：分析方法和业务知识》：回购率和复购率仅一字之差，有时会被混为一谈，严谨来说它们是有区别的，最大的区别在于使用场景。复购率是一个衡量较长时间段，或者作为周期性（逐月、逐年）监测用户忠诚度的指标；而回购率是分析短期促销活动（简称大促）对用户吸引力的指标。

在电商或者内容领域，复购率和回购率都能够衡量商品对用户的吸引力。复购强调一个时间段内的重复购买，而回购强调两段时间内的再次购买。体现在时间段的不同上，但是核心都是再次购买。

在分析某些大促的营收降低的sample里，经常会关注用户的回购情况，即在大节前购买的用户是否还会在此次大促购买，成为分析老用户的关键点。