数据分析方法及数据处理计划流程实战案例

数据分析方法、数据处理流程实战案例
大数据时代，我们人人都逐渐开始用数据的眼光来看待每一个情况、事物。

确实，数据的直观明了传达出来的信息让人一下子就能领会且毫无疑点，只是前提是数据本身的真实性和准确度要有保证。

今天就来和大伙儿分享一下关于数据分析方法、数据处理流程的实战案例，让大伙儿关于数据分析师那个岗位的工作内容有更多的理解和认识，让能够趁机了解了解咱们平常看似轻松便捷的数据可视化的背后差不多上有多专业的流程在支撑着。

一、大数据思维
在2011年、2012年大数据概念火了之后，能够讲这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，同时提的比较多的大数据思维。

那么大数据思维是如何回事？我们来看两个例子：
案例1：输入法
首先，我们来看一下输入法的例子。

我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。

那时候的输入法比现在来讲要慢的专门多，许多时候输一个词都要选好几次，去选词依旧调整才能把那个字打出来，效率是特不低的。

到了2002年，2003年出了一种新的输出法——紫光拼音，感受确实专门快，键盘没有按下去字就差不多跳出来了。

然而，后来专门快发觉紫光拼音输入法也有它的问题，比如当时互联网
进展差不多比较快了，会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就专门难敲出来那个词。

在2006年左右，搜狗输入法出现了。

搜狗输入法基于搜狗本身是一个搜索，它积存了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行治理。

比如，去年流行一个词叫“然并卵”，如此的一个词假如用传统的方式，因为它是一个重新构造的词，在输入法是没方法通过拼音“ran bing luan”直接把它找出来的。

然而，在大数据思维下那就不一样了，换句话讲，我们先不明白有这么一个词汇，然而我们发觉有许多人在输入了那个词汇，因此，我们能够通过统计发觉最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大伙儿在使用的时候能够直接找到那个词了。

案例2：地图
再来看一个地图的案例，在这种电脑地图、手机地图出现之前，我们差不多上用纸质的地图。

这种地图差不多确实是一年要换一版，因为许多地址可能变了，同时在纸质地图上确信是看不出来，从一个地点到另外一个地点如何走是最好的？中间是不是堵车？这些差不多上有需要有经验的各种司机才能推断出来。

在有了百度地图如此的产品就要好专门多，比如：它能告诉你这条路当前是不是堵的？或者讲能告诉你半个小时之后它是不是堵的？它是不是能够预测路况情况？
此外，你去一个地点它能够给你规划另一条路线，这些确实是因为它采集到许多数据。

比如：大伙儿在用百度地图的时候，有GPS地位信息，基于你那个位置的移动信息，就能够明白路的拥堵情况。

另外，他能够收集到专门多用户使用的情况，能够跟交管局或者其他部门来采集一些其他摄像头、地面的传感器采集的车辆的数量的数据，就能够做如此的推断了。

那个地点，我们来看一看纸质的地图跟新的手机地图之间，智能ABC输入法跟搜狗输入法都有什么区不？
那个地点面最大的差异确实是有没有用上新的数据。

那个地点就引来了一个概念——数据驱动。

有了这些数据，基于数据上统计也好，做其他挖掘也好，把一个产品做的更加智能，变得更加好，那个跟它对应的确实是之前可能没有数据的情况，可能是拍脑袋的方式，或者讲我们用过去的，我们想清晰什么缘故然后再去做那个情况。

这些相比之下数据驱动这种方式效率就要高专门多，同时有许多往常解决不了的问题它就能解决的特不行。

二、数据驱动
关于数据驱动这一点，可能有些人从没有看数的适应到了看数的适应那是一大进步，是不是能看几个数这就叫数据驱动了呢？这还远远不够，那个地点来讲一下什么是数据驱动？或者现有的创业公司在进行数据驱动这件情况上存在的一些问题。

一种情况大伙儿在公司里面有一个数据工程师，他的工作职责确实是跑数据。

不管是市场也好，产品也好，运营也好，老总也好，大伙儿都会有各种各样的数据需求，但都会提给他。

然而，那个资源也
是有限的，他的工作时刻也是有限的，只能一个一个需求去处理，他本身工作专门忙，大伙儿提的需求之后可能并可不能立即就处理，可能需要等待一段时刻。

即使处理了那个需求，一方面他可能数据预备的不全，他需要去采集一些数据，或做一些升级，他要把数据拿过来。

拿过来之后又在那个数据上进行一些分析，那个过程本身可能两三天时刻就过去了，假如加上等待的时刻更长。

关于有些人来讲，那个等待周期太长，整个时机可能就错过了。

比如，你重要的确实是考察一个节日或者一个开学如此一个时刻点，然后想搞一些运营相关的情况，那个时机可能就错过去了，许多人等不到了，有些同学可能就干脆依旧拍脑袋，就不等
待那个数据了。

那个过程事实上确实是讲效率是特不低的，并不是讲拿不到那个数据，而是讲效率低的情况下我们错过了专门多机会。

关于还有一些公司来讲，之前可能连个数都没有，现在有了一个仪表盘，有了仪表盘能够看到公司上个季度、昨天总体的这些数据，依旧专门不错的。

对老总来讲确信依旧比较快乐，然而，关于市场、运营这些同学来讲可能就还不够。

比如，我们发觉某一天的用户量跌了20%，那个时候确信不能放着不管，需要查一查那个问题出在哪。

那个时候，只看一个宏观的数那是远远不够的，我们一般要对那个数据进行切分，按地域、按渠道，按不同的方式去追查，看到底是哪少了，是整体少了，依旧某一个专门的渠道独特的地点它那个数据少了，那个时候单单靠一个仪表盘是不够的。

理想状态的数据驱动应该是如何样的？确实是一个自助式的数据分析，让业务人员每一个人都能自己去进行数据分析，掌握那个数据。

前面我讲到一个模式，我们源头是一堆杂乱的数据，中间有一个工程师用来跑那个数据，然后右边是接各种业务同学提了需求，然后排队等待被处理，这种方式效率是特不低的。

理想状态来讲，我们现象大数据源本身整好，整全整细了，中间提供强大的分析工具，让每一个业务员都能直接进行操作，大伙儿并发的去做一些业务上的数据需求，那个效率就要高特不多。

三、数据处理的流程
大数据分析这件事用一种非技术的角度来看的话，就能够分成金字塔，自底向上的是三个部分，第一个部分是数据采集，第二个部分是数据建模，第三个部分是数据分析，我们来分不看一下。

数据采集
首先来讲一下数据采集，我在百度干了有七年是数据相关的情况。

我最大的心得——数据那个情况假如想要更好，最重要的确实是数据源，数据源那个整好了之后，后面的情况都专门轻松。

用一个好的查询引擎、一个慢的查询引擎无非是时刻上可能消耗不大一样，然而数据源假如是差的话，后面用再复杂的算法可能都解决不了那个问题，可能差不多上专门难得到正确的结论。

我觉得好的数据处理流程有两个差不多的原则，一个是全，一个是细。

全：
确实是讲我们要拿多种数据源，不能讲只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。

另外，大数据里面讲的是全量，而不是抽样。

不能讲只抽了某些省的数据，然后就开始讲全国是如何样。

可能有些省特不专门，比如新疆、西藏这些地点客户端跟内地可能有专门大差异的。

细：
事实上确实是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。

比如：像where、who、how这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的那个维度，而不是讲开始的时候也围着需求。

依照那个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，
又要采集新的数据，那个时候整个迭代周期就会慢专门多，效率就会差专门多，尽量从源头抓的数据去做好采集。

数据建模
有了数据之后，就要对数据进行加工，不能把原始的数据直接报告给上面的业务分析人员，它可能本身是杂乱的，没有通过专门好的逻辑的。

那个地点就牵扯到数据建框，首先，提一个概念确实是数据模型。

许多人可能对数据模型那个词产生一种畏惧感，觉得模型那个东西是什么高深的东西，专门复杂，但事实上那个情况特不简单。