大数据采集过程
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据采集,就是使用某种技术手段或者技术,将数据收集起来并存储在某种设备上,这种设备可以是磁盘也可以是云盘,区别于普通的数据分析,大数据分析的数据采集是在数据收集和存储技术上都是不同的。区别如下:
1、大数据收集过程
在收集阶段,大数据分析在时空两个方面都显著不同,在时间维度上,为了获取更多的数据,大数据收集的时间频率大一些,有的时候也叫数据采集的深度,在空间维度上,为了获取更多精准的数据,数据采集会设置的密度更大一些。
比如在群众拨入电话的时候,小数据时代,及数据收集,只是记录了群众的来电时间,接入时间,结束时间等,记录的频率可能是来电记录一次,这样一个群众来电的时候只有一个数据,在做分析的时候,只能分析简单的来电时间,结束时间等。而大数据时代,在空间维度上可以设置来电时间、接入时间、话务释放时间、咨询问题的大小类、以往咨询问题的关联等,在时间维度上,可以将个人以往咨询的工单都进行数据统计分析,将统一类型的工单都进行统一的数据分析,形成整体的预测模型,在遇到同类的问题的时候,方便坐席做出及时的处理响应,方便决策层在遇到同类问题之前就可以进行快速的问题响应。
有了大量的数据,就可以精确的判断出比如冬季供暖期前半个月,即十月份是供暖咨询量大的时间,在供暖期11月开始初期是反应供暖问题的高发时期,加上细颗粒的,比如一天24小时的数据分析,还可以得出一个具体的时间序列曲线。