大数据处理及分析理论方法技术

大数据处理及分析理论方法技术

（一）大数据处理及分析建设的过程

随着数据的越来越多，如何在这些海量的数据中找出我们需要的信息变得尤其重要，而这也是大数据的产生和发展原因，那么究竟什么是大数据呢？当下我国大数据研发建设又有哪些方面着力呢？

一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。

二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。

三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。

四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

（二）大数据处理分析的基本理论

对于大数据的概念有许多不同的理解。中国科学院计算技术研究所李国杰院士认为：大数据就是“海量数据”加“复杂数据类型”。而维基百科中的解释为：大数据是由于规模、复杂性、实时性而导致的使之无法在一定时间内用常规软件工具对其进行获取、存储、搜索、分享、分析、可视化的数据集合。

对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决

图2.1：大数据特征概括为5个V （三）大数据处理及分析的方向

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定

最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

表2.1：数据分析的五个方面

据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简也正是因为这

些被全世界统

计学家所公认

的各种统计方

法（可以称之为

真理）才能深入

数据内部，挖掘

出公认的价值。

另外一个方面

也是因为有这

些数据挖掘的

算法才能更快

速的处理大数

据，如果一个算

法得花上好几

年才能得出结

中挖掘

出特

点，通

过科学

的建立

模型，

之后便

可以通

过模型

带入新

的数

据，从

而预测

未来的

数据。

词、标

签关键

词、或

其他输

入语

义，分

析，判

断用户

需求，

从而实

现更好

的用户

体验和

广告匹

配。

领域，都能

够保证分析

结果的真实

和有价值。

大数据分析

的基础就是

以上五个方

面，当然更

加深入大数

据分析的

话，还有很

多很多更加

有特点的、

更加深入

的、更加专

业的大数据

（四）大数据处理及分析的方法

越来越多的应用涉及到大数据，这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以，大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。

（五）大数据处理的过程

大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。

1.采集