论大数据重要性.doc

论大数据重要性

【摘要】近些年,科技飞速发展,大数据也盛行开来。生活中的种种用户信息都是大数据的一份子,它们相辅相成,推动人类生活向好的方向发展,当然给我们生活的方方面面带来便利。重视以及精通大数据已经是我们每个学生所必不可少的。

【关键词】数据数据特点常用技术数据意义

一、大数据概述

1.1大数据定义

随着科技的发展,像云计算科技,软件科技,物联网科技等的兴起和发展,数据正飞速发展,大数据时代已经来临了,并且在我们生活的方方面面占据着重要作用,然而,到目前大数据并没有明确的定义。学术界的定义,即大数据是形式多样的,大数据量的非结构化数据；比较有代表意义的定义还有大数据需满足规模性,多样性,高速性,即是3V定义；维基百科把大数据定义成,可以利用常用软件来捕获,管理以及进行数据处理时需花费大量的时间。

1.2大数据发展历史

数据的研究一词源于1944年,弗莱蒙特?雷德在《学者与研究型图书馆的未来》中首次提出对数据的研究,他发现管中的书籍量每16年就会翻倍,提出数据的研究,后来数据一词不断被提到。到了1997年《为外存模型可视化而应用控制程序请求页面调度》问世,在文中是这样描写的：“可视化对计算机系统提出了一个有趣的挑战：通常情况下数据集相当大,耗尽了主存储器、本地磁盘、甚至是远程磁盘的存储容量。我们将这个问题称为大数据。”这是在美国的计算机学会数字图书馆中首篇用“大数据”这一术语。随之大数据研究受到重视,迅速发展,每年世界所产生与复制的数字化数据总量不断攀升。

21世纪之后,大数据的发展更是加快了步伐,互联网数据中心对接下来10年的数据量进行了预计,表明到2006年,全世界将产生了161EB数据,同时预计至接下来的四年,每年数据量将以六倍多的数量增加,达到988EB。近几年,大数据更是分布于全球的各个方面。

1.3大数据特点

（1）数据量巨大。电子商务,互联网等每天都会产生大量的数据,供用户便捷地获得信息,这些信息量是大量的,非人工能够计算的。

（2）广泛的异构性。正如现在数据向半结构化和非结构化等融合结构的转化；数据源向具有时空特性的数据源的转化都表明数据的广泛异构性。

（3）多种多样,分布广泛。随着物联网,互联网的发展,大数据的种类也随之不断发展。

（4）价值密度低。因数据量大,有用信息量一般很少,所以有价值的信息占据比重较低,即价值密度低。

二、大数据常用技术

2.1 Hadoop

Hadoop主要有HDFS和MapReduce构成,是一个很成熟和完善的分布式计算系统,可以用来解决数据存放

以及一些有关的计算问题,Hadoop可以通过常用的一些硬件来构建稳定的,高效的,效用齐全的分布式集群计算系统。

2.2 NoSQL数据库

NoSQL是来源于一个开源关系型数据库的名字,可以理解为非关系型数据库,但是始终没有一个明确的定义。NoSQL为集群环境而设计,可用来解决越来越大的数据量,能够大量,高效率的处理大数据,它能够形成容易编程,效用齐全,扩展性良好的系统。

2.3 Spark

Spark是一套分布式内存迭代计算系统,它通过Scala语言写成,Spark构建了以处理大数据为目的的一体化解决方案,使用者能够用同样的API来操作Spark的所有效用,同时Spark中的四个主要子框架能够操作彼此的数据。

三、大数据的意义

大数据的研究可以提升中国在国际科学界的重要地位,捍卫和加强国家网络空间的数字主权。随着信息技术的快速发展,互联网,物联网等先进科技在全国各地普及并且占据重要作用,任何国家想要变得更强都离不开科技,国家层面的竞争力在很大一部分同样反映在国家的网路数据的规模,对数据的分析能力和运用能力。

大数据和商业机遇紧密相连,可以促进经济发展。近些年网络大数据在科学领域有重大突破,当然在技术方面同样有巨大的提升,就目前我们在大数据领域的实力足以驾驭大数据涌现性、清理数据的复杂性,掌握大数据复杂性,当然我们也能够从巨大的数据流中找出人们有用的、有针对性的信息和知识,最终能够充分实现信息的价值。各行各业都有自己的数据,通过对数据的统计,数据分析,提出应对策略,提升行业用户竞争力,从而带动经济发展。

参考文献

[1]?W络信息的检索与挖掘回顾[J]. 程学旗,郭嘉丰,靳小龙. 中文信息学报. 2011（06）

[2]数据质量和数据清洗研究综述[J]. 郭志懋,周傲英. 软件学报. 2002（11）

[3]网络大数据：现状与展望[J]. 王元卓,靳小龙,程学旗. 计算机学报. 2013（06）

[4]大数据分析――RDBMS与MapReduce的竞争与共生[J]. 覃雄派,王会举,杜小勇,王珊. 软件学报. 2012（01）

[5] Hadoop权威指南[M]. 清华大学出版社, （美）怀特（White, 2011）

科教兴国