关于大数据的应用前景和技术实

关于大数据的应用前景和技术实现

摘要：大数据时代的到来影响着社会的各个层面，从物联网、云计算到微博等影响着人们生活的方方面面。毫无疑问，“大数据”将成为我们进入信息时代又一具有里程碑式意义的繁荣和发展。人们的生活、工作、学习，企业的运营管理，公共事业的发展都建在大数据的背景下发生深刻变革。可以说大数据的应用前景是广阔的，值得我们去遥想。同时，大数据的时代并没有真正的走向成熟，所以就其发展状况来看，还处于初级阶段。所以它也面临着种种技术难题需要去解决。

关键字：大数据应用前景技术实现

“大数据”这个话题热了，但是要讨论大数据的起源，实际上是一个比较复杂的问题。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学以及军事、金融、通讯等行业领域存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

“大数据”这个术语最早期的引用可追溯到2004年Oregon State University开始的apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

其实早在2001年，Gartner公司的一份研究报告也出现“大数据（Big Data）”概念的提法。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

这些关系错综复杂，但是有一点是可以说明的，那就是我们不必要说明“大数据”到底是谁提出来的。在人类文明发展的进程中，信息的积累，数据的运用也在不断地进行，毫无疑问，这些信息在互联网的环境中又迸发出深切的内涵。互联、共享的世界给了信息充分的自由，在这里每一个小小的动作都可以演化成数据。而数据的功能实际上是便于人们理解，为人们服务的，于是数据就被保留了下来，互联网下的一切似乎都有了意义。于是，“大数据”来了！

1、大数据和云计算的关系

在“大数据”这个名词热起来之前，“云计算”早早的闯入了人们的视野。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

2、大数据未来的发展前景和应用

在未来大数据的环境背景下，我们的生活会随着各行各业的发展而产生巨大的改变。我们的企业会根据大数据的信息处理提高企业管理的管理精度，提高只能部门的工作效率，从而降低公司的开支成本，是企业更加具有竞争力。在教育领域，根据大数据的数据处理能力可以获知学生的兴趣爱好，个人所长，从而因材施教，帮助孩子获得更好的教育发展。在商业竞争中，可以利用“大数据”的信息处理能力获得消费者的喜好、需求和商品的卖点，可以及时的推出那些消费者需要而且能让消费者满意的商品。其实，大数据能影响的远远不止这些。在未来的前景里，无论是医疗，交通，还是其他公共生活服务领域都有值得畅想的地方。

“大数据”会推动人类社会走向智能。互联网将造就更大的物联网。未来的城市将是智能化的城市。那么“大数据”、物联网以及智慧城市的关系会是怎样的呢？

首先，物联网技术的发展是“大数据”形成的动因，“大数据”的数据来源依赖于物联网技术创新和应用。其次，智慧城市需要依赖于“大数据”的支撑，“大数据”的应用程度也会是智慧城市发达程度的重要指标。然而智慧城市的建设是以物联网技术为基础，但是其概念外延要比物联网大很多。智慧城市不仅仅是高新技术的智能化应用，它同时也要求人与人的交互和人与城市的和谐关系的融合。

在智慧城市里，我们的生活会是越来越智能，越来越个性化的。我们的家具了解我们的习惯，我们的汽车知道它自己该驶向何处，我们的厨房可以学会为我们提供健康的饮食，我们的运动器材清楚我们该做什么样的运动，我们的电视电脑可以识别我们的手势或是一句口令。智慧城市，是人的思维和物的完美结合。

3、大数据在技术上的支持和面临的难题

从大数据比较有影响力的概念和大数据的研究现状来看，推动大数据发展的核心力量之一就是大数据的分析处理工具和技术。传统的数据分析处理技术已经无法满足大数据的需求，大数据的出现也必然伴随着新的处理工具和新技术的出现。

3.1大数据处理平台支持：在大数据的处理平台中，最广为人知的就应该是Apache的Hadoop的块处理平台，Hadoop主要是基于MapReduce编程框架和HDFS。HPCC（high performance computing cluster）系统也是一种开源的分布式密集数据处理平。Hadapt是一种高性能的自适应分析平台。