关于大数据的研究

大数据“决胜千里”

——计算机数据库浅谈

（安徽大学商学院13级）

摘要：文章通过首先对大数据的分析和研究，阐明了数据分析和处理在当代社会具有的潜力和作用。其次，通过对目前的行业分析揭示大数据这一新兴行业的广阔前景，迅猛发展的信息产业必将带动大数据的革命性变化。最后，分析了大数据发展所面临的一系列问题和挑战。

关键词：大数据，数据库，数据处理分析

引言：在日益发展的现代信息社会，及时准确的数据成为决定企业成败的重要因素。大数据作为新的IT行业逐渐被人们熟知。便捷的数据流在方便人们生活的同时，也带来了新的商机。通过对大数据发展的研究，抓住机遇，迎接挑战，才能在瞬息万变的时代浪潮中稳如磐石。

一．大数据的基本内容

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。

大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据:挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台———并行数据库、Map Reduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

“大数据”这个术语最早期的引用可追溯到apache org的开源项目Notch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌Map Reduce和Google File System的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。

二．数据库的重要作用

在日益发展的现代信息社会，每分每秒都有无数的信息在世界各地之间传递。如何把握时代的机遇，应对全球化浪潮下的挑战，抢占市场先机，信息成为其中重要的环节。而在各种繁复的数据信息中，必须学会删繁就简，抓住其中最核心的部分，才能为决策提供准确的支持。

近年来，大数据的发展为数据处理和分析提供了新的途径。作为工商管理专业的学生，在毕业后，绝大部分会进入企业，金融系统，事业单位等部门工作。那么，处理和分析数据就显得尤为重要了。

虽然大数据在国内还处于初级阶段，但是商业价值已经显现出来。首先，手中握有数据的公司站在金矿上，基于数据交易即可产生很好的效益；其次，基于数据挖掘会有很多商业模式诞生，定位角度不同，或侧重数据分析。比如帮企业做内部数据挖掘，或侧重优化，帮企业更精准找到用户，降低

营销成本，提高企业销售率，增加利润。

未来，数据可能成为最大的交易商品。但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来，未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。

三．大数据的发展前景

最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。”

事实上，全球互联网巨头都已意识到了“大数据”时代，数据的重要意义。包括EMC、惠普(微博)、IBM、微软(微博)在内的全球IT 巨头纷纷通过收购“大数据”相关厂商来实现技术整合，亦可见其对“大数据”的重视。

“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在2011年12月8日工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。可以预料，在不久的将来，大数据在我国的发展，也将进入一个飞速发展的时期。

四．大数据行业发展的挑战

伴随着各种随身设备、物联网和云计算云存储等技术的发展，人和物的所有轨迹都可以被记录。在移动互联网的核心网络节点是人，不再是网页。数据大爆炸下，怎样挖掘这些数据，也面临着技术与商业的双重挑战。

首先，如何将数据信息与产品和人相结合，达到产品或服务优化是大数据商业模式延展上的挑战之一。张夏天认为，大数据对算法和计算平台的挑战加大，计算开销大增。总量上升，质量下降，这是大数据带来的重大挑战。

其次，巧妇难为无米之炊，大数据的关键还是在于谁先拥有数据。多盟联合创始人兼COO张鹤表示，智能手机是根据用户营销而不是根据媒体营销。移动互联网提供了新的数据来源，数据分析能够针对每一位用户的手机信息做精准匹配，但大数据时代还没有真正来临。多盟虽然每天可覆盖1800万用户，但对用户行为的描述，还需要更大的数据量。

从市场角度来看，大数据还面临其他因素的挑战。架势无线CEO叶忻直言，大数据很有前景，但是市场中数据噪音太多，会导致数据价值大大降低。以无线营销为例，大量的刷量以及水军好评差评等数据已经严重干扰了数据的准确性，这实际上大大降低了数据的价值。

为应对数据的爆炸式增长，存储技术的革新也迫在眉睫，在技术革新的过程中，也暴露出一些问题：

容量问题。这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。

延迟问题。“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也