浅谈大数据的研究应用

关于大数据的相关问题研究

科目：信息资源建设

类别：期末作业

专业：图书情报2014

学号：12014001692

姓名：赵丽

摘要

近来，大数据引起了产业界、科技界和政府部门的高度关注。本文简要阐述了大数据的内涵和研究现状，探讨了大数据的重大意义，最后归纳总结大数据时代所面临的新挑战。

关键字：大数据大数据时代数据资源

目录

一、大数据的内涵 (1)

二、大数据的研究综述 (2)

（一）学术界对大数据的研究 (2)

（二）各国政府对大数据的研究 (3)

1.中国 (3)

2.美国 (4)

3.日本 (5)

4.英国 (5)

三、大数据的意义 (5)

（一）大数据带来产业升级和新的经济增长模式 (6)

（二）大数据引发科学研究思维与方法的一场革命 (6)

（三）大数据管理提供新的国家竞争平台 (7)

四、大数据面临的挑战 (7)

（一）市场竞争对管理者提出更高要求 (7)

（二）大数据时代的个人隐私遭遇大挑战 (7)

（三）信息资源争夺导致国家实力进一步分化 (8)

五、结论 (8)

参考文献 (9)

关于大数据的相关问题研究

早在20 世纪80 年代，美国著名的未来学家阿尔温·托夫勒就预言：“如果说IBM 的主机拉开了信息化革命的大幕，那么大数据则是第三次浪潮的华彩乐章。”[1]但是，大数据概念受到广泛关注，是近几年才有的事。近年来，随着互联网、物联网、云计算、三网融合等ＩＴ与通信技术的迅猛发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因而信息社会已经进入了大数据（BIG DATA）时代。大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变．

一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。维基百科对大数据的定义则简单明了：“大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。”[2]

一、大数据的内涵

大数据已经在悄然掀起一场新的革命，它将会是未来社会创新、生产力发展、市场变革的风向标。下面我们从大数据内涵出发，对大数据时代到来，大数据具有的怎样的含义简要说明。

人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据（Big Data）时代。以数据为中心的传统学科（如基因组学、蛋白组学，天体物理学和脑科学等）的研究产生了越来越多的数据。例如，用电子显微镜重建大脑中的突触网络，1立方毫米大脑的图像数据就超过1PB。但近年来大数据的飙升主要还是来自日常生活，特别是互联网公司的服务。“据著名咨询公司IDC的统计，2011 年全球被创建和复制的数据总量为1.8ZB（10 的21 次方），其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。”[4]

大数据是一个比较抽象的概念，它与“海量数据”（massive data）和“超大规模数据”（very large data）在概念上一脉相承，但在数据体量、数据复杂性和产生速度三个方面均大大超出了传统的数据形态，也超出了现有技术手段的处理能力。对于大数据尚未有一个公认的定义，不同的定义基本是从大数据的特征出发，通过这些特征的阐述和归纳试图给出其定义。在这些定义中，比较有代表性的是3V定义[3]：一是规模性（volume），即数据体量巨大，从TB 级别跃升到PB、EB 级别；二是多样性（variety），即数据类型繁多，如音频、视频、文本、图片等；三是高速性，即更新、处理速度快。除此之外，还有提出4V定义的，即尝试在3V的基础上增加一个新的特性。关于第4个V 的说法并不统一，如国际数据公司（IDC）认为大数据还应具有价值性（value）[6]，即具有很高的商业价值，大数据的价值往往呈现出稀疏性的特点。IBM 公司则认为大数据必须具有真实性（veracity）[7]。

二、大数据的研究综述

随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。

（一）学术界对大数据的研究

在学术界，美国一些知名的数据管理领域的专家学者则从专业的研究角度出发，联合发布了一份白皮书《Challenges and opportunities with Big Data》［3］。该白皮书从学术的角度出发介绍了大数据的产生，分析了大数据的处理流程，并提出大数据所面临的若干挑战。《自然》杂志2008 年9 月推出了Big Data 专刊[8]，以社论、特写、评议等形式，从计算机网络、信息管理、生物学、医学、互联网经济学等多角度介绍了海量数据带来的挑战，探讨了大数据的出现及其如何处理的问题。计算社区联盟（Computing community consortium）在2008年发表了报告“Big data computing：creating revolutionary breakthroughs in

commerce,science ,and society”［9］，阐述了在数据驱动的研究背景下，解决大数据问题所需的技术以及面临的一些挑战。《科学》杂志则在2011 年2 月推出专刊“Dealing with Data”[3]，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于科学研究的重要性。

全球知名的咨询公司麦肯锡（Mckinsey）2011年6月份发布了一份关于大数据的详尽报告“Big data：The next frontier for innovation，competition，and productivity”［10］，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。进入2012年以来，大数据的关注度与日俱增。在经济领域，2012年1 月的达沃斯世界经济论坛将大数据作为会议主题之一，发布了“Big Data，Big Impact：New Possibilities for International Development”的主题报告，探索、研究如何让大数据释放潜能、跨越鸿沟，为低收入人群及国家的发展服务。

（二）各国政府对大数据的研究

1.中国

2012 年5 月，香山科学会议组织了以“大数据科学与工程——一门新兴的交叉学科？”为主题的第424 次学术讨论会，来自国内外35 个单位横跨IT、经济、管理、社会、生物等多个不同学科领域的43 位专家代表参会，并就大数据的理论与工程技术研究、应用方向以及大数据研究的组织方式与资源支持形式等重要问题进行了深入讨论。6 月，中国计算机学会青年计算机科技论坛（CCF YOCSEF）举办了“大数据时代，智谋未来”学术报告会，就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论。

《IT时代周刊》、IT商业新闻网、全国CIO/CTO俱乐部于2012年7月21日主办“大数据2012论坛”，北京大学信息化与信息管理研究中心于2012年7月22日主办“首届中国大数据应用论坛”，同年10月召开Hadoop与大数据技术大会，12月14日在京召开中国大数据发展与应用峰会。

中国计算机学会大数据专家委员会成立了大数据共享联盟（Big Data Alliance），是由大数据相关产学研机构和个人自愿组成的学术性、公益性的社会