大数据在信息安全领域的应用分析

大数据在信息安全领域的应用分析

随着社会的发展和科技的进步，信息交互更加频繁，数据累积与日俱增，大数据时代随之到来。大数据从字面意义的解释来说，即为体量很大的数据。维基百科中将大数据定义为[1]：大数据是指足够大和复杂而致使传统数据处理应用不再适用的数据集合。其含义为所涉及的资料量规模及复杂程度已远远超过当前主流软件工具的处理能力，而不能在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。

大数据与传统数据不同，大数据整体呈现多样性、规模性和高速性，因此需要更加先进的数据处理工具才能应对如此之大数据量的处理，同时保证其高效性。

大数据除了在信息量上不同于传统数据的量级，此外大数据还意味着可以对海量数据进行挖掘和分析，当今大数据已经渗透到各个行业，通过对数据的有效运用可以发现新的知识，使得数据为人们创造更大的价值。如信息专家涂子沛在其著作《大数据》中提出的大数据可以带来“大知识”、“大科技”、“大利润”和“大发展”[2]。

国际上以麦肯锡为代表的研究人员认为，大数据是数据量已经大到在数据获取、数据存储、数据管理、数据分析等方面远远超过传统的数据库工具处理能力的数据集，这一观点与维基百科关于大数据的定义基本一致。

综合上述观点可以看出，我们不能简单地总结海量数据和大数据是同一个概念的不同表示，另外从“数据”或者“海量数据”到“大数据”，也不只是修饰词层面的改变，关于它们之间的区别我们总结为以下3点：1）大数据这一概念中的“大”是指用目前主流软件工具无法实现在响应时间范围内可以解决的大，需要采用大数据的技术对其实现处理：2）大数据技术是一种全新的架构和技术，为了处理海量数据应运而生，大数据的一个主要目的是高速、高效地处理海量异构的数据；

3）大数据之“大”的基本属性是“量大”，但是其更具内涵的属性是“价值大”。所谓价值大是指通过数据处理方法对数据本身进行发掘和分析，从而发现数据背后潜在的规律和知识等，这是简单的数据分析无法体现的含义，是一种新的发现。

本文认为，以上3点是根据众多学者总结出来的大数据核心思想，这3点内容并非并列重复的，它们是一个层级推进的关系。而这3点中，最能体现大数据核心的是第3点，采用大数据技术挖掘分析新知识，创造新价值。当然，在近年关于大数据的学术报告中，很多都会讲到大数据的“5V”特性，即大数据的5个主要特征属性：Volume，Velocity，Variety，Value，Veracity。这其实和上面提到的3点是有异曲同工之妙，至于5V或者更多V的具体内容在此不多赘述。

1 问题与挑战

1.1 数据大爆炸

IDC国际数据公司曾对全球信息量进行相关计算，据统计结果分析，全球信息量整体呈不断上升趋势，即使在被金融危机打击的2009年，全球信息量依旧相比前一年增长了惊人的62%，此时全球信息量已经达到80万PB级。之后经过2年时间的迭代，截至2011年，全球数据总量已经达到1.8 ZB（1 ZB 等于1万亿GB）。此后，全球数据总量以每2年翻一番的速度极速增长。以此估计，到2020年，全球信息数据总量将会达到40 ZB。数据大爆炸时代的到来，不仅体现在数据规模的急剧增长，这一时期的数据类型也开始呈现多样化。数据类型包括结构化数据、半结构化数据、非结构化数据等多种类型。所有数据类型当中非结构化数据将占到所有类型数据的3/4，这意味着将产生大量采用传统数据处理手段无法处理的数据[3]。

1.2 大数据到底是噱头还是未来

传统意义上的数据处理有数据挖掘、数据仓库、OLAP等。随着大数据时代的到来，数据分析处理的对象已经不仅仅是数据本身，更重要的是人们需要通过更加专业的数据分析知识和数据处理工具，从海量看似杂乱的数据集中，分析出数据背后所承载的各类行为、数据足迹等，从而为社会行为预测、企业行为规划和商业领域的决策提供强有力的支持。所以，各大互联网公司越来越看重数据的商业价值，各大创业公司采用大数据分析的技术进行辅助决策，而大数据技术也成为了当前众说纷纭的热门话题。

那么，大数据真的就只是一个噱头吗？当然不是。现如今，我国国内的主要互联网公司已经将大数据技术融入到了各自的领域中，有效地利用了大数据技术，取得了非常好的社会和经济效益。此外，在能源、医疗、交通等不同的行业领域，都使用大数据技术取得了不错的成绩。

在大数据领域，现阶段国际上已经开始实际运用的相关项目包括：

1）Google知识图谱和深度学习、自动驾驶技术、Google眼镜；

2）Facebook开放社交图谱数据；

3）NSA棱镜计划；

4）IBM Watson；

5）LinkedIn，Amazon，Netflix推荐系统等。

综合来看，大数据并非是一时兴起的噱头，而是未来科技发展的一个重要方向。因此了解、认知及掌握大数据技术显得尤为重要，对发现科学生产知识和规律、改良及提出新的科学技术、降低能耗提高效率以及提升竞争力具有重要现实意义。

2 研究现状分析

2.1 大数据发展历程

Google在2003～2004年的2年间，公布了关于GFS，MapReduc[4]和BigTa ble 3篇技术论文，被称为“三驾马车”。这也成为后来大数据云计算发展的重要基石。

2005年，雅虎公司为了解决其产品的网页搜索问题开发了Hadoop项目，H adoop项目大大提高了数据处理速度，Apache Software Foundation公司发现了Hadoop技术的高效性，引入该项目并将其发布为开源应用。Hadoop不是一个单体项目，完整的Hadoop生态系统由多个子项目共同构建，每个软件实现数据处理的相关子模块，最终共同实现功能全面，组织灵活的大数据分析系统。

从技术角度来看，Hadoop底层架构由2个关键服务模块组成：用面向大规模数据使用的分布式文件系统实现的可靠的数据存储服务HDFS，以及针对大规模数据集并行计算的高性能并行数据处理服务MapReduce。以上2个模块为Ha doop项目核心模块，将为大量异构数据的快速、高效分析提供基础技术支撑。

2011年5月，一篇名为《大数据：创新、竞争和生产力的下一个新领域》的文章发布，自此大数据开始成为备受关注的新技术。这篇来自国际著名咨询公司麦肯锡全球研究所的文章认为，在相关政策支持下，大数据技术将对生产力的增长提供强有力的支持，同时可以不断推动科技的创新。

2012年，维克托·舍恩伯格发表论文《大数据时代：生活、工作与思维的大变革》，标志着大数据概念开始在全球范围内进行传播。

2012年3月，美国总统奥巴马宣布启动，“大数据研究和发展计划（Big Data Research and Development Initiative）”。美国政府的多个部门将总