大数据环境下的数据安全研究

大数据环境下的数据安全研究

摘要：大数据蕴藏着价值信息，但数据安全面临严峻挑战。本文在分析大数据基本特征的基础上，提出了当前大数据面临的安全挑战，并从大数据的存储、应用和管理等方面阐述了大数据安全的应对策略。

关键词：大数据；数据安全；云计算；数据挖掘

Abstract：The Big Data contain Valuable information，However, data security is facing serious challenges。based on the analysis of the basic characteristics of the Big Data，The paper propose the current risk of Big Data，and further from the Big Data’s storage, application and management expounds the Big Data Security strategy.

Key words：Big Data；Data security；Cloud Computing；Data Mining

0引言

随着互联网、物联网、云计算等技术的快速发展，以及智能终端、网络社会、数字地球等信息体的普及和建设，全球数据量出现爆炸式增长，仅在2011年就达到1.8万亿GB。IDC 预计，到2020年全球数据量将增加50倍。毋庸臵疑，大数据时代已经到来。一方面，云计算为这些海量的、多样化的数据提供存储和运算平台，同时数据挖掘和人工智能从大数据中发现知识、规律和趋势，为决策提供信息参考。但是，大数据的发展将进一步扩大信息的开放程度，随之而来的隐私数据或敏感信息的泄露事件时有发生。面对大数据发展的新特点、新挑战，如何保障数据安全是我们需要研究的课题。

1 大数据的特征

大数据通常被认为是一种数据量很大、数据形式多样化的非结构化数据。随着对大数据研究的进一步深入，大数据不仅指数据本身的规模，也包括数据采集工具、数据存储平台、数据分析系统和数据衍生价值等要素。其主要特点有以下几点：

1.1数据量大

大数据时代，各种传感器、移动设备、智能终端和网络社会等无时不刻都在产生数据，数量级别已经突破TB，发展至PB乃至ZB，统计数据量呈千倍级别上升。据估计，2012年全球产生的数据量将达到2.7ZB，2015年将超过8ZB[1]。

1.2类型多样

当前大数据不仅仅是数据量的井喷性增长，而且还包含着数据类型的多样化发展。以往数据大都以二维结构呈现，但随着互联网、多媒体等技术的快速发展和普及，视频、音频、图片、邮件、HTML、RFID、GPS和传感器等产生的非结构化数据，每年都以60%速度增长。预计，非结构化数据将占数据总量的80%以上[1]。

1.3运算高效

基于云计算的Hadoop大数据框架，利用集群的威力高速运算和存储，实现了一个分布式运行系统，以流的形式提供高传输率来访问数据，适应了大数据的应用程序。而且，数据挖掘、语义引擎、可视化分析等技术的发展，可从海量的数据中深度解析，提取信息，掌控数据增值的“加速器”。

1.4产生价值

价值是大数据的终极目的。大数据本身是一个“金矿产”，可以从大数据的融合中获得意想不到的有价值的信息。特别是激烈竞争的商业领域，数据正成为企业的新型资产，追求数据最大价值化。同时，大数据价值也存在密度低的特性，需要对海量的数据进行挖掘分析

才能得到真正有用的信息，形成用户价值。以监控视频为例，连续的播放画面，可以产生价值信息的数据可能是仅仅的一两秒。

2 大数据面临的安全挑战

正如Gartner所说：“大数据安全是一场必要的斗争”[2]。在大数据时代，无处不在的智能终端、互动频繁的社交网络和超大容量的数字化存储，不得不承认大数据已经渗透到各个行业领域，逐渐成为一种生产要素发挥着重要作用，成为未来竞争的至高点。大数据所含信息量较高，虽然相对价值密度较低，但是对它里面所蕴藏的潜在信息，随着快速处理和分析提取技术的发展，可以快速捕捉到有价值的信息以提供参考决策。然而，大数据掀起新一轮生产率提高和消费者盈余浪潮的同时，随着而来的是信息安全的挑战。

2.1网络化社会使大数据易成为攻击目标

网络化社会的形成，为大数据在各个行业领域实现资源共享和数据互通搭建平台和通道。基于云计算的网络化社会为大数据提供了一个开放的环境，分布在不同地区的资源可以快速整合，动态配臵，实现数据集合的共建共享。而且，网络访问便捷化和数据流的形成，为实现资源的快速弹性推送和个性化服务提供基础。正因为平台的暴露，使得蕴含着海量数据和潜在价值的大数据更容易吸引黑客的攻击。也就是说，在开放的网络化社会，大数据的数据量大且相互关联，对于攻击者而言，相对低的成本可以获得“滚雪球”的收益。近年来在互联网上发生的用户帐号的信息失窃等连锁反应可以看出，大数据更容易吸引黑客，而且一旦遭受攻击，失窃的数据量也是巨大的。

2.2非结构化数据对大数据存储提出新要求

在大数据之前，我们通常将数据存储分为关系型数据库和文件服务器两种。而当前大数据汹涌而来，数据类型的千姿百态也使我们措手不及。对于将占数据总量80%以上的非结构化数据，虽然NoSQL数据存储具有可扩展性和可用性等优点，利于趋势分析，为大数据存储提供了初步解决方案。但是NoSQL数据存储仍存在以下问题：一是相对于严格访问控制和隐私管理的SQL技术，目前NoSQL还无法沿用SQL的模式，而且适应NoSQL的存储模式并不成熟；二是虽然NoSQL软件从传统数据存储中取得经验，但NoSQL仍然存在各种漏洞，毕竟它使用的是新代码。三是由于NoSQL服务器软件没有内臵足够的安全，所以客户端应用程序需要内建安全因素，这又反过来导致产生了诸如身份验证、授权过程和输入验证等大量的安全问题。

2.3技术发展增加了安全风险

随着计算机网络技术和人工智能的发展，服务器、防火墙、无线路由等网络设备和数据挖掘应用系统等技术越来越广泛，为大数据自动收集效率以及智能动态分析性提供方便。但是，技术发展也增加了大数据的安全风险。一方面，大数据本身的安全防护存在漏洞。虽然云计算对大数据提供了便利，但对大数据的安全控制力度仍然不够，API访问权限控制以及密钥生成、存储和管理方面的不足都可能造成数据泄漏。而且大数据本身可以成为一个可持续攻击的载体，被隐藏在大数据中的恶意软件和病毒代码很难发现，从而达到长久攻击的目的。另一方面，攻击的技术提高了。在用数据挖掘和数据分析等大数据技术获取价值信息的同时，攻击者也在利用这些大数据技术进行攻击。

3 大数据安全的应对策略

当然，大数据也为数据安全的发展提供了新机遇。大数据正在为安全分析提供新的可能性，对海量数据的分析有助于更好地跟踪网络异常行为，对实时安全和应用数据结合在一起的数据进行预防性分析，可防止诈骗和黑客入侵。网络攻击行为总会留下蛛丝马迹，这些痕迹都以数据的形式隐藏在大数据中，从大数据的存储、应用和管理等方面层层把关，可以有针对性地应对数据安全威胁。

3.1大数据存储安全策略