当今大数据安全技术的研究

信息安全课程论文

题目:当今大数据安全技术的研究

姓名赵阳

学院理学院

专业数学

学号2013111151

2014 年6 月

当今大数据安全技术的研究

摘要

大数据是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。随着大数据技术的成熟、应用与推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知的关键技术创造了突破的机遇。本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。

实践中，我们不难发现大数据发展面临的两个问题，大数据处理技术的发展和完善，以及数据安全的考验。前者需要技术人员不懈的努力，但是在信息处理技术如此发展的今天，完成只是时间问题。而安全问题似乎更棘手，由于大数据的特殊性，安全防护变得极其重要。一旦数据发生安全隐患，影响最终结果是小事，由这个结果导致的错误判断则可能对个人、企业甚至国家带来巨大的灾难。

关键词：大数据安全防护措施研究进展

Research on today's large data security technology

ABSTRACT

Big data refers to the size exceeds the commonly used software tools at run time can afford to collect, manage and process the data capacity data sets; big data is currently stored patterns and the ability to calculate the model and capacity can not meet the storage and processing of existing data Set the scale generated relative concept. As the technology matures big data, application and promotion, network security situational awareness technology with new development direction of big data technologies specific to mass storage, parallel computing, efficient query features for large-scale network security situational awareness of key technologies create a breakthrough opportunity. In this paper, the security situation will be the perception of large-scale network environment, big data technologies in promoting security perception to do some research.

In practice, we find two problems facing the development of big data, big data processing technology development and improvement, as well as data security test. The former requires technical staff for their tireless efforts, but such a development in the information processing technology today, completed just a matter of time. The safety issues seem to be more difficult, due to the particularity, security becomes extremely important for large data. Once the data security risks occur, affecting the final result is trivial, error of judgment by the result of this may be a huge disaster for individuals, companies and even countries.

Key words：Big Data Security Protective measures Research Progress

第一章大数据的安全现状

1.1大数据安全的背景调查

快速发展的互联网技术不断地改变人们的生活方式，然而，多层面的安全威胁和安全风险也不断出现。对于一个大型网络，在网络安全层面，除了访问控制、入侵检测、身份识别等基础技术手段，需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说，如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题，从而保障网络的安全状态，是他们最关心也是最需要解决的问题。与此同时，对于安全管理者和高层管理者而言，如何描述当前网络安全的整体状况，如何预测和判断风险发展的趋势，如何指导下一步安全建设与规划，则是一道持久的难题。

对于一个大规模的网络而言，面临的风险也是巨大的，可分为广度风险和深度风险。从广度上讲，以中国移动的CMNET网络为例，所辖IP地址超过3000万个，提供对外服务的网站数千个，规模大、节点类型丰富多样，伴随其中的安全问题随网络节点数量的增加呈指数级上升。从深度上讲，下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT（高级持续性威胁）攻击逐渐增多且造成的损失不断增大。而攻击者的工具和手段呈现平台化、集成化和自动化的特点，具有更强的隐蔽性、更长的攻击与潜伏时间、更加明确和特定的攻击目标。以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。结合广度风险与深度风险来看，大规模网络所引发的安全保障的复杂度激增，主要面临的问题包括：安全数据量巨大；安全事件被割裂，从而难以感知；安全的整体状况无法描述。

网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息；脆弱性感知则包括3个层面的脆弱性感知能力：不可见、可见、可利用；安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果；异常行为感知是指通过异常行为判定风险，以弥补对不可见脆弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。

随着Hadoop、NoSQL等技术的兴起，BigData大数据的应用逐渐增多和成熟，而大数