大数据应用案例分析

在如今这个大数据的时代里,人人都希望能够借助大数据的力量:电商希望能够借助大数据进一步获悉用户的消费需求,实现更为精准的营销;网络安全从业者希望通过大数据更早洞悉恶意攻击者的意图,实现主动、超前的安全防护;而骇客们也在利用大数据,更加详尽的挖掘出被攻击目标信息,降低攻击发起的难度。

大数据应用最为典型的案例就是国外某著名零售商,通过对用户购买物品等数据的分析,向该用户——一位少女寄送了婴儿床与衣服的优惠券,而少女的家人在此前对少女怀孕的事情一无所知。大数据的威力正在逐步显现,银行、保险公司、医院、零售商等等诸多企业都愈发动力十足的开始搜集整理自己用户的各类数据资料。但与之相比极度落后的数据安全防护措施,却让骇客们乐了:如此重要的数据不仅可以轻松偷盗,而且还就是整理好的,凭借这些数据骇客能够发起更具“真实性”的欺诈攻击。好在安全防御者们也开始发现利用大数据抵抗各类恶意攻击的方法了。

扰动安全的大数据

2014年IDC在“未来全球安全行业的展望报告”中指出,预计到2020年信息安全市场规模将达到500亿美元。与此同时,安全威胁的不断变化、IT交付模式的多样性、复杂性以及数据量的剧增,针对信息安全的传统以控制为中心的方法将站不住脚。预计到2020年,60%的企业信息化安全预算将会分配到以大数据分析为基础的快速检测与响应的产品上。

瀚思(HanSight)联合创始人董昕认为,借助大数据技术网络安全即将开启“上帝之眼”模式。“您不能保护您所不知道的”已经成为安全圈的一句名言,即使部署再多的安全防御设备仍然会产生“不为人知”的信息,在各种不同设备产生的海量日志中发现安全事件的蛛丝马迹非常困难。而大数据技术能将不同设备产生的海量日志进行集中存储,通过数据格式的统一规整、自动归并、关联分析、机器学习等方法,自动发现威胁与异常行为,让安全分析更简单。同时通过丰富的可视化技术,将威胁及异常行为可视化呈现出来,让安全瞧得见。

爱加密CEO高磊提出,基于大数据技术能够从海量数据中分析已经发生的安全问题、病毒样本、攻击策略等,对于安全问题的分析能够以宏观角度与微观思路双管齐下找到问题根本的存在。所以,在安全领域使用大数据技术,可以使原本

单一攻防分析转为基于大数据的预防与安全策略。大数据的意义在于提供了一种新的安全思路与解决办法,而不仅仅就是一种工具,单纯的海量数据就是没有意义的。如果大数据领域运用得当,可以十分便捷地与安全领域进行结合,通过对数据分析所得出的结论反映出安全领域所存在漏洞问题的方向,从而针对该类漏洞问题制定出相对应的解决方法。

卡巴斯基技术开发(北京)有限公司大中华区技术总监陈羽兴强调,大数据对于安全公司就是件杀敌利器,对于黑客来说也就是一块巨大的“奶酪”,而这块“奶酪”有时候不仅仅就是存放在一个地方,如果仍然使用传统的防范手段——端点、网络、加密等——就是不足以抵挡黑客的,所以作为安全公司不仅要着力去完善自家的解决方案,同时在整个产业链各个环节的企业都要开放,形成产业协同。

其实云计算的大热,就已经让用户与云服务提供商愈加意识到云安全的重要性,云安全则更需要大数据。作为客户数据托管方的云服务提供商,客户最关注的就是服务提供商保证她们的数据安全:既不丢失也不被非法访问,且遵从法规要求。即使就是在企业的私有云中,各个部门之间的信息安全也必须考虑,特别就是财务数据、客户信息等。由于数据的集中,云所需要处理的数据可能就是PB级甚至更大,如此大的数据量就是传统安全分析手段根本处理不了的,只有依靠大数据分布式计算技术对海量数据进行安全分析。

排兵布阵情报先行

近两年,安全企业就如何运用大数据于网络安全中费尽了脑筋,而安全威胁情报可以说就是大数据技术在网络安全防御环节里比较成熟的应用。

什么就是安全威胁情报？形象地说,人们经常可以从CERT、安全服务厂商、防病毒厂商、政府机构与安全组织那里瞧到安全预警通告、漏洞通告、威胁通告等等,这些都属于典型的安全威胁情报。而随着新型威胁的不断增长,也出现了新的安全威胁情报,例如僵尸网络地址情报(Zeus/SpyEye Tracker)、0day漏洞信息、恶意URL地址情报,等等。

陈羽兴举了一个十分有趣的例子:中国股市刚刚兴起时,人们要去证券大厅了解行情,门口摆摊卖茶叶蛋的老太太虽然不懂股票,但就是她懂一个道理:茶叶蛋生意清淡的时候买入、茶叶蛋生意火爆的时候卖出。其实茶叶蛋本身的销量数

据不会直接导致股票的涨跌,但就是这两者之间存在“相关性”,大数据环境下的安全威胁情报也就是如此。

目前,无论国内还就是国外对安全威胁情报系统的建设都普遍参考STIX标准框架,它有几个关键点:时效性、完整的攻击链条(包括:攻击行动、攻击入口、攻击目标、Incident事件、TTP——攻击战术、技术与过程、攻击特征指标、攻击表象、行动方针等)以及威胁情报共享。而传统漏洞与病毒库只就是在安全厂家捕获到样本后将对应的特征码更新到漏洞或病毒数据库里,并没有将整个攻击过程完整描述下来,且缺少相互共享合作。

大数据时代下,通过大数据的计算能力、算法与机器学习优势可以快速、自动的在海量数据中发现安全问题,提升安全情报的时效性。其次由于大数据分析的数据来自网络、终端、认证系统等各个维度,便于分析整个安全攻击链条形成安全威胁情报。最后,随着一些新兴的大数据厂商兴起,用户至上、信息共享等互联网思维逐步形成,使安全威胁情报共享得以实现。

瀚思采用“图分析”结合强大情报系统(域名Whois、被动DNS、黑名单)所实现的极速感知可疑域名方法,就就是通过将每天各个渠道收集到的几十万域名及其相关信息导入图数据库,根据节点关系快速绘制连接边,形象直观的展现节点之间内在联系,将有问题的域名暴露在安全分析人员的眼前,使得以域名为基础的恶意行为无处躲藏,并以最快的速度查出恶意网站。

卡巴斯基则在10年前就建立了自己的安全网络KSN,通过多年的数据搜集与研究,再加上其所设立的全球威胁分析团队(Great team),已经能够对未来威胁走向进行相对比较准确的预判。

而绿盟科技的研究团队在吸收“杀伤链(Kill Chain)”与“攻击树(Attack Tree)”等相关理论,形成独特推理决策引擎后,借助大数据安全分析系统的分布式数据库,实现了对网络入侵态势的感知。

高磊认为,其实大数据从诞生开始就用于统计与记录安全情报。它能够帮助情报分析人员发现藏匿于数据中的威胁,通过大数据分析处理获取威胁情报、预测攻击事件。与传统情报获取方法不同的就是,真正意义的大数据安全情报就是能够基于更多的数据(不就是仅仅一些工具)分析半年以上的重点风险,预测未来的风险趋势。