安全加固审计大数据的自动巡检方案

安全加固审计大数据的自动巡检方案—— POSTED BY ADMIN ON SEP 1, 2012 IN FLOWS35 | 0 COMMENTS

安全审计大数据时代的来临

大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱，而从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大，从GB级别，跃升到TB级别；第二，数据类型繁多；第三，价值密度低；第四，产生速度极快。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity，如何以快速的方法从海量数据中获取到价值，是应对大数据的最大的挑战。

安全审计规范化工作，也符合4个“V”的特征：

Volume：随着安全规章制度、审计条目数量、跨行业信息系统安全规范的日渐庞大，以及频繁的重要事件安全保障工作，安全加固审计的数据量也呈现出爆炸性增长趋势；Variety：种类繁多的设备、数据库及应用程序，跨系统、跨平台的安全加固配置条目，运维人员需要处理大量不同数据来源及格式的安全数据；

Value：面对大量的数据来源，形态各异配置文件、配置条目，如何快速定位到与信息安全加固工作相关的内容，是一项极具挑战的工作；

Velocity：由于互联网的不断深入及开放，以及重要事件安全保障工作的接踵而至、审

计规则的不断细化增加，安全威胁的来源类型正处于爆炸性增长的阶段，因此，安全加固数据也呈现出极快的增长趋势。

面对海量的安全审计规范及安全检查条目，传统的依赖关系性数据库的数据管理解决方案由于需要预先进行ETL（转义入库，详见名词说明）定义，已经无法满足安全审计大数据的发展需求；而silo（信息孤岛，详见名词说明）模式管理方法更是效率低下，各部门人员流水线作业，效率远低于审计规则及新安全漏洞的增长速度。实时大数据集分析需要像MapReduce（Google提出的一种软件框架，详见名词说明）一样的框架来进行快速的索引分析。

面对大数据，我们需要Splunk

快速兼容各种数据来源安全加固的范围包括操作系统、应用系统、数据库系统、网络设备等多种来源类型，为了保障信息系统对企业业务的有效支撑，应该通过安全加固工作消除潜在的安全风险。然而面对多种类型的操作系统、数量庞大的应用以及形态各异的数据库系统，如果对所有条目逐一进行ETL，将会是mission imposible。 Splunk采用了内部通用索引技术，使得用户在需要快速部署新的数据类型时可以直接从原始数据中分解和识别字段，而不需要预先进行ETL定义，可以快速兼容各种数据源而且可以随着安全加固需求的变化快速调整。

灵活方便的部署方法 传统数据管理解决方案的数据采集依赖于Agent，但受限于操作系统、应用程序的多样化，大部分Agent需要预先定义好需要获取的、有限的数据类型，即可以被ETL的数据来源，进而完成后续的结构化入库工作；同时，随着数据类

型及条目的增加，定时运行特定脚本获取数据的Agent所消耗的系统资源也会不断增加，导致安全审计工作反而造成网络和系统的突发负载，产生巨大的额外压力。 Splunk的Universal forwarder可以支持几乎所有常见的操作系统（包括Windows、linux甚至OS400等封闭式平台），支持脚本、syslog、WMI等各种数据采集方法保证可以灵活获取任何类型的安全审计条目（包括保存在数据表内部的安全配置），而流量负载均衡、传输速率控制的配置可以有效减轻安全审计工作为网络带来的额外负载压力，本身所具备的流量加密功能有效消除了安全审计工作自身所带来的安全隐患。

同时，Splunk的索引服务器及搜索服务器均可以使用分布式的部署方法，在大数据时代，这可以有效增加数据处理、结果展现的效率，也可以帮助减轻安全审计工作为系统及网络所带来的额外负载压力。

快速实施、适应变化随着十八大和两会等重大事件的安全加固与保障要求的频繁产生，由于Splunk的界面、报告都是基于索引功能及搜索语句所产生，非常容易定制，因此Splunk是几乎惟一可以在几个星期内完成快速落地的方式，其他产品即便能够满足暂时的需求，一旦遇到调整，又将重新陷入到混乱的ETL工作环节中。

Splunk提供灵活的搜索语句可以对各种特定的审核标准进行评分和报告，当面临安全审计规则的增加变化时，Splunk需要做的只是稍微修改一下相应的搜索语句，即可快速完成调整，以适应新的安全审计规范要求。而随着企业信息系统行业规范的日益增加，及跨行业活动的日益频繁，Splunk也可以通过灵活的搜索语句及跨行业的实施经验，帮助企业完成安全审计合规的快速实施，适应各种快速变化。

新型数据来源由于具有良好的可读和便于快速编写的特性，越来越多的配置文件或日志采用了XML及json等新型的数据来源格式进行编写，但它们非严格结构化的数据格式也为解析及审计工作带来了困难；Splunk能够支持复杂的XML和json等新型数据来源的自动识别对比，对于采用了这些新型数据来源的中间件及设备的安全配置条目

分析，传统的基于结构化数据库的日志分析工具根本无法胜任，Splunk几乎是惟一手段。

安全加固审计大数据的自动巡检方案设计

安全加固审计的范围 安全加固审计的范围包括操作系统、应用系统、数据库系统、网络设备等多种来源类型，而各种系统、设备有具备各自需要重点关注的安全审计条目，以下通过大致的分类来说明各项安全加固审计内容的关注重点：

操作系统：种类繁多的操作系统安全加固审计条目大体上可以分为系统服务、访问控制、策略检查、帐号安全、安全日志、补丁检查6个类型；

应用系统：应用系统种类更是多不胜数，包括Weblogic、Websphere、BIND、IIS 等常用的中间件系统，大体上可以把它们的安全加固审计条目分为安全策略、安全日志、补丁检查3个类型；

数据库系统：作为现今信息系统中不可或缺的服务组件，各大厂商所提供的数据库系统也是形态各异，有DB2、Oracle等商业数据库，也有Mysql等开源数据库，我们把数据库系统的安全加固审计条目大体上分为安全策略、帐号安全、授权安全、安全日志、补丁检查5个类型；