安恒数据库审计大数据解决方案

数据库审计大数据解决方案

安恒数据库审计大数据

解决方案

数据库审计大数据方案

摘要：数据库审计大数据方案是安恒数据库审计研发团队针对大型企业客户推出的一款依托大数据Hadoop 平台分析数据库审计数据的系统，也是行业内唯一一家利用大数据平台分析处理数据库审计数据，相比传统的解决方案审计大数据方案具有绝对的性能、灵活性、扩展性等众多领先优势，本方案主要解决审计数据保存周期短、索引慢、检索慢、报表无法导出、数据挖掘计算慢等问题。

诸如运营商、金融、证劵等行业大客户，单个客户数据库安全审计项目往往采购数十台审计，每台设备同时审计至少三四个核心数据库集群，单台审计设备每日审计数据量高达12亿条，月数据量高到360亿条，已远远超过业内单台设备支持最高存储处理10亿条记录的基本规格，按照客户正常审计分析需求，需要在一个月审计日志量的基础上根据某个或者某几个条件进行检索，检索时间高达1-3小时，这还是不考虑索引延时的情况下，如果在高峰流量情况下索引系统整体延时有时候高达上百个小时，检索所需时间就更没法控制，面对这种海量的数据按照客户要求传统的分布式部署解决方案在存储、索引、数据挖掘等方面存在明显的不足，虽然我们在大数据量处理方面积累多了非常丰富的经验，在存储、索引、数据挖掘做了很多方面的优化和改进，相比同行业有明显的数十倍的领先，但是从客户的角度仍存在明显不足，仍不能满足这些大客户安全审计正常使用的基本要求。

安恒数据库审计研发团队始终以“安于责任，恒与创新”的态度，一切以客户为中心，以客户的需求为出发点，在深入调研客户的需求基础上，经过大量技术方案讨论和大量严谨的方案预研及对比测试，最终采用各个处理模块分离分布式计算处理的大数据框架方案，数据库审计只完成流量采集和解析的基本功能，大数据hadoop 作为底层数据存储和索引单元，数据展示和挖掘分析采用独立的数据展示中心，整个设计方案采用分布式计算框架，以空间换时间，各个模块相对独立，耦合性大大降低，具体处理流程如下图所示：

数据库审计设备：仅仅只完成基本的流量采集和协议解析工作，

如果单台设备存在处理

数据库审计镜像流量D B 服务器Fl um e agent

H adoop 平台

瓶颈，只需扩充采集器便可解决流量采集和协议解析的性能瓶颈。

Hadoop平台：只需完成数据的存储和索引及对外的数据服务，如果大数据平台存储和索引存在性能瓶颈，只需增加大数据的计算节点，便可线性解决整个系统的性能瓶颈。

大数据分析中心：通过大数据平台提供的各种数据服务接口进行数据分析展示和异常行为挖掘。

整个系统架构非常灵活，各个子功能模块相对独立，模块之间只通过对应的API完成数据交互，尤其适用于大型企业客户方案设计和后期项目扩容，极大的降低的项目建设风险，降低企业投资成本，避免冗余建设，极大的提高数据库审计工作效率。

以上海某运营商客户为例，早期进行了两期的项目建设，三期项目建设的时候针对前期存在存储周期短、索引延时、检索慢、报表导出慢等问题，采用大数据解决方案后，部署了30个大数据节点，并对前期项目建设资源进行整合，全部迁移到大数据平台的处理节点，:

如下图所示

通过以上数据库审计大数据技术解决方案建设后，重点解决了客户以下四个问题：

1、审计数据量超长周期保存，不再受制于单台设备的存储要求，30个大数据节点，每

数据库审计大数据解决方案个节点48T存储资源，整体系统可以保留至少8000亿以上审计日志，审计保存周

期高达6个月以上。

2、索引实时建立，索引不再有任何延时，检索性能也得到近百倍的提升，100亿审计

数据检索时间仅需6-8秒。

3、审计分析报表生成速度明显提升，生成速度提升近200倍。

4、基于大数据平台超高的计算性能让数据挖掘分析成为可能，基于场景式的数据泄露

篡改分析等海量数据挖掘分析更加准确，准确性高达91%。

面对海量的安全审计数据，大数据解决方案更加彻底、灵活、全面的解决了之前传统方案遗留的众多安全审计问题，以审计促进运营商内部的管理，以审计促进数据库的安全，以审计促进敏感数据的保护，极大的降低了用户敏感数据泄露的可能，极大的提高了数据库整体的安全。