大数据安全运维一体化整体解决方案

大数据安全运维一体化整体解决方案
• 适合安全分析的无监督学习为主
• 有人工辅助的半监督学习
无监督异常分析 － 人工确定异常 － 产生标记样本 － 半监督学习
14
性能基准
• 入库： > 30000EPS
•
大数据安全运维一体化整体解决方案
实测单独入库最高可接近20000EPS，为保证查询性能，以当前配置可使其较稳定运行
测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。 本系统采用旁路快速检测方式，是对现有安全运维体系的有效补充，亦可看做下一代的安全信息及事件管理系统和运 维分析平台，并可逐步替代现有分析系统。
5
技术架构
大数据安全运维一体化整体解决方案
6
大数据安全运维一体化整体解决方案
统计分析：
20
历史数据分析-异常行为分析
UEBA：用户／实体异常行为分析：
• • • 以部门、个人、资产、资产群等为单位建立行为基线； 关联用户与资产的行为； 用机器学习算法或者预定义规则找出严重偏离基线的异常行为；
大数据安全运维一体化整体解决方案
采用技术：机器学习／基线分析／图分析：
•
• •
采用无监督机器学习算法；
……
17
威胁情报
办公网环境 隔离网环境
大数据安全运维一体化整体解决方案
安全威胁情更新工具 安全威胁情报公有云
结果返回 API调用
数据摆渡
安全威胁情报模块
结果返回 威胁检测请求
安全威胁情报私有云
结果返回
威胁检测请求
大数据安全管理平台
18
大数据安全管理平台
实时数据分析-关联分析
的实时数据流进行关联分析。
9
数据采集方案——日志
大数据安全运维一体化整体解决方案
网络设备 安全设备
Syslog/SNMP
日志采集模块
安装Agent
主机操作系统
中间件 应用系统
FTP/Kafka/HDFS
数据库JDBC 数据库
10
数据采集方案——网络流量
Hansight NC
大数据安全运维一体化整体解决方案
NC旁路连接并采集用户端镜像网络数据：
1、源IP，目标IP 2、协议类型、端口号 3、TCP会话状态信息（建链、拆链、重传等） 4、报文尺寸与数量 5、组包和解包 6、报文内容解析
各节点
……
核心交换机 出口路由器
Internet
Hansight NC
பைடு நூலகம்
大数据安全分析平台
11
HanSight安全运维分析一体化系统的微服务构架
大数据安全运维一体化整体解决方案
8
数据采集范围
大数据安全运维一体化整体解决方案
日志
内部 数据
网络／安全设备、主机操作系统、数据库、中间件、应用系统；
网络 流量
抽样网络流量：NetFlow信息； 全流量数据： 网络全流量数据包；
外部 数据
威胁 情报
恶意域名和URL、恶意IP地址、DNS信息、木马病毒信息 （MD5/SHA-1）等；
大数据安全运维一体化整体解决方案
安全告警
高 级 数据 泄露
溯源分析
NetFlow
木马 病毒 交互 分析
历史数据分析
全文检索 可视化分析 统计分析
威胁场景还原
全流量
漏洞 利用
中 级
病毒 爆发
战损分析
威胁 情报
非法 访问
数据建模
资产 信息
异常 行为 分析
机器学习 行为基线 图分析
低 级
登陆 异常
处理措施
系统基础平台
资产管理
下信息：
大数据安全运维一体化整体解决方案
安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包括以 • 基础信息：资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等； • 安全属性：可用性、完整性和保密性以及资产价值； • 弱点属性：资产漏洞信息、安全配置信息等；
3 3
大数据安全运维一体化整体解决方案
系统技术架构
大数据安全运维一体化分析系统
大数据安全运维一体化整体解决方案
大数据安全运维一体化分析系统，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平台，
它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现和报告等功能。为企业安全事件及异常行为检
计算结果易于可视化，便于理解； 覆盖整个一片安全事件，不是孤立的点；
21
机器学习
析，如僵尸网络、低速扫描、恶意URL分析等 历史数据 标准化事件 建模器
大数据安全运维一体化整体解决方案
机器学习：大数据管理平台可建立特定的网络威胁分析模型，定时的对网络中的APT攻击进行检测分
大数据安全运维一体化整体解决方案
实时关联分析：大数据安全管理平台通过基于Spark Streaming技术实现的强大的CEP引擎，对系统采集 关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等；
19
历史数据分析-交互分析
全文检索： 可视化分析：
大数据安全运维一体化整体解决方案
12
HanSight安全运维分析系统的优势
大数据安全运维一体化整体解决方案
• •
基于特征库／规则的应对场景比例变小，机器学习辅助成为必须 以数据驱动安全，实现：

数据全方位可见 实时安全数据 算法分析加人工辅助


适合企业的安全运维一体化策略
强大的底层存储分析架构和逻辑引擎
13
算法分析流程
大数据安全运维一体化解决方案
数据驱动安全
项目背景
大数据安全运维一体化整体解决方案
关于
随着IT业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备 数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的 任务，其中首先要实施的是： 安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判 断，以及分析建模。
•
查询
• • 简单查询一天数据（~3亿条）： < 1s 简单查询七天数据（~25亿条）：< 10s
•
采集器性能
• 单个采集器读取文件：~20000EPS （多文件可并行处理）
15
大数据安全运维一体化整体解决方案
安全分析
大数据安全分析
数据 安全事件 实时数据检测
安全规则库 日志 网络 攻击 关联分析引擎
应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。
监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规 则引擎），并能做对应分析计算（如监控基线）。
2 2
大数据安全运维一体化整体解决方案
目录 Table of Contents
一．系统技术架构 二．系统基础平台 三．安全分析 四．运维分析 五．应用分析 六．成功案例