新一代大数据安全分析解决方案(优秀方案集)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ቤተ መጻሕፍቲ ባይዱ
关联分析（例）
安全事件：位于北京机房的审批门户网站服务器(10.0.0.1)从2016-07-27 21:58:20开始频繁访问上海市联通
的恶意ip地址(140.207.217.32)，该行为经鉴定是由于服务器被植入远程木马程序导致，该软件可以进行屏幕捕 捉、视频监控、获取操作文件、获取键盘记录、获取剪贴板内容、模拟MSDOS命令等诸多违规操作，根据安全应
• 服务器接收时间 • 地理位置信息 • 资产漏洞信息 • 资产分类信息
12
A A A
日志传输
• 批量传输 • 日志压缩 • 日志加密 • 日志缓存
外部威胁情报整合
• 恶意域名. • 恶意IP. • 恶意URL. • Whois信息. • 木马病毒特征码. • 文件hash值. • 元素之间关联关系.
Netflow、API接口、数据库 • 用户自定义字段
接口、FTP、HDFS、KAFKA、 • 时间字段侦测
端口镜像、Netflow等；
• 时间同步
•网络设备、安全设备、应用
系统、中间件、主机、数据
库等；
数据源事件 类别标签
信息增强
• 数据源接收时间 • 事件起始／结束时间 • 事件类别 • 事件对应主机 • 事件对应人员
13
步骤二：安全分析威胁建模
数据
日志
NetFlo w
全流量
威胁 情报 资产 信息
14
安全事件
网络 攻击
木马 病毒
漏洞 利用
非法 访问
……
实时数据检测
安全规则库 关联分析引擎
历史数据分析
交互 分析
全文检索 可视化分析
智能分析
数据建模
UBA
机器学习 资产画像
图计算
异常行为分析
安全告警
高 数据 级 泄露
海量数据的收集、分析与展现
通过
利用
发现和应对新型安全威胁。
帮助
从而
大数据安全分析平台
提升企业信息安全防御能力
9
瀚思大数据安全分析系统
数据源
安全设备
大数据安全分析
网络设备 应用系统
流量分析
用户行为分析
威胁情报中心
终端
认证系统 主机 / VM
关联分析
机器学习 数据建模
数据库
网络流量 资产信息
大数据安全分析基础平台
• 可以根据任意关键词(支持“与” 和“或”，支持使用 =、 >、 < 等关系运算符) 进行日志数据检索.
• 任意字段值可以进行排序统计分 析.
17
交互式分析－可视化分析
• 流量弦图分析. • 事件河流图分析. • 偏离分析图. • 数据透视图分析. • 关联分析图分析.
18
交互式分析－智能分析
4
我们的优势：大数据＋信息安全＋机器学习
5年Hadoop / Spark 经验，Hortonworks 首家认证技术合作伙 伴。
5
10年核心安全经验， 多项中美安全专利， 包括反钓鱼、脚本分 析、沙箱、日志降噪 等。
坚信机器学习会在安 全领域大放异彩。机 器学习团队曾在美国 与FireEye直面竞争并 获胜。
• 支持对一个或多个数据源进行灵 活的可视化的图表分析.
• 支持对任意字段值进行最多最少 排序.
• 可根据任意字段值进行多条件组 合数据过滤.
• 可查看原始日志.
19
UBA用户异常行为分析
• 异常事件行为序列化. • 以部门、个人、资产等为单位建
立行为基线. • 关联用户与资产的行为. • 用机器学习算法或者预定义规则
急响应预案该风险等级为“高”，需要立即做下线处理。
原始数据：GenTime="2016-07-27 21:58:20" src:10.0.0.1 drc:140.207.217.32 attack-name”后门木马
网络红娘连接” …
内部基础信息
10.0.0.1：审批门户网 站，北京机房，张三， 2014年上线，等保三
新一代大数据安全分析系统
数据驱动安全 Data Driven Security
目录
2
公司介绍
3
用大数据分析解决信息安全问题
• HanSight是首家将大数据分析与信息安全相结 合的团队，投资人包括A股上市公司恒宝股份、 南京高科和知名VC赛伯乐。
• 我们专注于下一代信息安全，包括： ✓ 海量安全数据收集与分析（日志、安全事 件、网络流量 、安全情报）； ✓ 将机器学习、算法大规模应用于安全分析； ✓ 兼顾传统私有部署与云部署。
10
安全智能
安全态势感知 持续监控与快速响应 外部攻击与高级威胁 内部违规与异常行为
系统架构
11
步骤一：基础数据资源采集
/Host/Application/Service
A
/Access
/Failure
/Firewall
/Informational
数据源对接
数据解析
•SNMP、SYSLOG、Agent、 • 字段识别
找出严重偏离基线的异常行为.
20
UBA－盗取内部数据
• 建立特定用户的画像，包括他的合 法行为白名单和行为基线.
• 用户行为分析引擎侦测用户的异常 行为，例如异常时间、从可疑位置 登录，或是访问和平时完全不同的 数据或数据量，或是把数据上传至 公司外部的可疑地址.
• 提供可疑用户最近的所有行为给安 全管理员进行进一步的详细调查.
中 病毒 级 爆发
低 登陆 级 异常
溯源分析 威胁场景还原
处理措施
实时检测－关联分析
• 基于Spark Streaming技术实现的 强大的CEP引擎，对系统采集的实 时数据流进行关联分析.
• 关联的模式包括统计关联、资产 关联、情报关联、模式关联、漏 洞关联、策略关联等.
• 内置安全关联规则.
15
级，…
外部威胁情报
140.207.217.32:联通,上海市，恶意IP -------------------------------
网络红娘：远程木马，该软件可以进行屏 幕捕捉、视频监控、获取操作文件、获取
键盘记录、获取剪贴板内容、模拟 MSDOS命令等诸多违规操作，…
16
交互式分析－全文检索
• 支持通过模糊匹配的方式对已存 储的海量事件进行全文检索.
6
传统安全面临的问题
7
整体网络安全态势无法感知 海量数据无法有效处理分析 异常行为和未知威胁无法发现 安全管理缺失统一的抓手
8
方案解决思路
瀚思大数据安全分析系统 (HanSightEnterprise)，是一款基于大 数据、机器学习、模式识别等技术的 企业级智能安全分析平台，通过收集 企业内部各个关键系统产生的业务数 据，通过集中存储、快速检索、实时 分析及告警、威胁响应、可视化展现 和安全报告等功能。
关联分析（例）
安全事件：位于北京机房的审批门户网站服务器(10.0.0.1)从2016-07-27 21:58:20开始频繁访问上海市联通
的恶意ip地址(140.207.217.32)，该行为经鉴定是由于服务器被植入远程木马程序导致，该软件可以进行屏幕捕 捉、视频监控、获取操作文件、获取键盘记录、获取剪贴板内容、模拟MSDOS命令等诸多违规操作，根据安全应
• 服务器接收时间 • 地理位置信息 • 资产漏洞信息 • 资产分类信息
12
A A A
日志传输
• 批量传输 • 日志压缩 • 日志加密 • 日志缓存
外部威胁情报整合
• 恶意域名. • 恶意IP. • 恶意URL. • Whois信息. • 木马病毒特征码. • 文件hash值. • 元素之间关联关系.
Netflow、API接口、数据库 • 用户自定义字段
接口、FTP、HDFS、KAFKA、 • 时间字段侦测
端口镜像、Netflow等；
• 时间同步
•网络设备、安全设备、应用
系统、中间件、主机、数据
库等；
数据源事件 类别标签
信息增强
• 数据源接收时间 • 事件起始／结束时间 • 事件类别 • 事件对应主机 • 事件对应人员
13
步骤二：安全分析威胁建模
数据
日志
NetFlo w
全流量
威胁 情报 资产 信息
14
安全事件
网络 攻击
木马 病毒
漏洞 利用
非法 访问
……
实时数据检测
安全规则库 关联分析引擎
历史数据分析
交互 分析
全文检索 可视化分析
智能分析
数据建模
UBA
机器学习 资产画像
图计算
异常行为分析
安全告警
高 数据 级 泄露
海量数据的收集、分析与展现
通过
利用
发现和应对新型安全威胁。
帮助
从而
大数据安全分析平台
提升企业信息安全防御能力
9
瀚思大数据安全分析系统
数据源
安全设备
大数据安全分析
网络设备 应用系统
流量分析
用户行为分析
威胁情报中心
终端
认证系统 主机 / VM
关联分析
机器学习 数据建模
数据库
网络流量 资产信息
大数据安全分析基础平台
• 可以根据任意关键词(支持“与” 和“或”，支持使用 =、 >、 < 等关系运算符) 进行日志数据检索.
• 任意字段值可以进行排序统计分 析.
17
交互式分析－可视化分析
• 流量弦图分析. • 事件河流图分析. • 偏离分析图. • 数据透视图分析. • 关联分析图分析.
18
交互式分析－智能分析
4
我们的优势：大数据＋信息安全＋机器学习
5年Hadoop / Spark 经验，Hortonworks 首家认证技术合作伙 伴。
5
10年核心安全经验， 多项中美安全专利， 包括反钓鱼、脚本分 析、沙箱、日志降噪 等。
坚信机器学习会在安 全领域大放异彩。机 器学习团队曾在美国 与FireEye直面竞争并 获胜。
• 支持对一个或多个数据源进行灵 活的可视化的图表分析.
• 支持对任意字段值进行最多最少 排序.
• 可根据任意字段值进行多条件组 合数据过滤.
• 可查看原始日志.
19
UBA用户异常行为分析
• 异常事件行为序列化. • 以部门、个人、资产等为单位建
立行为基线. • 关联用户与资产的行为. • 用机器学习算法或者预定义规则
急响应预案该风险等级为“高”，需要立即做下线处理。
原始数据：GenTime="2016-07-27 21:58:20" src:10.0.0.1 drc:140.207.217.32 attack-name”后门木马
网络红娘连接” …
内部基础信息
10.0.0.1：审批门户网 站，北京机房，张三， 2014年上线，等保三
新一代大数据安全分析系统
数据驱动安全 Data Driven Security
目录
2
公司介绍
3
用大数据分析解决信息安全问题
• HanSight是首家将大数据分析与信息安全相结 合的团队，投资人包括A股上市公司恒宝股份、 南京高科和知名VC赛伯乐。
• 我们专注于下一代信息安全，包括： ✓ 海量安全数据收集与分析（日志、安全事 件、网络流量 、安全情报）； ✓ 将机器学习、算法大规模应用于安全分析； ✓ 兼顾传统私有部署与云部署。
10
安全智能
安全态势感知 持续监控与快速响应 外部攻击与高级威胁 内部违规与异常行为
系统架构
11
步骤一：基础数据资源采集
/Host/Application/Service
A
/Access
/Failure
/Firewall
/Informational
数据源对接
数据解析
•SNMP、SYSLOG、Agent、 • 字段识别
找出严重偏离基线的异常行为.
20
UBA－盗取内部数据
• 建立特定用户的画像，包括他的合 法行为白名单和行为基线.
• 用户行为分析引擎侦测用户的异常 行为，例如异常时间、从可疑位置 登录，或是访问和平时完全不同的 数据或数据量，或是把数据上传至 公司外部的可疑地址.
• 提供可疑用户最近的所有行为给安 全管理员进行进一步的详细调查.
中 病毒 级 爆发
低 登陆 级 异常
溯源分析 威胁场景还原
处理措施
实时检测－关联分析
• 基于Spark Streaming技术实现的 强大的CEP引擎，对系统采集的实 时数据流进行关联分析.
• 关联的模式包括统计关联、资产 关联、情报关联、模式关联、漏 洞关联、策略关联等.
• 内置安全关联规则.
15
级，…
外部威胁情报
140.207.217.32:联通,上海市，恶意IP -------------------------------
网络红娘：远程木马，该软件可以进行屏 幕捕捉、视频监控、获取操作文件、获取
键盘记录、获取剪贴板内容、模拟 MSDOS命令等诸多违规操作，…
16
交互式分析－全文检索
• 支持通过模糊匹配的方式对已存 储的海量事件进行全文检索.
6
传统安全面临的问题
7
整体网络安全态势无法感知 海量数据无法有效处理分析 异常行为和未知威胁无法发现 安全管理缺失统一的抓手
8
方案解决思路
瀚思大数据安全分析系统 (HanSightEnterprise)，是一款基于大 数据、机器学习、模式识别等技术的 企业级智能安全分析平台，通过收集 企业内部各个关键系统产生的业务数 据，通过集中存储、快速检索、实时 分析及告警、威胁响应、可视化展现 和安全报告等功能。