大数据态势感知-2020-04-17

TCP 8086 加密
文件服务器
邮件服务器
SMTP/POP HTTPS 畸形SYN包
① 三级等保合规，使用以安全著称的邮件应用，文件服务器不能上网，不会与邮件服务器通信； ② 邮箱服务器向境外发起可疑加密连接，触发告警； ③ 发现文件服务器和邮件服务器有TCP8086的机密通信， ④ 在每次邮件服务器向境外传输数据之前，有IP向邮件服务器发了一个畸形SYN包，通过行为建模回溯发现，两个月
隐蔽信道 传输
行为模型分析可以准确描述一类异常行为，相比特征匹配感知能力大大增强
22
行为模型配置 23
威胁情报，定义威胁的优先级
开源威胁情报
厂商报告，安全社区，whois
科来自有数据
黑IP、黑域名、黑MD5
24
第三方情报导入
STIX格式，机器可读，人可读
能力五、态势呈现 25
能力六、回溯分析
响应
防护
检测
1. 不再假设防护(Prevent)能实现万无一失 2. 应对绕过防护的威胁进行纵深检测（Detect） 3. 对检测到的威胁进行分析/取证，针对性的响
应（Respond） 4. 对未来攻击进行预测（Predict）
5. 到2020年，用户在检测和响应的投资将超过 60%
6
c 目录 ontent
异常行为可视：异常的访问路径，如主动外 联，非正常数据出口；异常流量组成，如外 发加密通信，异常TCP长连接等；
HTTP
HTTP HTTP Telnet/SSH
主动外联 DNS解析
TCP 50070 应用服务 TCP 50070 数据存储
应用服务
TCP 50010
数据存储
Kerberos
TCP 8005
② 感知业务能力：比如有哪些新上线的业务？主机开放了哪些端口和服务？这些服务被哪些用户访问？数据流 流向哪里？网络中的流量构成是怎样的等等。这就要求“态势感知”具备深厚的协议分析能力。只有在感知 用户业务场景的基础上，才能更好的区分出“正常行为”和“异常行为”。
③ 回溯分析能力：通过对网络流量数据的回溯分析，我们就能对我们的安全体系的有效性进行评估。比如了解 哪些攻击是入侵检测体系没有发现的，通过威胁情报曝出的威胁有哪些是真实的，是否曾经遭受过最近曝光 的新型攻击，损失如何……在此基础上有针对性调整防御，也进一步提升“态势感知”的能力。
业务安全管控的挑战 大数据态势感知方案详解
方案特色
35
平台特色
① 感知未知威胁能力：所谓“态势感知”，就不能仅仅感知安全防御手段能够发现的已知安全风险，比如入侵 检测系统的告警，更要能感知到能够绕过防御体系的未知威胁。再高级的攻击都会产生网络流量，与正常网 络访问所产生的流量是不一样。基于流量数据的安全分析成为发现未知威胁的基础。
③ 策略是否有效：如访问控制策略 是否生效？
① 响应处置：形成发现、分析、处 置的网络安全保障闭环体系；能 够基于安全事件分析结果，针对 性进行阻断。
② 逐步形成知识体系：随着平台的 使用，逐步建立形成并不断丰富 多种网络安全知识库 ，包括如关 键节点流量基因库，使用人员行 为画像库等；
34
c 目录 ontent
15
能力三：业务可视
资产自动识别：自动发现业务系统所属的 资产组件，自动发现新上线的主机，实现 对全网资产的有效识别 ；
访问关系可视：呈现业务系统的资产、组件
、终端之间访问关系；
用户
流量构成可视：呈现业务系统的资产、组件 、终端之间流量的协议组成，数据包构成以 及会话特征；并提供可视化关联分析；
运维人员
② 看见未知威胁：基于动态行为检 测技术、基于网络元数据建模、 基于全流量回溯分析；
③ 看清业务：自动发现、应用可视 、访问关系可视
④ 看透行为：全流量回溯分析，弥 补传统行为审计的不足
① 回溯取证：提供完整、多维的数 据，使安全人员能够对发现的各 类事件行为审计和回溯取证；
② 调查真凶：提供高效数据挖掘能 力，安全人员能够快速的查询和 关联分析，还原事件发生过程， 研判事件严重程度；
窃取 破坏
窃密
勒索
篡改
18
基于动态检测的沙箱分析 对抗未知恶意代码，勒索软件
1 文件还原
Biblioteka Baidu
2 静态执行
邮件附件
下载文件
FTP CIFS
已知病毒
3 沙箱执行
恶意样本
正常文件
4 威胁分析
恶意样本 分析报告
5 数据入库
大数据存储
19
基于动态检测的沙箱分析 对抗未知恶意代码，勒索软件
完全通讯载体覆盖
全栈分析系统与多文件类型 近百种可疑网络行为
攻击实施
数分钟
入侵得手
数百天
发现失陷
87% 超过
的攻击事件并非被攻击者自身发现，而是来自外部报告
2016年Verizon DBIR报告
3
FW、IDS、AV等的尴尬
特征匹配 未知威胁“无感”
告警太多 淹没真正风险
4
数据太少 事后无从查证
如何应对一下挑战
外部威胁
正在遭受哪些威胁？哪些威胁是我应该关注的？ 是否有AV和IDS没有发现未知威胁？ 担心有实现主机、窃密攻击和APT，如何抓住和分析网内的这些活动？ 为什么开启了图形验证码，封堵了相关IP，邮件还是被盗收？ ……
36
37
…
…
……
…
…
…
分支机构
补丁分发 漏洞扫 描
堡垒机 SOC 防病毒
网络管理区
14
…… …… ……
内网办公区
流量探针
安全沙箱 大数据 安全态势感知平台
能力二、大数据架构
Hadoop 分布式文件系统
PB级存储
Spark Streaming 实时计算框架 高速分析能力
ElasticSearch 搜索引擎
快速检索数据
被窃取2G数据，一个10次； ⑤ 利用邮件系统漏洞，疑似后门； ⑥ 关闭邮箱服务器443端口，文件服务器做访问控制策略等
13
纵深检测+集中分析
数据中心区
传统 数据中心
DMZ
…… 网站 Mail DNS
私有云
云管理平台
三方业务 VPN
互联网接入区
FW
IPS
LB
FW
IPS
LB
云端
威胁情报
在线专家
……
…
① 对已感知的威胁进行关联分析 、扩线，还原事件真相；
② 对数据安全和业务风险进行主 动检查，发现未感知的威胁；
③ 对安全保障体系进行安全有效 性检查；
回溯分析 WEB操作界面
流量分析引擎
分析引擎
行为模型分析引擎
主机流量分析引擎
威胁情报匹配引擎
数据包分析引擎
告警归集引擎
可视化关联分析引擎
文件样本沙箱分析引擎
针对性响应
亡羊补牢 提取威胁的特征 添加到威胁分析系统内部 采取针对性防御措施 知识体系积累、动态防御
11
不是买几台安全设备就安全了
安全有效性检查
哪些威胁我的IDS没有发现？ 针对服务器的安全策略是否得到落实？
威胁情报为什么没有生效？ ……
网络元数据
L4元数据
源IP、源端口、源IP国家、目的IP、目的端口、 目的IP国家、协议、数据包个数、会话开始时间 、会话结束时间、会话持续时间等十五元数据…
大数据全量检索引擎
全量数据碰撞分析引擎
底层技术平台
26
大数据存储
全流量
元数据
安全事 件
安全事 件
文件样 本
威胁情 报
IP库
业务信 息
……
大屏展示
监控大屏幕 WEB访问界面
第三方接口
告警归集
3000条告警
10个事件
27
基于场景感知
同源、同目的、同手法等
优先处置高危风险
重点资产的高危攻击、威胁情报匹配
20
基于动态检测的沙箱分析 对抗未知恶意代码，勒索软件
攻击突破 通信控制 窃取破坏
21
基于网络元数据的行为建模
内部IP地址 邮箱服务器
外部IP地址 境外
TCP传输时 间＞1小时
传输数据量 ＞5MB
发送数据 ＞接收数据
可疑窃密 传输
https 无效证书
域名多个IP 解析
接收数据单 包<128字节
境外域名
31
能力七、响应处置
响应方式
科来自有设备进行阻断 一键输出标准化处置策略
对接安全防御设备 ……
32
其他功能
系统管理 用户管理 角色管理 权限管理 安全审计 配置管理 数据字典
运维监控 全局监控 前端状态 运维告警
组织管理 监控单位管理 前端设备管理
33
方案效果
看见一切
知道更多
响应有力
① 看见已知威胁：基于网络元数据 建模技术
The First Research Institute of the Ministry of Public Security of P.R.C
看见一切，知道更多，响应有力
大数据安全态势感知平台解决方案
1
c 目录 ontent
业务安全管控的挑战 大数据态势感知方案详解
方案特色
2
迟钝的安全感知能力
内部威胁
主机提供了哪些端口和服务？数据流流向哪里？被哪些终端访问？
对于高价值的资产，如何确认安全控制措施工作正常部署到位？比如访问控制策略是否生效
？
是否有越权访问？如果第三方运维人员绕过堡垒机直接访问是否能发现？
网络审计是否能够完整记录所有操作行为？
……
5
Gartner提出的“自适应”安全框架 预测
威胁感知
态势呈现
回溯分析
响应处置
9
能力一、原始流量采集
再高级的攻击也会产生网络流量，与正常网络 访问所产生的流量是不一样。基于流量数据的
安全分析成为发现未知威胁的基础
10
采集网络原始流量的价值
好比网络中的
高清摄像头
一旦坏人露头，所有行为和轨迹都被持 续监控和记录，最终可以追溯到源头，
弥补传统审计手段不足
TCP 8086 非正常时间 数据采集
TCP 8005
应用服务 TCP 50010 数据存储
数据存储
16
可视的基础上进行关联分析，发现异常 17
能力四、基于攻击链的威胁感知，实现纵深检测
侦查
工具 制作
投送
攻击 渗透
安装 工具
漏洞扫描
钓鱼邮件 SQL注入
提权
恶意软件 安装
横向移动
设置后门
控制
C&C
可视化关联分析 28
全流量数据包分析 29
全流量分析要求具备强大网络回溯取证能力
Tb级
实时流量采集
PB级+
存储能力
秒级
回溯能力
安全威胁往往藏在正常的流量通讯里面 只要是网络攻击，就一定会产生网络流量数据
30
全量数据离线碰撞分析
选择数据库
所见即所得的关联分析配置 自定义碰撞顺序
单个匹配策略配置
L7元数据
如HTTP协议，66个关键字段，包括user-agent 、cookie、host、refer等；如15种DNS协议字 段、SMTP/POP3协议字段…
结构化数据 大数据可分析
保留信息多 性价比高
可建模描述 复杂行为
科来提取了200+元数据，内置多场景，多类型的行为模型，支持自定义
12
案例：某国家部委单位窃密事件
业务安全管控的挑战 大数据态势感知方案详解
方案特色
7
安全态势感知平台建设目标
看见一切
看见已知威胁 看见未知威胁 看清业务与安全的关系
知道更多
“知其所以然” 威胁优先级如何？ 安全有效性如何？
8
响应有力
回溯历史，调查真凶 针对性处置 知识积累
大数据态势感知平台的七大能力
原始流量采集
大数据架构
业务可视