异常流量检测要点教学提纲
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
异常行为特征汇聚了: 源IP集合，目标IP集合、源端口集合、 目标端口集合、应用协议、TCP Flag 基于异常行为特征过于异常明细会话信 息
从异常行为特征中得到 异常开始时间 (检测时间与异常开始实际时间误差
特征扫描: 毫秒级
统计分析session行为: 5 - 10秒 基准线检测: 5 - 10分钟
整合第三方清洗设备接口 思科Guard 华为清洗设备Eudmemon 其他防火墙、IDS/IPS等
与发流源网络设备互动
基于ACL、QoS等技术实现结合异常行为 攻击拓扑，在最有效点部署控制策略 及规则,实现正常流与异常流的分离及控制
IP
IP DoS/DDoS
通目 过标 限 速固 、定 阻类 断异 等常 手， 段如 控 制
段意 源 控扫 制描 固
等定 通类 过异 限常 速， 、如 阻蠕 断虫 等、 手恶
制基 准 线 类 异 常 通 过 限 速 方 式 控
基于DFI技术、DPI技术的安全及异常监测对比
与传统的基于数据包检测技术的异常检测(如: IDS/IPS)等对比而言，基于流的DFI检测异常行为技术，可以实现全 网范围内的异常检测，比较适合于运营商、大型网络的内网安全检测。
异常流量检测要点
DFI技术监测网络异常行为技术实现原理
异常行为监测流程
模板特征库
DarkIP, IP : SQL Slammer
DoS/DDoS :Smurf
特
特
自
征
征
定
蠕
义
虫 如
私 有
异 常 行
如
， 协 议
为 检 测
异
等
等
常 等
DoS/DDoS
异常(是)
异常(是)
及 未 知
行 为 如 行 为
等
:TCP Flodd
WORM
的
蠕
虫
行 为
行 为
，
包
括
模
板
库
中
未
扫恶 描意
扫 描 行 为 ， 包 括 网 络 扫 描 及 主 机
基于目标IP的session 缓存统计(5秒Buffer)
基于源IP的session 缓存统计(5秒Buffer)
基于源IP + 目标端口的 session缓存统计 (5秒Buffer)
DFI技术监测网络异常-异常行为跟踪
基于行为特征,行为明细数据记录 粗粒度: 直接记录异常流会话数据
细粒度: 结合xSensor协议分析仪或第三方 DPI设备详细记录异常流过程数据包内容
否
根据实时异常行为的结束 时间判断是否结束异常明细
是 记录结束
数据记录
DFI技术监测网络异常-异常行Biblioteka Baidu控制
异常行为特征汇聚了: 源IP集合，目标IP集合、源端口集合、 目标端口集合、应用协议、TCP Flag 产生控制策略
基于DFI技术、DPI技术的安全及异常监测对比
传统的入侵检测方法分为两种：基于误用检测（misused-based）方法和基于异常检测。 (1) 基于误用检测方法需要攻击样本，通过描述每一种攻击的特殊模式来检测。该方法的查准率很高，并且可提供
详细的攻击类型和说明，是目前入侵检测商业产品中使用的主要方法。然而经过长时间的研究和应用，该方法 也暴露出一定的弱点，由于基于特征的入侵检测系统是依靠人为的预先设定报警规则来实现，所以在面对不断 变化的网络攻击时有其本身固有的缺陷，比如，利用这种方法时需要维护一个昂贵的攻击模式库、只能检测 已知的攻击等。另一方面，攻击者可以通过修改自己的攻击特征模式来隐藏自己的行为，而且有些攻击方法 根本没有特定的攻击模式。
DoS/DDoS
中未
未知
WORM
定
义
的
蠕 虫 行 为
行 为 ， 包
括
模
板
库
及恶 主意 机扫 扫描 描行
为 ， 包 括 网 络 扫 描
DFI包头特征检测
(Pattern Signature) 特征扫描
流数据
异常(否)
DFI Session行为 检测(基于统计分析)
异常(否)
流量、数据包、session 异常(否) 基准线检测
这两类技术在技术层面上是互相补充和互动的关系，他们之间的互补能更好地解决用户网络安全检测问题。
但是由于技术实现手段及原理的不同，现在针对DFI和DPI技术实现异常行为检测的不同点，概述如下: (1) DFI由于采用流数据技术的行为检测，很容易实现全网范围，尤其是内网范围的网络异常行为检测，DPI技术
主要基于数据包捕获技术进行解析数据包分析，这样在全网内部部署代价非常昂贵，且容易造成网络单点故障 的可能性。
(2) DPI技术采用基于会话的保存状态信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制,并且网络 结构的调整对其检测和部署影响非常大，而DFI技术基于流数据并且基于流量特征向量的检测，网络结构及环 境的调整对其影响不大
流数据
动态加载已知及用户定义 异常特征库
动态并行Bloom匹配算法
流数据解析得到数据包头 信息，快速匹配异常特征 库
未匹配到异常
匹配到异常
DarkIP, IP : SQL Slammer
DoS/DDoS :Smurf
特
特
征
征
蠕
虫
如
如
等
等
其他类型检测
自
定
义
私 有
异 常 行
， 协 议
为 检 测
异
常
等
DFI技术监测网络异常-网络行为统计分析
此类检测的特点是可以在全网范围内检测异常行为，主要是session异常，网络中发生的异常大多属于session级异常这类session级异 常是基于三类特征，即固定目标IP如DoS/DDoS, 固定源IP如恶意扫描， 固定源IP + 固定目标端口如蠕虫病毒，它是基准线session异 常的补充，因为基准线session异常在运营商及大型网络中很难发现，比如，用户骨干网上的一条40 Gbps链路中产生session的速率为: 10,000 sessions/second, 发生一个异常行为DoS/DDoS, session速率增加: 1000 sessions/second,这样的情况，基准线一般检测不到 (session速率的变化率为: 1%), 基于三类行为特征的检测可以检测这类异常，它是弥补基准线粗粒度检测的不足, 同时这种检测可以检 测网络中的未知DoS/DDoS, 未知蠕虫等。其检测逻辑如下:
异常(是) 基准线异常
正常流
异常行为特征汇聚及异常行为控制 异常明细数据记录(细化到会话数据),可以联动xSensor协议分析仪
DFI技术监测网络异常行为-流包头扫描特征
此类检测的特点是逐流检测，计算量小，检测响应时间快，缺点是必须是已知异常行为: 如已知异常DoS/DDoS, 已知蠕虫病毒，其检测逻辑如下:
流数据
边界范围外
网络边界定义 (内网范围), 基于内网边界 过滤流数据
从属边界 基于TCP Flag过滤可疑 流数据
其他检测
基于缓存数据检测session 速率是否达到探测器阈值
达到阈值
阈值验证
可疑流
DoS/DDoS DoS/DDoS
异常特征 学习
知 行
行为 为如
等 及 未
:TCP Flodd
定未
义知
从异常行为特征中得到 异常开始时间 (检测时间与异常开始实际时间误差
特征扫描: 毫秒级
统计分析session行为: 5 - 10秒 基准线检测: 5 - 10分钟
整合第三方清洗设备接口 思科Guard 华为清洗设备Eudmemon 其他防火墙、IDS/IPS等
与发流源网络设备互动
基于ACL、QoS等技术实现结合异常行为 攻击拓扑，在最有效点部署控制策略 及规则,实现正常流与异常流的分离及控制
IP
IP DoS/DDoS
通目 过标 限 速固 、定 阻类 断异 等常 手， 段如 控 制
段意 源 控扫 制描 固
等定 通类 过异 限常 速， 、如 阻蠕 断虫 等、 手恶
制基 准 线 类 异 常 通 过 限 速 方 式 控
基于DFI技术、DPI技术的安全及异常监测对比
与传统的基于数据包检测技术的异常检测(如: IDS/IPS)等对比而言，基于流的DFI检测异常行为技术，可以实现全 网范围内的异常检测，比较适合于运营商、大型网络的内网安全检测。
异常流量检测要点
DFI技术监测网络异常行为技术实现原理
异常行为监测流程
模板特征库
DarkIP, IP : SQL Slammer
DoS/DDoS :Smurf
特
特
自
征
征
定
蠕
义
虫 如
私 有
异 常 行
如
， 协 议
为 检 测
异
等
等
常 等
DoS/DDoS
异常(是)
异常(是)
及 未 知
行 为 如 行 为
等
:TCP Flodd
WORM
的
蠕
虫
行 为
行 为
，
包
括
模
板
库
中
未
扫恶 描意
扫 描 行 为 ， 包 括 网 络 扫 描 及 主 机
基于目标IP的session 缓存统计(5秒Buffer)
基于源IP的session 缓存统计(5秒Buffer)
基于源IP + 目标端口的 session缓存统计 (5秒Buffer)
DFI技术监测网络异常-异常行为跟踪
基于行为特征,行为明细数据记录 粗粒度: 直接记录异常流会话数据
细粒度: 结合xSensor协议分析仪或第三方 DPI设备详细记录异常流过程数据包内容
否
根据实时异常行为的结束 时间判断是否结束异常明细
是 记录结束
数据记录
DFI技术监测网络异常-异常行Biblioteka Baidu控制
异常行为特征汇聚了: 源IP集合，目标IP集合、源端口集合、 目标端口集合、应用协议、TCP Flag 产生控制策略
基于DFI技术、DPI技术的安全及异常监测对比
传统的入侵检测方法分为两种：基于误用检测（misused-based）方法和基于异常检测。 (1) 基于误用检测方法需要攻击样本，通过描述每一种攻击的特殊模式来检测。该方法的查准率很高，并且可提供
详细的攻击类型和说明，是目前入侵检测商业产品中使用的主要方法。然而经过长时间的研究和应用，该方法 也暴露出一定的弱点，由于基于特征的入侵检测系统是依靠人为的预先设定报警规则来实现，所以在面对不断 变化的网络攻击时有其本身固有的缺陷，比如，利用这种方法时需要维护一个昂贵的攻击模式库、只能检测 已知的攻击等。另一方面，攻击者可以通过修改自己的攻击特征模式来隐藏自己的行为，而且有些攻击方法 根本没有特定的攻击模式。
DoS/DDoS
中未
未知
WORM
定
义
的
蠕 虫 行 为
行 为 ， 包
括
模
板
库
及恶 主意 机扫 扫描 描行
为 ， 包 括 网 络 扫 描
DFI包头特征检测
(Pattern Signature) 特征扫描
流数据
异常(否)
DFI Session行为 检测(基于统计分析)
异常(否)
流量、数据包、session 异常(否) 基准线检测
这两类技术在技术层面上是互相补充和互动的关系，他们之间的互补能更好地解决用户网络安全检测问题。
但是由于技术实现手段及原理的不同，现在针对DFI和DPI技术实现异常行为检测的不同点，概述如下: (1) DFI由于采用流数据技术的行为检测，很容易实现全网范围，尤其是内网范围的网络异常行为检测，DPI技术
主要基于数据包捕获技术进行解析数据包分析，这样在全网内部部署代价非常昂贵，且容易造成网络单点故障 的可能性。
(2) DPI技术采用基于会话的保存状态信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制,并且网络 结构的调整对其检测和部署影响非常大，而DFI技术基于流数据并且基于流量特征向量的检测，网络结构及环 境的调整对其影响不大
流数据
动态加载已知及用户定义 异常特征库
动态并行Bloom匹配算法
流数据解析得到数据包头 信息，快速匹配异常特征 库
未匹配到异常
匹配到异常
DarkIP, IP : SQL Slammer
DoS/DDoS :Smurf
特
特
征
征
蠕
虫
如
如
等
等
其他类型检测
自
定
义
私 有
异 常 行
， 协 议
为 检 测
异
常
等
DFI技术监测网络异常-网络行为统计分析
此类检测的特点是可以在全网范围内检测异常行为，主要是session异常，网络中发生的异常大多属于session级异常这类session级异 常是基于三类特征，即固定目标IP如DoS/DDoS, 固定源IP如恶意扫描， 固定源IP + 固定目标端口如蠕虫病毒，它是基准线session异 常的补充，因为基准线session异常在运营商及大型网络中很难发现，比如，用户骨干网上的一条40 Gbps链路中产生session的速率为: 10,000 sessions/second, 发生一个异常行为DoS/DDoS, session速率增加: 1000 sessions/second,这样的情况，基准线一般检测不到 (session速率的变化率为: 1%), 基于三类行为特征的检测可以检测这类异常，它是弥补基准线粗粒度检测的不足, 同时这种检测可以检 测网络中的未知DoS/DDoS, 未知蠕虫等。其检测逻辑如下:
异常(是) 基准线异常
正常流
异常行为特征汇聚及异常行为控制 异常明细数据记录(细化到会话数据),可以联动xSensor协议分析仪
DFI技术监测网络异常行为-流包头扫描特征
此类检测的特点是逐流检测，计算量小，检测响应时间快，缺点是必须是已知异常行为: 如已知异常DoS/DDoS, 已知蠕虫病毒，其检测逻辑如下:
流数据
边界范围外
网络边界定义 (内网范围), 基于内网边界 过滤流数据
从属边界 基于TCP Flag过滤可疑 流数据
其他检测
基于缓存数据检测session 速率是否达到探测器阈值
达到阈值
阈值验证
可疑流
DoS/DDoS DoS/DDoS
异常特征 学习
知 行
行为 为如
等 及 未
:TCP Flodd
定未
义知