基于动态基线的业务运营支撑网异常流量检测研究

基于动态基线的业务运营支撑网异常流量

检测研究

摘要：本文提出了一种基于动态基线的业务运营支撑网（BOSS）异常流量检测方法。本系统克服了业务支撑网中流量分析仪固定告警阈值的诸多弊端，实现了告警系统智能化，为维护人员提供真实可靠的业务支撑网网络流量告警。此外，三级预警机制，使维护人员更清晰、更有效地掌握告警的严重性程度，降低了由于异常网络流量带来的系统风险。

关键字：动态基线、网络流量、临界基线、分级告警

0 引言

随着互联网技术的发展,基于互联网的各种应用已经深入人们的日常生活,给人们的生活方式带来了巨大的变化,但同时也带来了很多安全隐患。目前，网络异常流量的检测机制总体来说可以归纳为三种类型:基于流量大小的检测、基于数据包特征的检测和基于网络带宽动态基线的检测。每种机制都有其自身的特点,在一定程度上都有较高的检测效率,但是也都有自身的不足。

基于流量大小的检测，提出了基于熵值的检测方案,这种检测方案以Shannon信息论中的熵值度量网络流量中的数据包属性的随机性,根据随机性强度的大小检测异常流量的发生,这种方法具有较高的实时性,但是这种方案关于熵值大小的阈值需手动设置,无法根据网络状态自行调整,不同时段、不同链路的网络流量，具有不同的波峰、波谷，单一临界值无法有效界定异常的流量，从而无法有效检测。

基于数据包特征的检测，从网络流量找出符合特征的数据包，使用这种异常流量监测方案，我们必须事先知道每一种异常流量的特征，并为每一种特征开发专属的监测程序。由于异常流量数据包的种类越来越多，对BOSS网络维护人员而言，不停的添加异常流量特征监测程序将带来沉重的负担，管理方式的延展性差。另一方面，新型的异常数据包特征出现初期，其特征尚未被了解，导致异常流量监测程序的失效，无法有效检测。

根据业务支撑网的特点，提出了一种利用动态基线分析网络进出带宽所占比

率的监测方案，此方案根据平时对网络正常流量建立基本的基线资料，判断突然偏离基线的网络流量，进而找出网络中的异常流量。

1 固定阈值检测缺陷分析

BOSS网络中的流量分析设备有一定的流量告警功能，其告警基线为固定阈值，告警效率低，漏报率和误报率高，告警结果无法为维护人员提供有效网络流量信息，如图1。具体表现如下：

1)告警阈值需手工设置，缺乏智能化变更：

维护人员的经验对阈值设置起关键作用，系统风险大

监控对象流量特征各不相同，阈值设置难度大

监控对象众多，维护人员工作量大

2)固定告警阈值，缺乏根据忙闲时调整的动态告警阈值：

固定告警阈值设置较大，只对流量波峰有意义，而其他时段的流量处于失控状态

固定告警阈值设置较小，无法满足波峰的状态告警，则峰值流量长时间处于告警状态，失去告警意义

3)缺乏科学全面的分级告警机制：

告警阈值单一

漏报率和误报率很高，无法为维护人员提供可靠流量信息

图1 固定阈值告警图

网络流量监控告警是BOSS网络流量管理工作的重点之一。异常网络流量告警，不仅为系统平台维护人员提供了判断系统健康度的重要依据，更为业务支撑网平稳运行提供了有力保障。固定阈值的模式承担着BOSS网络所有网络流量的告警判别，造成了无法有效告警的弊端，运维风险很大，高漏报率和高误报率让运维工作难以应对。因此，基于动态基线的异常网络流量智能化侦测是一个重要需求，包括对动态告警基线的建立和更新，以及科学的分级告警机制等。

2 动态基线检测

基线分析是将一天分成多个时段并将每天相同时段的正常流量计算其平均值，这些连续不同时段的流量平均值便形成了流量基线；基线反映了网络正常行为下所呈现的流量变化趋势，是一项重要的流量指标。而一旦网络中有异常流量发生，将直接反映于流量变化上。

利用每五分钟的各路由器、各链路、各应用服务的正常流量建立各自的流量基线，同时将网络流量与相同时段的基线值进行分析与比较，便可筛选出网络中的异常流量。

本系统利用Snmp、NetFlow网络流量监测工具，以其网络对象、时间、流量三个维度建立网络流量基线过滤与基线偏离的流量，从而找出可能的异常流量节点。使用动态基线侦测方案，维护人员无须为每一异常流量数据包特征寻求或自行开发专属的侦测程序，且在新型异常特征流量开始感染发作之际，此方案便能发挥作用，提供维护人员重要的流量异常报警信息，能够有效协助计费人员尽早侦测和发现网络中的异常。

为了更清楚的说明如何进行网络流量基线分析，以图2以及图3为例解释如何利用动态基线监测异常流量。首先根据不同时间段正常的网络平均流量建立动态基线（图2中的黑线），然后根据被测时刻历史数据的统计值与动态基线值的偏离程度建立动态临界线（图2中的蓝线），当某一时间段的流量超过了临界线，我们判定此时段为流量异常之时段。图2中的红色水平虚线则是传统的流量异常监测所使用的固定临界线。

图2 动态基线示意图

图3 网络流量与动态基线的比较示意图

图3显示针对实际流量进行异常监测时，有些网络尖峰时段的正常流量高于固定临界值而被误判为异常流量，使用以基线为基础的动态临界机制，网络尖峰所造成的正常流量增加仍然低于临界值。如图所示，与流量基线明显偏离的时段（如图3所标示三处）才会被视为异常流量。

3系统架构

在综合考虑基线设计要点以及BOSS网络流量分析系统的设计原则，我们选定了利用动态基线分析网络进出带宽所占比率的检测方案，除了根据不同的时段从Snmp、NetFlow收集流量记录，还包括以下几个工作流程来完成我们的动态基线分析监测程序：（1）决定基线分析的对象与单元；（2）计算对象的基线值；（3）制订动态分级告警规则；（4）说明受感染网络的异常流量的大小强度、持续时间以及部分异常流量细节。

3.1 决定基线分析的对象与单元

利用动态基线分析网络的异常流量，必须确定动态基线适应的对象，其必须满足网络流量具有一定的规律，基线分析的对象可以为用户比较关心的关键业务应用、路由器的出口链路以及某个重要部门的地址网段等。

从Snmp、NetFlow的流量记录中可以获得网络每天不同时段的流量，但我们尚需决定是否用网络流量作为基线分析的对象。网络流量包含的封包数目（Packets）以及字节数（Bytes）,异常流量的表现方式是发送大量的封包，且网络流量也会增加。因此使用网络进出流量所占带宽比率建立基线比较容易监测异常流量的发生。

3.2 计算对象的基线值

对于BOSS网络来说，其网络流量是由一群具有集体相似行为的组织成员所贡献。随着组织成员的作息，网络流量通常会以一天为周期呈现规律性变化，或有明显的波峰波谷分布情况。因此我们将每一天分成多个时段，假设y为今日时

为至昨天为止的此时段的基线值，经过今日此时段段的正常情况的流量，而b

1

之后，新的基线值b更新如下：

b = a * y + (1 – a) * b

其中，0 < a < 1 （1）

1

a代表今日此时段的网络流量在基线中所占的比重，如果我们只针对周一至周五的网络流量进行基线分析，我们可以直觉的将a设为0.2即（1/5），意味着

则代表五天之中前四天的加权平均。y代表一周五天统计的其中一天的流量，b

1

事实上，a用于上述公式的加权平均是反映我们对最近一次流量的重视程度，这可使b很快的反映最近的正常网络流量变化，在进行基线值b更新计算时，我们必须首先确定y是正常流量的统计值，如果此时段的流量是异常流量，则不进行基线值b的更新。由于基线值b将被用来作为判断流量是否正常的依据，所以在