分形技术与矢量量化相结合的网络流量异常检测研究

第19卷第3期邯郸学院学报2009年9月V ol.19 No.3 Journal of Handan College Sept. 2009分形技术与矢量量化相结合的网络流量异常检测研究何月梅1，2，杜海艳1，王保民1（1．邯郸学院信息工程学院，河北邯郸 056005；2．河北工程大学信息与电气工程学院，河北邯郸 056038）————————————————————————————————————————————摘 要：本文在分析国内外网络流量异常检测现状的基础上，针对多数异常检测模型实时性较差、检测率较低、误报率较高等问题，提出了一种新的基于分形技术和矢量量化的网络流量异常检测方法. 理论分析表明，该方法具有较高的精度和较低的时间、空间复杂度，可以准确高效地检测出异常网络流量，并定位网络异常原因.关键词：分形；矢量量化；网络流量；异常检测中图分类号：TP393 文献标识码：A 文章编号：1673-2030(2009)03-0073-04基金项目：河北省教育厅项目（项目编号：Z2009408）收稿日期：2009-06-09作者简介：何月梅（1975—），女，河北武安人，邯郸学院信息工程学院讲师，硕士研究生在读；王保民（1971—），男，河北魏县人，邯郸学院信息工程学院副教授，硕士；杜海艳（1974—），女，河北文安人，邯郸学院信息工程学院讲师，硕士.————————————————————————————————————————————1 引言随着IP技术的飞速发展和信息化进程的不断加快，基于网络的应用服务变得越来越广泛. 但是Internet以及网络技术的发展也使得网络入侵攻击变得更为普遍，数量和破坏程度也随之增加，因此检测网络异常流量，并提高网络健壮性十分必要.从Denning提出异常检测模型到今天，作为入侵检测分支的异常检测已经有十几年的历史. 包括机器学习、数据挖掘、聚类分析、支持向量机、时间序列和小波分析等在内的大量计算机学科领域的算法和模型都已经被用在异常检测方面. 但随着网络速度的增加，网络业务量数据处理规模急剧增加，其中仍然存在很多问题:（1）传统的机器学习和数据挖掘算法虽然广泛的应用到异常检测领域，但目前的方法和模型大多仅仅是简单应用，并没有满足检测算法实时性的要求[1]1569-1584，大多数的算法实时性较差，对于检测大流量高带宽的恶意数据流更是如此.（2）多数异常检测模型的检测率较低、误报率和漏报率较高，检测率和误报率很难平衡，也就是检测率较高的情况下不能降低误报率.基于分形技术的异常检测和矢量量化的异常检测方法是近年来针对网络异常检测的两个研究热点. 2005年，Bulut提出了一种高效的突变检测算法[2]44-55，该算法通过维护分层的最小限制矩形来索引多个滑动窗口上的聚集计算结果. 但该突变检测算法[3]336-345只能检测随滑动窗口长度单调变化的聚集函数值的突变，不能检测非单调的聚集函数值的突变. 文献[4，5]中也提出了用于网络流量突变行为的检测方法. 虽然它们使用的方法不同，但它们都有一个共同点，即只能同时检测单一窗口的变化. 事实上，实际应用需要检测的滑动窗口长度往往难以确定. 因此，为了能够检测到所有要求的突变，简单的办法就是分别运行多种算法.显然，这会导致大量的空间和时间开销，使得系统性能降低.7374时间X X 图1 数据流X 上分段分形模型的收缩映射文献[6]提出了基于分形技术的数据流突变检测算法，与已有研究成果相比，算法具有较高的精度和较低的时间/空间复杂度，更加适用于进行数据流的突变检测.文献[7]在基于矢量量化码书结构的基础上，提出了一种基于矢量量化的网络异常检测方法用于恶意数据流的检测，将数据压缩和矢量量化的思想用于网络业务量用户行为模式分析，理论分析和实验结果证明了该方法的有效性.2 基于分形技术的网络流量检测一般把在自然界存在的自相似的现象称为分形，分形模型适用于描述自然界中复杂的形状[8]37-47. 已有大量研究工作证明：自相似性是自然界中普遍存在的现象. 例如：网络上的通信行为、股票交易数据、人类的生理现象、气象数据等都是自相似的. 式（1）所示的幂律伸缩性关系作为分形模型的重要性质，是对自相似性进行数学描述的有力工具. s 为特征线度，如时间、长度；q 为s 上的度量，如聚集计算；p 为比例常数；d 为伸缩性指数，对式（1）两端同时取对数可得式（2）.d s p q ⋅= （1）s d p q log log log ⋅+= （2）准确分形的数据是指在任意长度s 上的度量q 的值都遵守式（1）的数据，幂律伸缩性关系是判断准确分形的充要条件. 因此，对于准确分形的数据，所有的点（logs ，logq ）都在式（2）代表的直线上，d 为直线的斜率. 而对于近似分形的数据，式（2）两端的值只具有相同的分布，d 则是所有点（logs ，logq ）的线性回归线的斜率.分段分形更适合于描述实际应用中具有近似分形特性的数据，已被成功地运用于给定数据集的建模以及压缩. 分段分形模型（piecewise fractal model ）由有限多的收缩映射{Mi ：i=1，k}组成. 每一个收缩映射Mi 对应一组分段Pi 和Pi ′，形如式（3）. 它的数学基础是循环迭代函数系统（recurrent iterated function system ）.m i b b y x a a a a y x M i i i i i i i ,212122211211 ，，=⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡ （3） 在M i 的系数中，i a 22称作收缩因子，且122<i a . 为使该映射为单值映射，置012=i a .在此基础上秦首科在文献[6]中提出了基于分形技术的数据流突变检测算法（Fractal-Based Algorithms for Burst Detection over Data Streams ，简称FB 算法）. 鉴于数据流的实时性、无限性和连续性的特点[9]1172-1181，FB 算法基于分形技术对数据流建模并检测，具体步骤如下：首先为了在数据流上检测多个滑动窗口上的单调聚集函数值和非单调聚集函数值的突变，提出了基于分形技术的构建单调搜索空间的方法. 将所有要检测的滑动窗口排序，进而把无序的搜索空间变为单调的搜索空间. 搜索空间的单调性是指，如果在某个窗口上检测到聚集函数值的突变，那么排在其前面的所有窗口上的聚集函数值也必然发生了突变. 因此，检测突变时只需对单调的搜索空间进行折半查找（binary search ），其时间复杂度仅为O(logm)，m 为需要检测的滑动窗口数目.其次建立数据流上的分段分形模型，此阶段算法的时间开销为O(nlogn)，空间开销为O(logn). 为了优化算法，可利用参数将误差限制在更小的范围内. 图1刻画了X 数据流上分段分形模型的两个收缩影射M i 和M j .最后基于单调的搜索空间以及数据流上的分段分形模型提出了数据流上的突变检测算法，可以在任意长度的滑动窗口上检测多种聚集函数值的突变.理论分析和实验结果表明，与已有研究成果相比，算法具有较高的精度和较低的时间和空间复杂度，更加适用于进行数据流的突变检测. 3 矢量量化方法检测异常网络流量网络异常检测是恶意数据流发现的主要途径，其难点75Data Space Vector SpaceProfile Space 图2 空间转换在于准确描述网络用户行为的模式轮廓. 异常检测误报率和漏报率偏高的主要原因之一就是大部分异常检测系统没有建立准确的用户正常行为模式轮廓，正常行为模式轮廓的不准确直接导致了用户行为度量的不准确，导致漏报率和误报率偏高.矢量量化（Vector Quantization ，VQ ）是一种重要的信号编码与数据压缩技术[10]，通常用来图像压缩与通信以及高维多媒体文件的检索等[11]2635-2647. 通过输入信号向量的相似性比较，对输入样本空间进行划分. 相似的输入信号向量被一个矢量量化单元所代替，通过矢量量化把包括图像在内的高维多媒体文件进行索引压缩然后再进行图像通信等[12]345-356.郑军在文献[7]中把数据压缩和索引的思想用于复杂网络业务量用户行为模式轮廓的建立，提出了基于矢量量化的网络异常检测方法（Network Anomaly Detection Based on V ector Quantization ，简称VQ 方法）.VQ 方法是一种高效的异常检测方法. 首先分析了网络用户行为模式轮廓的建立与描述问题，并提出通过矢量量化实现基于数据压缩思想的网络用户行为模式轮廓描述，把矢量量化的技术引入网络异常检测领域，通过矢量量化技术对用户行为空间的相似性划分与索引，准确的建立复杂网络用户行为的模式轮廓. 从网络数据流到相应的用户行为模式的转换空间如图2所示. 在此基础上，VQ 方法实现了一种面向高效异常检测的最近邻快速搜索算法VENNS 来增加异常检测系统的效率，能够选择更大尺寸的码书构造更细化的用户行为模式轮廓，从而保证了更高的检测率，提高了系统的可用性和实用性. 实验证明，基于矢量量化和快速最近邻搜索算法VENNS 的网络入侵检测系统的检测效率大幅提高，基于量化错误量的异常分析使系统能够较直观的刻画数据的异常情况，检测比较细化的各个类型的攻击，从而定位网络异常原因. 在维持较低误报率基础上，此方法可取得较高的检测率，这对于网络安全事件的监测与检测非常重要. 对基于矢量量化的网络异常检测方法行综合的性能评价和比较分析，验证了该方法的有效性. 4 分形技术和矢量量化相结合的异常网络流量检测引入矢量量化技术可对网络业务量的用户行为空间进行相似性划分，并创建复杂网络业务量的用户行为模式轮廓. 这种方法能够准确描述大数据量的网络业务量用户行为模式、定位网络异常原因，在维持较低误报率的基础上能取得较高的检测率. 但是随着网络速度的增加，网络业务量数据处理规模急剧增加，为了有效的发现安全事件，必须保证有颗粒度更细的网络数据分析，这必然导致数据预处理和数据分析工作负载的增加，进而降低检测效率.基于分形技术的检测方法具有较高的精度和较低的时间、空间复杂度，更加适用于数据流的应用场景:金融风险分析、通信网监测、网络流量管理、趋势分析、Web 日志分析、网络入侵检测、传感器网络管理等. 但该方法对异常定位没有进一步研究，因此若把该方法应用于网络异常检测在这方面还需深入研究.鉴于以上理论分析，为能在时间和空间复杂度极小的前提下进行实时高效的异常检测，并准确定位网络流量异常原因，本文提出了一种新的网络流量异常检测方法：分形技术与矢量量化相结合的网络异常检测方法，简称FB-VQ 方法.该方法先用FB 方法检测网络异常流量，鉴于FB 算法具有较低的时间和空间复杂度，对网络流量数据进行较粗的预处理，以便保留更多的信息方便下一步VQ 方法定位网络异常原因. 对上一步检测到的异常流量采用VQ 方法进行更加细化的检测，选择尽可能多的流量数据特征，为各个类型的攻击建立其对应的码字，以便基于量化错误量的异常分析能更加细致地刻画数据的异图3 FB-VQ 网络流量异常检测模型常情况，从而准确定位流量异常原因. 具体模型如图3所示.海量网络业务量数据的快速分析是网络安全的挑战性课题，基于FB-VQ方法只针对检测到的异常数据流量提取较多的数据特征进行更细化的检测，这样既可以准确定位异常原因，也可以提高检测的效率.5 总结本文在对分形技术和矢量量化方法研究的基础上，提出了分形技术和矢量量化相结合的网络流量异常检测方法，尤其是对于网络恶意数据流的检测，力争在极小的时间开销和空间开销的前提下提高网络数据流量异常的检测率，降低检测的漏报率. 通过理论分析论证，该方法在技术上有一定的创新，对以后该方面的研究有可借鉴之处.参考文献：[1]Juan M. Estévez-Tapiador, Pedro Garcia-Teodoro, Jesus E. Diaz-Verdejo,Anomaly Detection Methods in Wired Networks: a Survey and Taxonomy.[J] Computer Communications. 2004, 27(16).[2]Bulut A,Singh AK.A unified framework for monitoring data streams in real time.In:Kawada S,ed.Proc. of the 21st Int’l Conf. on Data Engineering(ICDE 2005) [M]. Tokyo:IEEE Computer Society, 2005.[3]Zhu YY,Shasha D. Efficient elastic burst detection in data streams.In:Getoor L,Senator TE,Domingos P,Faloutsos C, eds.Proc. of the 9th ACM SIGKDD Int’l Conf. on Knowledge Discovery and Data Mining[M]. New York:ACM Press, 2003.[4]Cormode G,Muthukrishnan S. What’s new:Finding significant differences in network data streams[J]. IEEE/ACM Trans. on Networking, 2005, 13(6):1219-1232.[5]Krishnamurthy B,Sen S,Zhang Y,Chen Y.Sketch-Based change detection:Methods, evaluation, and applications.In:Crovella M, ed.Proc.of the 3rd ACM SIGCOMM Conf. on Internet Measurement[M]. New York: ACM Press, 2003:234-247.[6]秦首科，钱卫宁，周傲英. 基于分形技术的数据流突变检测算法[J]. 软件学报，2006，17(9):1969-1979[7]Jun Zheng, Mingzeng Hu. An Anomaly Intrusion Detection System Based on Vector Quantization. IEICE Transactions on Information and Systems, V o1.E89-D, No.1, 2006, 201210 (SCI检索007ET, El检索06079701238)[8]Mandlebrot BB. The Fractal Geometry of Nature[M]. New York:Freeman, 1982.[9] Jin CQ, Qian WN, Zhou AY. Analysis and management of streaming data:A survey[J]. Journal of Software, 2004, 15(8).[10]A. Gersho, R. M. Gray. Vector Quantization and Signal Compression[M]. Boston: Kluwer Academic Publishers, 1992.[11]Jamshid Shanbehzadeh, Image Retrieval Basedon Index Compressed Vector Quantization[J]. Pattern Reorganization. 2003, 36(11).[12]K. Goh, E. Chang. Indexing Multimedia Data in High-dimensional and Weighted Feature Spaces[M]. Australia: Proceedings of the 6th Visual Database Conference , 2002. Research on Anomaly Detection of Network Traffic Based on Fractal Technologyand Vector QuantizationHE Yue-mei1,2 , DU Hai-yan1 , WANG Bao-min1(1. Department of Computer Science, Handan College, Handan 056005, China2. School of Information & Electronic Engineering, Hebei University of Engineering, Handan 056038, China) Abstract: In this paper, with the research on the development survey of the network anomaly detection at home and abroad, a new algorithm for anomaly detection of network traffic based on fractal technology and vector quantization is proposed in view of most anomaly detection model with the poor real-time, the lower detection rate and the higher false positive rate. Theoretical analysis shows that this algorithm can achieve higher precision with less space and time complexity, and it can accurately and effectively discover the abnormal network traffic and identify the cause of anomaly network traffic.Key words: fractal; vector quantization; network traffic; anomaly detection76。