基于NetFlow的网络流量采集技术和应用

第31卷　第23期

2009年12月武　汉　理　工　大　学　学　报JOURNA L OF WUHAN UNIVERSIT Y OF TECHN OLOG Y Vol.31　No.23　Dec.2009DOI :10.3963/j.issn.167124431.2009.23.037

基于N etFlow 的网络流量采集技术和应用

孟晓蓓

(武汉大学计算机中心,武汉430072)

摘　要:　针对计算机网络状况监控领域的实际需要,提出了基于Net Flow 的流量采集技术。相比其它的流量采集工具,Net Flow 的流量采集技术具有配置方便,费用低,占用资源小的优点。分析了Net Flow 交换技术采集网络流量信息的实现原理。并从计算机网络的网络层和传输层2个方面,讨论了Net Flow 网络流量采集技术在网络信息安全方面的相关应用。

关键词:　流量采集;　Net Flow ;　网络攻击

中图分类号:　TP 393.06文献标识码:　A 文章编号:167124431(2009)2320155204

N et work Flux Collection T echnique B ase on N etFlow and

Its Application

M EN G Xiao 2bei

(Computer Center ,Wuhan University ,Wuhan 430072,China )

Abstract :　This paper proposes the network flux collection technique based on net flow according to practical requirements in the field of monitoring the status of computer pared to other flux collection tools ,Net Flow has advantages of con 2venient configuration ,low cost and small occupied resources.This paper analyses the principle of realization of Net Flow ex 2change technique collecting network flux information.Then both from the network layer and transport layer ,the paper discuss 2es some relevant applications of Net Flow network flux collection technique using in network information security areas.

K ey w ords :　flux collection ;　Net Flow ;　network attack

收稿日期:2009207209.

作者简介:孟晓蓓(19572),女,高级实验师.E 2mail :meng1025@

随着Internet 和Intranet 的发展,网络用户、接入设备日益增长,对计算机网络的安全运行产生了压力。因此,计算机网络状况的实时监控的工作,显得十分必要。计算机网络状况的实时监控的一个重要环节,就是网络上的数据流量进行统计和分析。由于各种各样的应用对网络带宽的需求越来越高,传统的网络流量统计和数据采集方式开销大、对数据传输延时的影响大,已经不能满足现在的需求,因此,需要一种新的流量统计技术来适应现在的网络环境。Net Flow 技术正是这样的能适应新环境的流量采集方法。

1　网络流量采集的特点和方法

理想的数据采集方式应该具备以下一些特点[1]:

1)不影响数据流转发的速度　在整个数据流的采集过程中,不能有明显影响数据流转发速度的状况发生。如果在数据采集的过程中,数据流转发的速度明显下降,不能真实地反映网络流量状况,这违背数据采集的根本目的。

2)占用资源小　对数据流进行采集的过程中,可能需要在路由器(交换机)中进行流量统计,并且储存所

采集数据。这会给路由器(交换机)带来额外的资源开销。理想的流量采集方法应该尽可能少占用资源,在采集效果和资源占用之间寻求一个平衡点。

3)完整的数据流监控　一个理想的数据采集方法应该具备完整的数据流监控能力。在网络发生拥塞的时候,能不能采集到完整的流量信息,是考察数据采集方法的一个重要标准。

4)支持第3层交换　第3层交换技术的特点就是将路由功能和交换功能结合在一起,使得网络在具有第2层交换的高速性能的同时,又可以具有很好的安全性、可扩展性等特性[2]。理想的数据流量采集方式必须能够支持第3层交换技术。

5)分布式的数据采集　分布式的数据采集有利于实现校园网内部的数据流量监控和管理。

常用的网络流量采集方法有:实时数据采集,路由器流量统计功能,Net Flow 交换技术。实时数据采集就是在网络设备中使用端口镜像技术等[3],从网络中获取实时的数据流信息。这种方法的优点是实施最为简单,几乎不会对网络中数据传输的延时造成任何影响。然而,由于数据采集机要捕获所有的数据流信息并对之加以分析,因此这种方法对数据采集机的处理能力要求很高。此外,由于这种方式是对整个IP 数据包进行抓取后再进行处理,必然导致数据量过于庞大,对于后续的数据处理工作带来不便,因此这种方式并不适合。

路由器流量统计功能是利用网络设备的流量统计功能,是目前比较常见的一种数据采集方法。在路由器中启动流量统计功能,使其记录下所有流量的源地址、目标地址、数据包数量和字节数。另外一台采集数据的机器通过SNMP 协议定期到路由器上去将流量统计信息读取回来,从而获得详细数据。这种方法的好处是流量信息准确,信息获取方便。同时,由于使用SNMP 协议进行数据获取,具有很好的通用性和可移植性。因此这种方法的应用非常广泛。在路由器上运行流量统计功能,会影响路由器对数据包处理的效率,增加路由器的CPU 和内存负载,不可避免的对网络性能带来一定的影响。因此,这种方法并不适合在网络和核心层部署,适合在网络的边界处进行流量采集。

Net Flow 交换技术是由Cisco 公司提出的,广泛应用在Cisco 的路由器和交换机产品中[4]。它提供了高性能的第3层交换技术,并且能够主动将网络流量信息推送到一个Net Flow 数据采集服务器上。Net Flow 交换技术是传统快速交换技术的一种改进,主要优点是在进行数据交换的同时对数据流信息进行统计,并将统计信息以特定的格式输出。

2　N etFlow 交换技术

2.1　N etFlow 交换技术原理

Net Flow 交换技术是在Cisco 的路由器、交换机中实现的一种技术。Net Flow 交换完成的工作超过交换本身的工作,它还进行数据的统计,包括数据流的协议、端口、被转发的数据包数量、字节数等信息,所有这些信息都被保存在Net Flow 缓存里面。这些数据可以被发送到一个Net 2

Flow 数据采集器或者网管工作站进行存储和进一步处理[5]。因此,可以

说Net Flow 是一种交换技术,同时,它更多的是一种网络管理和计费技

术。

Net Flow 交换技术主要原理是根据网络数据包传输时,连续相邻的

数据包通常是往相同目的地IP 地址传送的特性,配合Cache 快取机制,

一个输入的数据包完成了交换处理后,所有的路径信息和数据包的信息

被复制到Net Flow Cache 中。该数据流中的剩余数据包将会被与Net 2

Flow 的缓存进行比较然后进行相应的转发,同时对该数据流的相关计数器进行更新,实现数据流信息的统计[6]。当网络管理者开启路由器或交换机接口的Net Flow 功能时,设备会在接收数据包时分析其数据包的标头部分取得流量资料,并将所接到的数据包流量信息汇整成一笔一笔的Flow 。Net Flow 交换技术的体系结构见图1。

在Net Flow 数据采集系统中,数据采集器是整个系统的核心部分。数据采集器接收路由器和交换机发送的Net Flow 数据包,并分析输出数据中的版本信息,根据情况选择不同的数据处理容器。然后,数据库中的信息通过相关流分析软件完成图形化展示、TOP N 查询以及预警等功能。

6

51 武　汉　理　工　大　学　学　报 2009年12月