基于NetFlow流量采样的误差分析
Netflow 网络异常流量的监测原理
Netflow 网络异常流量的监测原理Netflow 对网络数据的采集具有大覆盖小成本的明显优势，在Netflow在安全领域的应用与传统的DPI的方式和系统扫描的方式，却有着明显的不同。
使得这类产品在定位和实现的功能上和传统大IDS／IPS也不一样。
Network Behavior Anomaly Detection（网络行为异常检测）是NetFlow安全的原理基础。
Netflow流量数据只能分析到协议的第四层，只能够分析到IP 地址、协议和端口号，但是受限制于无法进行包的内容分析，这样就无法得到网络中一些病毒、木马行为的报文特征。
它是从网络流量的行为特征的统计数据进行网络异常的判定的。
网络行为的异常很大一方面是对网络基线数据的违背，反应到一个监控网段范围，往往呈现的就是网络流量的激增和突减。
而在针对网络单个IP的监测的时候分析的是这单个IP来源或者目的IP流量的行为模式，TCP的流量模型等等来进行判断。
GenieATM对网络异常流量的NBAD的检测具体如下面三点：1.1流量异常(Traffic Anomaly) 侦测流量异常模型是将基线模板(Baseline Template)应用于使用者所设定的监测范围内（因特网、互联自治域、子网、路由器、服务器、interface、监测条件等多种模型），流量异常侦测模型主要凭借系统实时对网络中正常流量形成流量基线，再根据网络正常的网络流量模型来动态分析网络中的异常流量，以期最早时间发现网络中流量的激增和突减。
针对不同的网络监测范围，用户可使用定义不同的流量基线模板进行监控。
系统支持自动建立及更新流量基线，也允许管理员手动设定和调整基线的参数和取值期间，并排除某些受异常流量攻击的特定日列入计算，以免影响基线的准确性。
通过参数的设定，系统能根据对网络效能的影响，将网络异常流量的严重性分为多个等级，包括：正常、中度异常(yellow)、高度异常(red)，并允许使用者透过参数设定，对每个检测范围设定合适的参数。
基于NetFlow网络流量分析的研究及应用[1]
![基于NetFlow网络流量分析的研究及应用[1]](https://img.taocdn.com/s3/m/f463faeeaeaad1f346933fb5.png)
收稿日期:2003208216.作者简介:孟学军(19712),男,讲师;武汉,武汉大学网络教育学院(430072).基于Net Flow 网络流量分析的研究及应用孟学军武汉大学网络教育学院吴黎兵武汉大学计算中心石 岗武汉大学网络教育学院摘要:在分析Net Flow 交换及其特点的基础上设计了一个具体的网络流量分析模型.它的主要特点是提供了数据输出网关和计费接口,易于扩展.该模型重点讨论了数据采集点的选择和采样间隔等关键参数的设置方法.关 键 词:Net Flow ;数据采集;采样间隔中图分类号:TP393.03 文献标识码:A 文章编号:167124512(2003)S120253203 网络流量分析对一个网络的管理来说是不可缺少的重要组成部分.网管人员可以利用它来监控网络的数据流量,分析网络的使用情况及性能,尽早发现网络的瓶颈,便于调整网络的路由,合理分配网络流量,保证网络高效、稳定、可靠地运行.1 Net Flow 交换及其特点Net Flow 交换在网络层实现高性能的交换,它提供一个高效的机制,可用来处理安全访问列表,不必像其他传统的交换方式那样,为完成同样的任务而付出很高的性能代价.Net Flow 交换识别主机之间的网络流量,并在提供相关服务的同时,对网络流量中的分组进行交换.在Net Flow 交换中,查询过程仅对分组流中的第一个分组进行,在一个网络流被识别并确定了与其相关的服务后,那么后面所有的分组都作为该信息流的一部分,在面向连接的基础上进行处理,这样就绕过了访问列表的检查,进而依次对分组进行交换和获取统计信息.Net Flow 记录的流包含了丰富的信息,它使用源和目的端点的IP 地址和传输层端口号、协议类型、服务类型(Tos )以及输入接口等来标记网络流.可用来捕获、显示和分析网络流信息.Net Flow 不需要其他硬件流量设备的支持,开启和关闭非常方便.2 系统实现的基本原理与技术2.1 数据采集系统框架a .N FCD 模块:系统后台控制服务器,监视和控制N FCollector 和N FO GW 的操作状态.b .N FCollector 模块:流量收集器,接收来自路由器的Net Flow 数据,并进行过滤、总结、集合和数据管理等功能.c .N FCU I 模块:用户配置接口,为用户和Net Flow 提供一个交互界面.用户可以方便地对Net Flow 进行配置及查看内部的一些运行情况,比如计划集信息、过滤器信息、源地址和目的地址、发送数据的IP 地址以及正在接受数据的情况.d .N FO GW 模块:数据输出网关,通过网关以SOC KET 方式发送信息到其他网管分析软件,如Cisco 公司的Net Flow FlowAnalyzer 流量分析软件.例如将这些数据应用到网络仿真中,仿真出实际网络运行的性能参数,为网络设计和规划、营运维护等广泛领域服务.e .N FAnalyzer 模块:提供图形用户界面(GU I )分析和显示来自N FCollector 的Net Flow 数据.数据可以以多种集合方式观看,并配有不同的图形、分类和图表功能.数据系统采集框架见图1.2.2 Net Flow 数据格式Net Flow 以UDP 数据报输出信息流.版本1的格式是最初颁布的版本;版本5是最新的增强版[1],增加了边界网关协议(B GP4)自治系统(AS )信息和流顺序号.版本5的流记录格式为(0～3)Scraddr ,源IP 地址;(4～7)Dstaddr ,目的IP地址;(8～11)Nexthop ,下一个“跳”路由器的IP地址;(12～15)input and output ,输入和输出接口的SNMP 索引;(16～19)dPkts ,流中的信息包;第31卷增刊 华 中 科 技 大 学 学 报(自然科学版) Vol.31 Sup.2003年 10月 J.Huazhong Univ.of Sci.&Tech.(Nature Science Edition ) Oct. 2003图1 数据采集系统框架(20～23)dOctets,在流的信息包中第3层字节的总数;(24～27)First,流起始时的SysUptime;(28～31)Last,收到流的最后的信息包时的SysUp2 time;…2.3 配置Net Flow交换Net Flow的数据输出要求先在路由器或交换机上定制Net Flow流输出,并选择输出流的版本、个数、缓存区的大小等,配置相应Net Flow流收集器的IP地址、端口等信息.另外,需要在Net Flow 流收集器端、配置接收端口号、设置汇聚、过滤策略、流量文件存放目录、格式等.configure terminal/进入全局配置模式/interface interface3/0/0/指定接口,进入接口配置模式/ip route2cache distributed/在接口上启动IP 信息包的V IP分布交换/ip route2cache flow/指定流交换/ip flow2export1.1.15.10version5peer2as/将Net Flow缓存的存入项传送到工作站/3 需要重点考虑的两个问题3.1 数据采集点的选择Cisco7500系列路由器除了有一个集成的路由/交换处理器(RSP)并使用路由缓存来转发信息包外,它还使用了多功能接口处理器(V IP).这个基于RISC的接口处理器接受并缓存来自RSP 的路由信息.使用了路由缓存,V IP卡就可在本地作出交换决定,不需要RSP的参与就可加速总的吞吐量.由于V IP从RSP卸载了这些IP交换和服务功能,因此RSP可以将其所有CPU周期用于处理其他关键任务.因此,使用V IP的分布式体系结构是Cisco7500可伸缩性的关键.文献[2]通过在实际运行网络的GSR12012和Cata2 lyst6509两种典型路由设备上开启Net Flow进行测试,实际评估了其对网络性能的影响.试验数据表明:开启Net Flow对具有V IP分布交换功能的12012的CPU利用率无任何影响,内存下降也不明显;而对不具有V IP分布交换功能的6509影响较为明显,CPU利用率下降超过5%,内存下降也大.因此,数据采集点放在C7507上合适.这样,不会造成网络拥塞,如图2所示.图2 边界路由器和中心交换机位置分布3.2 采样间隔考虑到网络流量在不同的时间段内是不均衡的,如果在全部时间段内采取不变的间隔采样,必定造成N FCollector与路由器的频繁通信,进而影响路由器的性能.如果根据信道的繁忙程度设定不同的取样间隔,就可减少通信频度,提高路由器的利用率.根据排队论,客户端发起的会话请求可以用分段平稳泊松流来模型化[3].因此,可以认为在平衡状态下t时间内路由器建立的会话次数为泊松分布.P[n(t)=m]=e-λt(λt)m/(m!)(1) t时间缓存内的平均会话个数 n为:n=∑mi=1i P[n(t)=i]=∑mi=1e-λt(λt)i(i-1)!,(2)式中λ是会话到达流的强度.此时若设缓存区的长度为m,则t时间内不溢出的概率是:p=∑mi=1P[n(t)=i]=e-λt∑mi=1(λt)ii!.(3)由于流量为分段的平稳泊松流,因此,如果以小时为单位对其进行分段,则每个时间段上的到达流强度λi=1-24,利用(3)式,根据给定的P和λi 可以计算出t i值作为该时间段内的采样间隔.借助已完成的数据采集工具,可以收集到任何地点的网络流量情况.这为下一步的数据分析提供了丰富的数据资源以及数据间的联系等重要信息.在随后的分析工作中,将尝试分离出可能影响数据流的各个因素(包括网络主机的数量、用户的访问特性、网络通信协议算法及网络的拓扑结构).通过对现有的网络框架增加网络监测和流量分析功能,可以改善网络环境的整体安全性.参考文献[1]Cisco Systems公司.Cisco IOS交换服务.北京:电子工452 华 中 科 技 大 学 学 报(自然科学版) 第31卷业出版社,1999.[2]梁喜秋,梁 洁.Net Flow 对网络性能的影响.广州通信技术,2002,22(3):24～26[3]丁 伟,吴剑章.基于会话的网络计费管理系统.小型微型计算机系统,1998,19(1):10～13R esearch and application of net work traff ic analysis based on N etFlowMeng X uej un W u L ibi ng ShiGangAbstract :The paper designs a material network traffic analysis model after analyzing Net Flow exchange and its key characteristics.Adapting and extension are main trait of the model by providing data output gateway and IP accounting interface.At the end of the paper ,some key parameters ,such as choice of data collection site and sampling interval are discussed in detail based on network traffic model.K ey w ords :Net Flow ;data collection ;sampling intervalMeng Xuejun Lect.;School of Network Education ,Wuhan University ,Wuhan 430072,China.552增刊 孟学军等:基于Net Flow 网络流量分析的研究及应用 。
【豆丁-精品】-采用Netflow数据的典型异常流量检测方法
第38卷 增刊 电 子 科 技 大 学 学 报 V ol.38 Suppl2009年11月 Journalof University of Electronic Science and Technology of China Nov. 2009 采用Netflow 数据的典型异常流量检测方法田 杨，王 宏，陈晓梅(国防科技大学计算机学院 长沙 410073)【摘要】基于Netflow 数据提出了根据流量特征进行异常检测的方法；分析了造成异常流量的DDoS 和端口扫描的流量特征两种网络攻击行为；并根据其特征进行用户可控的实时异常流量检测，给出告警，报告异常的时空坐标。
用户可以调整自己的参数设置，在计算时间和空间上平衡自己的参数，得到满意的结果。
采用Web 形式和CS 架构模式进行异常监控的实时显示，用户可以实时地在任何连接到服务器的主机设置参数和查看检测结果。
关 键 词 DdoS; 流量特征; netflow; 端口扫描; 实时检测中图分类号 TP393 文献标识码 A doi:10.3969/j.issn.1001-0548.2009.z1.009Typical Traffic Abnormal Detection Based on NetflowTIAN Yang, WANG Hong, and CHEN Xiao-mei(School of Computer, National University of Defence Technology Changsha 410073)Abstract The paper presents a method based on Netflow data and flow’s character to detect abnormal activities in the network. Two behaviors which induce abnormal activities: the properties of DDoS and port scan’s flows are analyzed. And abnormal flows in real time according to the user’s setup is detected, then alert the user and show the abnormal activities coordinates of the time-space. User can balance the time and space’s parameters to get satisfactory result. The CS model on Web is used to detect abnormal flows in real time, the users who connect to the server can setup the parameters and get the result.Key words DDoS; flow character; netflow; port scaning; real time detecting收稿日期： 2009 − 09 − 15作者简介：田 杨(1983 − )，男，硕士，主要从事计算机网络安全方面的研究.网络异常流量是指网络的流量行为偏离其正常行为的情形，引起网络流量异常的原因很多，如网络设备的软硬件异常、网络操作异常、闪现拥挤(flash crowd)、网络攻击行为等。
流量计产生误差的原因.doc
流量计产生误差的原因标准孔板是由机械加工获得的一块圆形穿孔的薄板。
它的节流孔圆筒形柱面与孔板上游端面垂直，其边缘是尖锐的，孔板厚与孔板直径比是比较小的。
孔板在测量管内的部分应该是圆的并与测量管轴线同轴，孔板的两端面应始终是平整的和平行的3.1孔板偏心根据GB2624-81规定，孔板应与节流装置中的直管段对中。
实验表明，孔板偏心引起的计量误差一般在2%以内，孔径比β值愈高，偏心率影响愈大，应不用值高的孔板。
3.2孔板弯曲由于安装或维修不当。
使孔板发生弯曲或变形，导致流量测量误差较大。
在法兰取压的孔板上进行测试，孔板弯曲产生的最大误差约为3.5%，3.3孔板边缘尖锐度孔板入口边缘磨损变钝不锐或受腐蚀发生缺口，或孔板管道内部的焊缝或计量法兰垫片，都将使实际流量系数增大和差压降低，造成计算气量偏小。
二、提高计量精度的措施1.消除气流中的脉动流管道中由于气体的流速和压力发生突然变化，造成脉动流，它能引起差压的波动，而节流装置的流量计算公式是以兰孔板的稳定流动为基础的，当测量点有脉动现象时，稳定原理不能成立，从而影响测量精度，产生计量误差。
脉流流量总不确定度等于按GB/T2624-93计算的测量误差与脉动附加不确定度的合成。
式中：ET-脉动附加不确定度，无量纲； -轴向时均速度，m/s； -速度脉动分量均方根值，m/s。
(公式应用条件≤0.32) 因此，为了保证天然气计量精度，必须抑制脉动流。
常用的措施有：(1)在满足计量能力的条件下，应选择内径较小的测量管，提高差压和孔径比；(2)采用短引压管线，减少管线中的阻力件，并使上下游管线长度相等，减少系统中产生谐振和压力脉动振幅增加；(3)从管线中消除游离液体，管线中的积液引起的脉动可采用自动清管系统或低处安装分液器来处理。
2.计量装置的设计安装应符台SY/T 6143-1996由于影响孔板流量计测量精度的根本原因是节流装置的几何形状和流动动态是否偏离设计标准。
Netflow网络流量分析手册
Netflow网络流量分析手册Netflow网络流量分析手册作者：聂晓亮（毛蛋哥）目录一、作者简介 (4)二、为什么会有这本书 (5)三、流量分析原理 (6)(一)原始流量分析方式 (6)(二)Netflow分析方式 (6)四、流量采样 (8)(一)在网络设备上开启Netflow功能 (8)(二)网络设备不支持Netflow (9)1.部署方式 (9)2.安装Fprobe (11)3.启动Fprobe (11)4.镜像流量至Fprobe服务器 (12)5.检测是否收到Netflow数据 (12)五、部署服务器 (13)(一)硬件需求 (13)(二)安装FreeBSD (13)(三)安装Nfsen (14)1.安装apache22 (14)2.安装php5 (14)3.安装nfsen (15)(四)安装PortTracker (15)(五)访问Nfsen (16)六、抓贼攻略 (18)(一)了解网络运行状况 (18)(二)什么协议吞了带宽 (22)(三)抓出罪魁祸首 (25)七、感谢 (30)一、作者简介本书作者聂晓亮，网名毛蛋哥。
2004年毕业于北京联合大学信息工程学院，热爱网络相关知识及摄影，机缘巧合参加了Cisco认证培训，并获得了一些成绩。
本书写于2008年10月，作者目前状态工作较为舒适，故有空闲时间完成此书。
聂晓亮（毛蛋哥）拥有自己的Blog及Wiki空间，其中记录了作者的工作、生活、学习。
作者希望通过此书以及Blog、Wiki同全世界的网络爱好者分享其知识与快乐。
聂晓亮（毛蛋哥）的Blog：聂晓亮（毛蛋哥）的Wiki：欢迎交流：********************二、为什么会有这本书在工作的几年当中，经常有朋友和一些网友问我一些关于流量分析的问题，诸如：●我们局域网怎么这么慢，是不是有人在下BT？●192.168.0.1也没人用，怎么网卡疯狂闪烁，它在做什么？●老板让我查查服务器为什么总是那么大流量，可我不知道从何下手。
使用NetFlow分析网络异常流量
一、前言近年来，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网已成为人们日常工作生活中不可或缺的信息承载工具。
然而，伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行，威胁用户主机的安全和正常使用。
本文从互联网运营商的视角，对互联网异常流量的特征进行了深入分析，进而提出如何在网络层面对互联网异常流量采取防护措施，其中重点讲述了NetFlow分析在互联网异常流量防护中的应用及典型案例。
二、NetFlow简介本文对互联网异常流量的特征分析主要基于NetFlow数据，因此首先对NetFlow做简单介绍。
1. NetFlow概念NetFlow是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow 缓存同时包含了随后数据流的统计信息。
一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
2. NetFlow数据采集针对路由器送出的NetFlow数据，可以利用NetFlow数据采集软件存储到服务器上，以便利用各种NetFlow数据分析工具进行进一步的处理。
Cisco提供了Cisco NetFlow Collector（NFC）采集NetFlow数据，其它许多厂家也提供类似的采集软件。
下例为利用NFC2.0采集的网络流量数据实例：211.*.*.57|202.*.*.12|Others|localas|9|6|2392|80|80|1|40|1出于安全原因考虑，本文中出现的IP地址均经过处理。
NetFlow数据也可以在路由器上直接查看，以下为从Cisco GSR路由器采集的数据实例，：gsr #att 2 （登录采集NetFlow数据的GSR 2槽板卡）LC-Slot2>sh ip cache flowSrcIf SrcIPaddress DstIf DstIPaddress Pr SrcP DstP PktsGi2/1 219.*.*.229 PO4/2 217.*.*.228 06 09CB 168D 2Gi2/1 61.*.*.23 Null 63.*.*.246 11 0426 059A 1本文中的NetFlow数据分析均基于NFC采集的网络流量数据，针对路由器直接输出的Neflow数据，也可以采用类似方法分析。
浅析流量测验中的误差
浅析流量测验中的误差发表时间：2020-04-23T06:09:40.481Z 来源：《防护工程》2020年2期作者：刘文军[导读] 目前，流量测验在水文领域中广泛应用，流量测验的精确度关系着水利资源利用效率，也影响着水库设施的防洪功能。
北京市京密引水管理处北京 101300摘要：目前，流量测验在水文领域中广泛应用，流量测验的精确度关系着水利资源利用效率，也影响着水库设施的防洪功能。
在流量测验实践中，应采用有效措施将误差值降至最低水平或消除，进而获得精确度高的测验结果。
鉴于此，文章在列举流量测验常用方法手段基础上，分析测量误差性质及来源，并提出几点切实可行的防控措施。
关键词：流量测验；测量误差；来源分析；防控措施在水库防洪、河道治理、开发利用水资源过程中，流量数据是重要的参照资料，其能较直观的呈现出水体水量改变状况等水文特征。
流量测验在规划设计水利项目实践中，其数据应用在水工建筑物规划、设计及管理，防洪调控及水体质量监测等诸多领域中均有应用，这间接阐释提升流量测验结果精确的必要性。
但是在流量测验实践中，人为误差、仪器误差等在多种主客观因素作用下，误差难以完全规避，但是人为误差应自觉减少规避，本文主要分析加强并提高天然河道中面积流速法流量测验人为误差的减少。
1、流量测验概述通俗的讲，流量就是单位时间内流过某一过水断面的水体体积称为流量,水文流量测验就是对江河、渠道流量进行的实地测流工作。
按照工作原理可分为四大类；有面积流速法、水力学法、化学法、物理法，其中面积流速法应用最广泛，也是水文中流量测验主要的应用方法。
面积流速法：基本原理为按一定原则，沿河道横断面取若干垂线，将河道横断面划分为若干个部分面积，在各个垂线上施测流速，在与部分面积相乘即得到部分流量，各部分流量相加为河道横断面流量。
根据测定流速的方法不同，又分为流速仪法和浮标法。
（1）流速仪法；在面积流速法中使用流速仪测量是最基本的方式。
常规操作时使流速仪停留在测深垂线预定点上检测流速，局部面积与局部平均流速的乘积就是局部的流量值，局部流量整合表示断面流量。
一流量测验误差与控制
随机误差
定义
随机误差也称为偶然误差，是由于一 些随机的、偶然的因素引起的误差。
特点
随机误差具有随机性、不可预测性和 不可重复性。
产生原因
随机误差产生的原因可能包括环境因 素的变化、测量人员操作的微小差异 等。
控制方法
控制随机误差的方法包括增加测量次 数、采用合适的统计方法对测量数据 进行处理等。
粗大误差
#O2
流量测验误差的 分类
#2022
系统误差
系统误差具有重复性、单向性和可测 性。
控制系统误差的方法包括对测量仪器 进行定期校准、改善测量环境、采用 更精确的测量方法和模型等。
定义
特点
产生原因
控制方法
系统误差是由于测量系统本身的不完 善、不稳定或测量原理、方法的不完 善而引起的误差。
系统误差产生的原因可能包括仪器校 准不准确、测量环境不稳定、测量人 员操作习惯等。
误差的图解法
误差棒图
通过在图上绘制误差棒（也称为误差条）来表示各个测量环节的误 差范围，有助于直观地了解误差的大小和分布。
误差箱线图
通过绘制箱线图（也称为箱状图）来表示一组数据的误差分布特性， 包括上四分位数、下四分位数、中位数和异常值等。
误差曲线图
通过绘制误差曲线来表示测量过程中误差的变化趋势，有助于发现和 解决潜在的误差源。
量。
03
噪声污染源流量测量误差控制
通过合理布设噪声监测点位和采用高精度测量仪器，降低噪声污染源流
量测量的误差。
WATCHING
THANKS FOR
感谢您的观看
定义
特点
粗大误差是由于测量人员疏忽、不细心等原 因引起的明显超出正常范围的误差。
粗大误差具有明显的大幅括测量人员疏忽、 记录错误等。
基于NetFlowAnalyzer网络流量监控分析软件设计
基于NetFlow Analyzer网络流量监控分析软件设计发布时间：2023-01-17T02:30:40.780Z 来源：《中国科技信息》2022年18期作者：沈建标倪一苇[导读] 随着科技的进步，技术的更新，园区网和IDC网络发展呈现了爆炸式增长沈建标倪一苇浙江经贸职业技术学院摘要随着科技的进步，技术的更新，园区网和IDC网络发展呈现了爆炸式增长。
服务器接入速率从1Gb/s到10Gb/s发展至现在的25Gb/s，新业务层出不穷，而且仍在不断往前迭代。
对网络的运维造成了很大的冲击，网络攻击，病毒，恶意软件等紧随而来，网络安全问题变的越来越严重，网络运维问题变得越来越困难。
随之而来的网络设备的数据和产生log日志数据呈现出指数式的增长，不足的是目前的技术越来难以支撑网络流量实现快速，精细，多维度的分析。
当前需要一套完整的，全新的，可视化的方案解决当前的存在的不足。
本设计方案使用图形化界面以不同图形方式展示各种网络流量，用于帮助网络工程师更方便快捷全面的掌握网络中的异常流量及异常流量发生的时间，以便于管理人员实时准确的掌握网络业务和协议的大小及类型。
关键词：B/S结构；NetFlow；NFDUMP；Django；Python；数据可视化第1章绪论1.1 NetFlow产生的背景和意义随着互联网越来越高速的发展，为客户业务提供了更高速的带宽，支撑着越来越多流量和应用部署。
传统的网络排障和监控方式如Wireshark、SNMP、QOS流通等越来越无法满足客户的需求。
由于现有工具对流量监管和统计的不灵活，定位故障速度慢，专用流量分析设备价格高等原因，不能对网络流量更精细的分析，需要一套更完整的网络流量监管系统更好的服务于网络流量分析。
为了更好的解决日常网络运维中存在的问题，NetFlow技术应运而生。
像SNMP协议一样，NetFlow技术也是一种根据网络流量信息分类统计分析的技术，且优于SNMP协议实现了很多额外的功能。
数据采集过程中的常见误差与排除方法
数据采集过程中的常见误差与排除方法数据采集是研究领域中不可或缺的一环。
准确的数据可以为研究者提供有力的支持和依据，但是在数据采集的过程中，常常会遇到一些误差。
这些误差如果不进行及时的排除，会导致数据的不准确性，进而影响后续的分析和结论。
本文将探讨数据采集过程中的常见误差，并介绍一些排除这些误差的方法。
误差一：测量误差在数据采集的过程中，测量误差是常见的一种误差。
测量误差的产生可能来自于测量仪器的不准确性、人为操作的失误等。
为了排除测量误差，我们可以采取以下几种方法：1. 校准仪器：在进行实际数据采集之前，首先需要校准测量仪器。
通过与已知准确数据的对比，可以发现测量仪器的偏差，并进行相应的调整，以提高测量的准确性。
2. 提高仪器操作的技术性：准确的数据采集需要熟练的仪器操作技巧。
研究者应该熟悉仪器的使用说明书，并进行充分的训练和实践，以提高操作的准确性。
误差二：抽样误差在进行实地调查或者问卷调查等采集大规模数据的过程中，抽样误差是经常遇到的。
抽样误差产生的原因可能是样本选取的偏差、样本容量的大小等。
为了排除抽样误差，我们可以采取以下几种方法：1. 随机抽样：随机抽样是降低抽样误差的常见方法。
通过在总体中随机选取样本，可以减小抽样偏差的可能性，提高采样的代表性。
2. 增加样本容量：样本容量的大小直接影响到抽样误差的大小。
通过增加样本容量，可以减小抽样误差，提高数据采集的准确性。
误差三：数据录入误差在将采集到的数据输入到计算机或者其他数据分析工具时，数据录入误差是常见的一种误差。
数据录入误差的产生可能是因为人为操作的失误、键盘输入错误等。
为了排除数据录入误差，我们可以采取以下几种方法：1. 仔细核对数据：在将采集到的数据录入到计算机或者其他数据分析工具之前，应该进行仔细的核对。
核对的过程中，可以逐项对比原始数据和输入数据，发现错误并进行纠正。
2. 使用数据录入软件：为了提高数据录入的准确性，可以使用专门的数据录入软件。
NetFlow分析
Flow分析简介ManageEngine NetFlow Analyzer是一个基于web的带宽监控工具，能帮助IT人员了解网络中带宽的利用情况。
通过将Cisco设备引出的NetFlow信息汇总，NetFlow Analyzer能够提供带宽利用的相关明细，如:∙哪些应用在占用带宽、谁在使用、使用多长时间。
∙为什么用户抱怨速度太慢？∙是否应该在带宽方面多做投资？∙如何识别安全隐患？借助NetFlow Analyzer，IT人员可以解决有关带宽管理的许多日常问题，更好地进行容量规划并增加昂贵的网络基础架构带来的投资回报。
2.产品优势简化带宽分析无需部署昂贵的硬件探针，即可查看带宽使用模式并生成涵盖LAN和WAN链路的报表。
广泛的图表和报表NetFlow Analyzer具有30多种不同的图表和报表，并带有能深入分析特定明细的选项，便于用户直接访问重要的信息。
用户可以在线查看不同时段的图表，并将其输出为PDF格式，请参阅详细信息。
设备分组该功能主要用于NOC和MSP安装，能帮助用户将NetFlow输出设备分组到不同的组别，以便进行针对性监控，以及向用户授予访问权限。
通信配置NetFlow Analyzer能自动识别多数企业的应用，如Oracle、PeopleSoft等，另外结合所用的特定端口和协议还能轻易识别自定义的应用。
授权访问NetFlow Analyzer允许创建许多用户，通过赋予不同的访问权限，可以选择性地允许访问并查看流量图表，及生成流量报表等。
基于Web的远程访问NetFlow Analyzer提供了web用户界面，因此用户仅需一个web浏览器即可从网络中的任何地方轻易查看到WAN链路的流量报表和即时快照。
多平台部署NetFlow Analyzer可以在Windows和Linux平台上运行。
经济的解决方案与多数提供NetFlow分析的网络管理解决方案不同，NetFlow Analyzer价格较低，并能作为一个单独的工具运行使用。
流量计算误差的分析及改进方法
３ （ ０ｍ 右岸 ） ２４ ５ 、６ 左岸 ） 和 ５ ２ ６２０ｍ（ 的垂线均是 中高水 位测 流时 的岸边测 速垂线 ， 以这 ４条 垂线作 为分 析对 象 。在 前述 故 的 ２ 多垂线法 流量 资料 中选 择 至水边 另加 测 ２条以上 测速 ２次
垂线的资料作为计算依据， ４ 分 种情况将各次资料中各条垂线 的单宽流量与至分析垂线的距离均化为相对值 ， 使分析垂线的
（ 为垂线平均流速 ； 为常数 ； ｈ为垂线水深 ） 是令人 质疑的。 众所周知 ， 它将 明槽均匀流时断面平均流速与水力半径 、 水力坡 度和糙率之间的关系 ， 即谢 才公式简 化成天然河 道非 恒定流 时 断面内所有垂线平均流速与水深 关系 的统 一表 达式 ， 这两者无 论在概念上还是数量上都有很大差别 。
寺 （ ｌｌ ２２ ｈ ＋ｈ口）
（） ３
对于用流量 国标 法计 算断 面流量 系统 偏小 的问题 ， 人 已 前 做过不少分析研究 ， 并提出过不少改进 意见 ， 但至 目前 为止仍存 在一些问题 ： 分析 了水深直线变化时产生的流量误 差 ， 未能对水
深与流速均直线 变化时的综合影 响进行分 析 ， 能揭 示单 宽流 未 量横 向变化的实质 ； 在确定流量标准值时 引用 的公式 ： 粥
作者简介 ： 志岗， 长江水利委 员会汉江水文水资源勘 测局 ， 贺 男， 工程 师。
・
４
・
维普资讯
Ｑ Ｑ 』ｄ ＝ ＝。Ｂ Ｂ ｇ
口ｑ ｂ ＋÷ （１ ２ ６ ＋ ＿ ｑ ＋ｑ）３＋… ＋ ｌｌｌ ｑ ＋ｑ）２ Ｉ ２ ３ ６ （ ｒ － ） ＋ － ｌ ｂ ＋口ｇｂ Ｉ Ｉ ｑ一 ４ｑ １ｂ ｌ ＿ ｇ一 ＋ｑ） ＋ （ ２ 一 一 （
基于探针与NetFlow的高速网络流量监测技术的研究与实现
基于探针与NetFlow的高速网络流量监测技术的研究与实现赵丹怀北京邮电大学信息处理与智能技术重点实验室，北京（100876）E-mail：zhaodanhuai@摘要：随着互联网的高速发展，理解网络行为对网络管理、规划和发展都有重要意义。
网络流量监测是研究网络行为的基础。
高速网络流量测量是分析网络状况、掌握网络流量特性的有效方法。
为了更好实施网络资源管理，了解因特网业务，保障服务质量，对基于探针的网络监测模型，以及NetFlow技术的研究，阐述基于探针和NetFlow技术的高速网络流量监测技术研究与设计实现，为网络监测与技术提供参考。
关键词：流量测量，NetFlow，实时流量测量(RTFM)，流量探针1. 引言随着互联网的高速发展，网络流量监测技术作为目前唯一能用于分析网络状况、掌握流量特性的有效方法[1]，越来越引起企业和因特网用户，尤其IP网络运营商和因特网服务提供商(ISP)的重视[2]。
一方面，企业、用户在获得网络性能指标和测量工具，可以更清楚的理解所获得的服务，以及企业网络的运行状况；另一方面，IP 网络运营商和ISP通过对网络流量的分析，获取网络拓扑、设备状况、以及各项性能指标，可以更合理部署网络资源，增强网络容量，优化服务质量。
本文研究了基于探针的实时流量测量模型，对NetFlow技术进行分析，阐述基于探针和NetFlow技术的高速网络流量监测系统的设计与实现。
2. 基于探针的实时流量测量模型RTFM(Real time Traffic Flow Measurement)是IETF建立的一个工作组，致力于提出一种改进流量模型，该模型应当满足以下要求：可以用硬件实现；可用于IPv6流量测量；扩展原有的计费模型以扩大计量范围；实现简单；具有数据压缩的特性；同时建立流量计量管理信息库。
[3]该工作组在RFC2722中定义了RTFM的基本结构。
如下：图1：RTFM基本结构图中四个模块的含义分别是：1）管理器（Manager）：是配置计量器及控制计量阅读器实体的应用程序。
基于NetFlow流量采样的误差分析
基于 !"#$%&’ 流量采样的误差分析刘广义!卢 泉!杨国良"中国电信广州研究院 广州 !"#$%##( 前言随着宽带 )* 用户的迅速增长! 宽带业务对 )* 网络的影响 日益增大!宽带用户的热点业务模式&上网行为规律等对 )* 网 络的资源& 性能造成很大的影响$ 通过对网络流量的分析与评 估!可以了解业务与网络流量的关系!客观地评价各类用户上网 的特性和对网络造成的影响!有效地指导&验证网络规划!制定 业务发展策略!使运营商已有的网络发挥最大的效能$要进行网络流量分析必须先进行流量采样! 流量采样方法 多种多样!从原理上讲主要有以下三种’基于 +!,* 采集!基于流量探针的采样和基于流"-%&’(的采样$ 当前有两种基于流的 采样方式’ 作为 .$/ 标准的 0$%&’% 有望很快成为 .$1 标准的 !"#$%&’$ 支 持 !"#$%&’ 的 设 备 厂 家 包 括 1203&&45627"8 和 $&5698: 等!由于这些厂家在 )* 领域的垄断地位! 所以 !"#$%&’ 也成为流采样的事实标准$ 因此!本文主要对基于 !"#$%&’ 的流 量分析进行研究$下面的内容将分几个部分’首先介绍 !"#$%&’ 技术的原理! 然后对两类流量分析的结果进行误差分析! 最后根据实际流量 数据计算误差和给出结论$; 所示$流采样的优点’数据粒度细!支持的端口速率高!部署容易! 成本低廉$流采样的缺点’设备厂商的支持不够广泛!在海量数据的情 况下只能提供统计意义上准确的数据!对设备有一定影响$ 因 此流采样方式适于部署在骨干网的汇聚节点!提供海量的&较为 宏观的&统计意义上准确的分析数据$在 !"#$%&’ 的术语中!源地址<端口"7&8#(& 目的地址<端口& =&+ "#:7" &- 0"8>23"(& 协 议 号 & 流 入 接 口 索 引 号 "2675# 26#"8-?3" 269"@(这七个关键字定义一个流$ 因此!流可以形象地理解为一 个单向的端到端会话!流数据的粒度是基于端到端会话的$!"#$%&’ 简要工作过程如下’路由器在到达的数据包中按照 流量采样比采样数据包!分析包中 )* 层和 =1* 层字段!获得流 的信息并添加或更新 -%&’ 3?3A ""流缓存(中的表项$ -%&’ 3?3A " 中原始信息很多!有些是不关心的!因此路由器进行一定处理后) !"#$%&’ 技术原理基于流的流量采样系统包括’驻留在被管设备上的流代理! 采样&汇总流数据的采集器)3&%%"3#&8(!对流数据进行分析的管 理进程"可能安装在采集器上!也可能安装在另外的机器上(!用 于采集器和管理进程之间"如果需要(以及采集器和流代理之间 交换信息的通信协议$ 一个 !"#$%&’ 的流量采样分析系统如图电信科学!""! 年第! 期以标准协议格式发送给流量采集设备!流量采集设备负责存储数据"进一步处理和生成可读报表!最终"操作员通过远程终端控制流量采集设备并获取其生成的报表!从!"#$%&’的工作原理可以看出"流量采样比的大小对流量采集的影响至关重要!设得小了"设备压力大"影响正常业务工作#设得大了"流量分析的可信度降低!在现网环境下"流量采样比一般设为( )))*+至, )))*+"这样对路由器的影响较小!那么"这种采样比下得到的分析结果可信度如何$本文将重点分析这个问题!采样时间后"通过采样看到的第一类流量分析结果是收敛于真实结果的!通过采样分析求得特性包比例可以看作一个参数估计过程"那么下面求出特性包数比例的最大似然估计!对于采样过程中经过的数据包"是否被采样是随机的"是否为特性包也是随机的"因此可以把采样到的特性包数* 看作一个随机变量% 的取值"%的条件概率分布函数为= >?=- -!/?!,!;%3*<3>-/这个式子很难化简"根据%5(和!5"以概率+ 趋于相同极限"另外假设采样比合理设定"可以认为前后两个采样数据包是否属于特性包不相关!则当" 充分大后"可近似认为% 服从二项式分布)"#$%&’()流量分析误差计算误差需要明确流量分析目标!一般来说"流量分析目标分两类"第一类流量分析目标是某种%特性包&占总数据包数的比例"第二类流量分析目标是某种%特性包&的字节数占总字节数的比例!例如分析--- 协议包数占总数据包数的百分比属=, ’%3*(%-=>?=>) ;+?)<!其中) 就是待求的特性包比例!那么根据参考文献8(9可以求得) 的最大似然估计为))J3*5+由于+ 一般都很大"因此进一步近似可以将*5+看作服从#’)""((的正态分布"其中"(3)’+?)(5+!那么) 以+))’+?#(@于第一类"分析--- 协议的流量百分比属于第二类!差分析的计算公式和近似程度有所不同!"*+第一类流量分析的误差两类误对于第一类流量分析目标"下面从理论上证明"满足一定条件下采样得到的结果收敛于真实结果!令网络中数据包到达过程和采样过程分别为离散时间’)"+( 取值的随机过程!!.!/!""#012$!.$/!""#01!!/3+表示数据包到达过程中第" 个包具有某种特定属性"$/3+对应数据包到达过程中第" 个包被采样!为置信度的置信区间是8*5+?. "J"*5+A . "J9"其中"J(3)J;+?)J<5;+?+<##是"( 的无偏估计"#定义为),./B/13#"/是服从#;)C+<正态分"布的随机变量!在实际应用中".#"J可以理解成一定置信度下分析结果的绝对误差!+E D F*;+0*<+ & +?+设置信度为D,#"则#3)E),".#3+E D F".#"J3"""%3#$4!4’(3#$4’!3#!4令那么在置信度为D,#的情况下")的相对误差为) & 3 +& 3 +& 3 +% 是采样到的特性包个数"(是采样包的总数"!是真实的特性包个数!到第" 个包为止"通过采样所看到的特性包比例是%5("然而真实比例是)3!5"!假设下列条件满足"即当"$"时下面各式以概率+ 成立)+E D F*;+4*<+4*+ & +?+5;*5+<3+E D F&;+?+<*122323’G(从式’G(中可以看到"如果采样过程很长"+**很大的话"误差会很小!但是要注意"采样过程不能任意拉长"实际中必须要保证式’+(条件的满足"即流量在采样过程中的稳定性!根据这个结果可以做进一个具体分析!令置信度为D,#"*35+;)H5H+<"若要求"2232H1"则)%5"$*6"(5"$+6"!5"$!6’+(这里*6*+6*!6均为常数!式’+(表示)当流经的包总数" 足够大时"采样的特性包的比例趋于常数*6"采样包的比例趋于常数+6"真实特性包比例趋于常数!6!也就是说"在采样期间"所要分析的目标在统计意义上是稳定的!再假设下列条件满足"当"$"时"如果$/3+以概率+ 趋于某个常数)7"即)+B G E:I+F;+55?+<51(A+’I(取53)E+"13)E+"有+BG I,:! 也就是说"如果采样过程中特性包占到总采样包数的+)#"则只要采样G I,: 个包即能够在置信度为D,#的条件下"以小于+)#的误差估算特性包比例!可见" 要使分析结果在合理的误差范围内"需要的样本数并不多! "*,第二类流量分析的误差对于这一类流量分析"由于各个数据包的包长是一个变化范围很大的随机变量"没有明确的模型"分析起来很困难!因此目前还不能从理论上严格证明采样得到的结果在长时间后收敛,’$/3+($)7’((那么根据参考文献8+9中定理:"%5(和!!" 以概率+ 趋于相同极限!式’((的直观解释是)平均每+5)7个包中有一个被采样"而这正是!"#$%&’采取的方法!这表明只要采样过程中数据流统计特性保持稳定"在一段测试与维护于真实值! 但是"从实践经验来看"可以近似认为采样后的结果能够反映真实值的情况!基于这个假设"可以对第二类流量分析 的误差做近似估计"即估算 !"#$%&’ 采样到的某种# 特性包$ 流 量比例的误差大小%设采样过程中所有数据包服从相同的包长分布"均值为 !!",;=<<)(<=<< 或 ,=<<"流量分析误差都很小"差别不大% 因此"这 里选取一天中流量最小的时刻作为采样点"即 ;=@;"此时的流量分析误差在理论上是最大的% 流量分析及误差结果如下%总采样包数为 (@; ;,A 个"8(8 采样包为 ,<A <<B 个" 广东 采样包为 ;@ <<< 个"8(8 包比例为 @@! " 广 东 数 据 包 比 例 为 ((!" 置信度为 AA !"CD %9ED 为 (F ;G "8(8 包比例误差为 <F ;G H I 广东包比例误差为 <F AG H %采样到的流量为 ,F <J KL-#"总流量为 ;F ,B M L-#"8(8 流量比 例为 ;(!" 广东数据包流量比例为 (J !"8(8 流量比例误差为 <F G @!"广东数据包流量比例误差为 ,F (A H %从实际数据分析结果可以看到两类流量分析的误差是很小 的"仅为 ,H 左右"这说明了 !"#$%&’ 流量分析结果的可靠性%( "方差为 ")! 即 " 个采样包的总包长为 !*+!#!, !-"真实的 $ 个特 "性包的总包长为 %.+!&’, !/! 流量分析目标"即真实的特性包流%.量百分比 ( 为 % !*采样过程结束后"%* 是已知的"%. 是一个随机变量! 考虑到($ 一般很大"设 %. 近似服从正态分布 )&$!)"$")’% 那么 ( 服从正( (态分布 *&$!)0%*"$")0%* ’% 进一步推导有(" 结论本文首先简要介绍了 !"#$%&’ 流量采样技术" 然后对其采样分析结果的误差进行了理论分析% 理论分析分为两部分"一 部分是分析特性包比例的误差"一部分是分析特性包流量比例 的误差% 利用分析结果"文中对实际流量数据进行了计算% 计算 结果表明" 在本文的实验条件下基于 !"#$%&’ 的两类流量分析 结果的误差都约为 ,!"这验证了 !"#$%&’ 流量分析的正确性%在分析中可以看到采样到的特性包数越大"采样误差越小" 而采样包数和采样比是直接相关的% 在实际分析中发现 ; <<<=, 的采样比下"采样误差很小"而在一般的应用中",<H 以下的误 差是允许的"因此在以后的工作中"可以进一步考虑利用本文的 分析结果来设定较大的流量采样比"同时又使流量分析误差在 可接受的范围内"这样可以减轻路由器和流量采集器的负担%+12(3$!)0%*24,#") " $ 0%*5+,3#(其中 # 定义与前面相同% !))")为采样特性包的无偏估计" 即($$, , ( ( !)+ $ !%-. ")’ $/,!6%-3!)7 - + ,同样可得 ( 的相对误差为- + ,,!")01121+"$ !) 这个结果说明"给定可信度 !"只要知道采样到的特性包的平均包长和标准方差"以及采样到的特性包个数"就可以估算特 性包流量比例的采样误差%! 实际采样数据分析下面根据实际采样得到的数据"分析了中国电信骨干网络 一条链路上的广东省国际流量和 8(8 69"": #& 9"":7流量的分析 误差% 这里流量采样比设为 ; <<<=,"即每 ; <<< 个数据包采样 一个% 采样时间定为 ; >-?"因为根据经验 ; >-? 内流量统计特 性保持稳定% 经计算发现"无论采样点选取哪一时刻"如 ,<=<<)参考文献, N D O&’P O - Q "N "%D >"R S "T E -## T F U? D V ":DW "P P ""? L . D ::-V D %P -? R -P " X :"#" #->"F Y ?(8:&X ""R -?WP &Z #E " (G #E [&?Z ":"?X " &? \"X -P -&? D ?R [&?#:&%" M D >9D I $%&:-R D I \"X ">L ": ,AGA杨文礼" 廖昭懋F 概率 论 与 数 理 统 计F 北 京 ( 北 京 师 范 大 学 出 版 社 " ( &收稿日期(!""#$"%$&’’,AGG ###############################################*简讯*#$%&’()连续三年排名日本呼叫中心市场第一近日" 冲电气软件技术& 江苏’ 有限公司宣布(U ]Y [M P#D W "连续三年保持日本市场占有率第一地位% U ]Y 江苏软件是援引 日本株式会社矢野经济研究所最新发布的 (<<; 年度日本呼叫 中心市场调查报告而发布以上消息的%创办于 ,A ;G 年的矢野经 济研究所是日本最大的独立调研机构" 在日本拥有 , <<< 多家 上市公司会员"针对日本呼叫中心市场的发展状况"矢野经济研究所每年都专门进行研究分析"并发布年度报告%株式会社矢野 经济研究所就呼叫中心系统不同制造商 &8S ^0Q [\)_?8S ^’所 占市场份额进行了详细调查" 调查显示"U ]Y 自 (<<( 年首次以 [M P#D W " 销售占领呼叫中心市场 J ,H 的份额成为日本呼叫中心 的领导厂商"其后又连续两年以占领日本呼叫中心市场 J G H 份 额的销售业绩保持领先地位%。
第六节数据采集系统的误差分析
A/D转换器的误差
A/D转换器的静态误差 1量化误差 2失调误差 3增益误差 4非线性误差
6
A/D转换器的速度对误差的影响
A/D转换器速度用转换时间表示。 选用A/D转换器时必须考虑到转换时间满足系 统通过率的要求。 A/D转换器分为：高速 快速 低速
7
采集数据系统误差计算
◆ 误差项在五项以上，按均方根形式综合 ◆ 误差项在五项以下，按绝对值和的方式综 合
9
4初步选定各个元器件之后，还要根据各个元器件的 技术特性和元器件之间的相互关系核算实际误差， 并且按绝对值和的形式或方和根形式综合各类误 差，检验总误差是否满足给定的指标。
谢谢大家！
10
数据采集系统的误差主要包括： 模拟电路误差 采样误差 转换误差
2
采样误差 采样频率必须大于信号最高有效频率的两倍
◆ 为了避免输入信号中杂散频率分量的影响： 1在采样处理之前，用截止频率为最高有效 频率的低通滤波器，进行滤波。2提高采样 频率的方法消除混叠误差。 ◆ 采样是个动态过程 ◆ 系统通过速率的倒数为吞吐时间 ◆ 为了消除系统在转换过程的动态误差，模 拟开关对n路信号顺序进行等速切换时，采 样周期至少为n倍的吞吐时间。
3
使用重叠采样方式，在A/D转换器的转换和数据输 出的同时，切换模拟开关采集下一路信号，可提高 每个通道的吞吐率。 设计数据采集系统选择器件时： 必须使器件的速度指标满足系统通过率的要求； 模拟开关、采样/保持器和A/D转换器的动态参数必 须满足系统的吞吐时间。
4
模拟电路的误差
1模拟开关导通电阻的误差：来自8数据采集系统的误差分配举例
1方案选择 设计一个数据采集系统，一般先给定一些特征条件， 根据条件，初步确定通道的结构方案和选择元器 件。 2误差分配 根据通道的总精度要求，给各个环节分配误差，以 便选择元器件。通常传感器和信号放大电路所占 误差比例最大 3初选元器件与误差估算 选择元器件精度的一般规则：每一个元器件的精度 指标应优于系统的某一最严规格的性能的10倍左 右。