NetFlow学习笔记
NETFLOW技术介绍
1. 流量流向监测技术1.1 概述传统的网络流量监测技术的局限性SNMP采集端口的数据主要是在网元层用来监控网络流量和设备的性能,而且SNMP 采集的数据是基于端口的,无法提供端到端的准确的流量信息,因此对流向的统计手段不明确。
利用RMON探针对运营商网络进行流量和流向管理可以部分弥补SNMP的技术局限性,其业务分析和协议分析功能较强。
但是,采用RMON探针建设的流量监测系统也有处理性能不足和难以在大型网络普遍部署的局限性。
提出新的流量监测技术为克服现有网管系统对网络流量和流向分析功能的技术局限性,运营商迫切需要寻找一种功能丰富、成熟稳定的新技术,对现有管理系统中流量信息的采集和分析方式进行改造和升级。
新的流量信息采集和分析技术应具备对运营商的运行网络影响小、无需对网络拓扑进行改变就能平滑升级的技术特征,既可以对网络中各个链路的带宽使用率进行统计,又可以对每条链路上不同类型业务的流量和流向进行分析和统计。
本文主要介绍应用广泛的Cisco NetFlow技术、华为Netstream技术、Sflow 、Cflowd 和IPFIX 以及支持上述流监测技术的厂家和设备情况。
1.2 相关厂家及设备2Netflow2.1 流原理netflow 的信息单元是flow。
flow是一个单向的带有唯一标识字节组的传输流。
基本的标识为:source-IP-address, source-port, destination-IP-address, destination-port, IP-protocol, TOS, input interface ID。
当路由器接收到一个没有flow入口的数据包时,一个flow的结构将被初始化以保存其状态信息如:交换的字节数、IP地址、端口、自治区域等。
随后所有满足这个flow结构的数据包都将增加flow结构的字节计数和包计数,直至这个flow中止并输出。
Netflow功能是在一个路由器独立完成,它不涉及路由器之间的任何连接设置协议,也不要求对数据包本身或其它任何网络设备进行任何外部修改。
netflow原理
1、Natflow原理:2、输出流信息的格式3、natflow用途a)网络监控b)应用监控c)用户监控d)网络规划e)安全分析f)记账3、netflow网络设备的配置和相关参数Cisco Netflow配置命令a)ip route-cache flow 在接口上配置Netflow采样。
b)ip flow-export destination ip_address port 将Netflow的采样信息输出到Netflow的流量分析系统上,这里2055是NI系统的Netflow默认端口号,如果是其他的Netflow系统可以在下面的命令行里更改端口号,NI系统也可以在全局配置下更改端口号。
c)ip flow-export source interface_name 配置发送Netflow采样信息的源接口,建议使用Loopback接口。
ip flow-export version 5 配置Netflow的版本号为5。
d)ip flow-cache timeout active x 生成告警和显示故障排除数据为x分钟。
snmp-server ifindex persist 全局启用ifIndex持续化(接口名)。
配置举例:router#configure terminalrouter(config)#interface FastEthernet 0/0router(config-if)#ip route-cache flowrouter(config-if)#exitrouter(config)#ip flow-export destination 10.10.10.25 2055router(config)#ip flow-export source loopback 0router(config)#ip flow-export version 5router(config)#ip flow-cache timeout active 1router(config)#snmp-server if验证命令show ip flow export 显示当前Netflow的配置。
网络流量分析NetFlow协议解析
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具,在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析,介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据,为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段:数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上,通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式:Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理;Sampled Flow是指以一定的频率采样流量数据进行处理,减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息,如源IP地址、目的IP地址、源端口、目的端口、协议类型等,并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种:NetFlow v5和NetFlow v9。
NetFlow v5是早期版本,具有广泛的兼容性;NetFlow v9则是最新版本,支持更多的字段,并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能:1. 流量统计NetFlow可以对流量进行实时统计,包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况,有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析,NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
NetFlow协议介绍
0x0
input ifIndex:
8
src AS:
0
output ifIndex: 55
dst AS:
321
src port: 12043
src masklen: 20
dst port: 80
dst masklen: 0
pkts:
6
TCP flags: 0x1b
bytes:
680
engine type: 1
Netflow V8,增加了网络设备对Netflow统计数据进行自动汇聚 的功能,可以大大降低对数据输出的带宽需求。
Netflow V9,一种全新的灵活和可扩展的Netflow数据输出格式 ,采用了基于模板(Template)的统计数据输出。方便添加需 要输出的数据域和支持多种Netflow新功能,如 Multicase Netflow,MPLS Aware Netflow,BGP Next Hop V9 ,Netflow 平台支持
Cisco IOS™ 软件 版本支持
11.1CA, 11.1CC 11.2, 11.2P 11.2P 11.3, 11.3T 12.0
支持的 NetFlow 输出版本
v1, v5 v1 v1 v1 v1, v5
12.0T 12.0S 12.0(3)T and later 12.0(3)S and later
源地址 目的地址 源端口 目的端口 协议类型 分组数 字节数 其它...
理解 NetFlow 的关键
基于 Flow 的分析 !
导出的 NetFlow 数据
1. 源地址 2. 目标地址 3. 源端口 4. 目标端口 5. 第 3 层协议 ...........
一个NetFlow流定义为在一 个源IP地址和目的IP地址 间传输的单向数据包流, 且所有数据包具有共同的 传输层源、目的端口号!
netflow字段解释
first和last 分别是流中第一个包和最后一个包的时间戳
srcaddr和dstaddr 分别是是源IP和目的IP地址
srcport和dstport 分别是源IP和 比如TCP或者UDP
src_mask和dst_mask 分别是源的最长匹配IP前缀的长度和目的IP地址
1285804501,0,2442636503,127.0.0.1,1,40,2442590868,2442590868,0,0,128.103.176.0,24.8.80.0,64.57.28.75,213,225,80,51979,6,0,17,16,0,1742,0
这就表示,你有一个流,里面有40 byte的包,在2442590868时刻到达,这个包由128.103.176.0源地址发往24.8.80.0目的地址,其中最后11位置0,是为了数据的匿名。源端口是80,目的端口是51979;假定这是一个web服务器到web客户端的流。协议号是6,tcp_flag是17表示ACK和FINbit位被设置为1,考虑这是一个FIN-ACK包。Web传输的其他传输的其他包可能没有包括在这个流记录中,这是由于报文抽样导致的。源和目的mask是16和0,表示源前缀128.103.0.0/16和目的前缀都是未知的或者是0.0.0.0/0,源AS是1742,由于各种原因原因目的AS未知。
src_as和dst_as 分别是匹配源地址和目的地址的IP前缀的AS
举例来说
#:unix_secs,unix_nsecs,sysuptime,exaddr,dpkts,doctets,first,last,engine_type,engine_id,srcaddr,dstaddr,nexthop,input,output,srcport,dstport,prot,tos,tcp_flags,src_mask,dst_mask,src_as,dst_as
NetFlow学习笔记
NetFlow是一种数据交换方式。
Netflow提供网络流量的会话级视图,记录下每个TCP/IP事务的信息。
也许它不能象tcpdump那样提供网络流量的完整记录,但是当汇集起来时,它更加易于管理和易读。
Netflow由Cisco创造。
工作原理:NetFlow利用标准的交换模式处理数据流的第一个IP包数据,生成NetFlow 缓存,随后同样的数据基于缓存信息在同一个数据流中进行传输,不再匹配相关的访问控制等策略,NetFlow缓存同时包含了随后数据流的统计信息。
NetFlow有两个核心的组件:NetFlow缓存,存储IP流信息;NetFlow的数据导出或传输机制,NetFlow利用此机制将数据发送到网络管理采集器。
概念:一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流,且所有数据包具有共同的传输层源、目的端口号。
确定Flow的标识:SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface数据采集格式NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式,下例为NFC2.0采集的一种流量数据实例,本文的分析都基于这种格式。
61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1数据中各字段的含义如下:源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目的端口|协议类型|包数量|字节数|流数量cache缓存空间可配置的Cache维护机制一般情况下Cache空间的占用是与所监控的Flow数量呈正比的,但是当链路中充斥着大量的短连接Session时,Flow表项数量可能会因为没有得到及时释放而过多占用有限的Cache空间。
为此,NetFlow 提供了一种非常复杂、高效的算法以快速定位一个数据包在该Cache中的位置或判断是否应新建表项,并且通过管理员给定的阀值进行各类表项的超时导出,从而及时释放老的表项以容纳新建Flow信息。
netflow技术讲解
IP网络承载能力与所提供的应用业务规模向来都是相辅相成的,一方面IP网络的建设将给新应用技术的推广提供有效的实施平台,另一方面应用业务也会随着自身系统发展需要而对现有IP网络提出更高的资源需求,从而推动IP网络基础建设进入新的建设周期。
在这种类似于“鸡生蛋、蛋生鸡”的逻辑悖论中,另外一个问题却是毋庸置疑的凸现了出来,那就是如何把应用业务与其所占用的IP资源(如带宽)清晰、准确的对应起来,如何保证有限的IP资源能够被合理应用的到主要利润业务中。
以NetFlow为代表的Flow技术正是为响应这种挑战而出现的新型解决途径。
什么是Flow在最开始,Flow是网络设备厂商为了在网元设备内部提高路由转发速度而引入的一个技术概念,其本意是将高CPU消耗的路由表软件查询匹配作业部分转移到硬件实现的快速转发模块上(如Cisco的CEF模式)。
在这种功能模式中,数据包将通过几个给定的特征定义归并到特定的集合中,这个集合就是Flow。
每个Flow的第一个数据包除了促使该Flow记录的产生以外,还要驱动网元三层模块完成路由查询并将查询结果同期放入Flow记录中,而该Flow集合的后续数据包将直接在Flow的已有记录中获得路由转发信息,从而提高了网元设备的路由转发效率。
作为网元设备内部路由机制优化的副产物,Flow记录能够提供传统SNMP MIB 无法比拟的丰富信息,因此Flow数据被广泛用于高端网络流量测量技术的支撑,以提供网络监控、流量图式分析、应用业务定位、网络规划、快速排错、安全分析(如DDOS)、域间记帐等数据挖掘功能。
相对于会话(“Session”)而言,“Flow”具备更细致的标识特征,在传统的TCP/IP五元组的基础上增加了一些新的域值,至少包括以下几个字段:源IP地址目的IP地址源端口目的端口IP层协议类型ToS服务类型输入物理端口以上七个字段可以唯一地确定任意一个数据包属于哪个特定的Flow,换而言之任何一个字段出现了差异都意味着一个新Flow的发生。
netflow 解析
netflow 解析
NetFlow是一种网络监测功能,可以收集进入及离开网络界面的IP封包的数量及资讯。
最早由思科公司研发,应用在路由器及交换器等产品上。
经由分析NetFlow收集到的资讯,网络管理人员可以知道封包的来源及目的地,网络服务的种类,以及造成网络拥塞的原因。
NetFlow的版本有:
NetFlow V1:为NetFlow技术的第一个实用版本,在如今的实际网络环境中已经不建议使用。
NetFlow V5:增加了对数据流BGP AS信息的支持,是当前主要的实际应用版本。
NetFlow V7:思科Catalyst交换机设备支持的一个版本,需要利用交换机的MLS或CEF 处理引擎。
NetFlow V8:增加了网络设备对NetFlow统计数据进行自动汇聚的功能,大大降低对数据输出的带宽需求。
NetFlow的IP Flow和NetFlow Cache是两个重要的概念。
IP Flow可以用于网络设备之间的流量信息交换,帮助网络管理人员更好地了解网络流量情况。
而NetFlow Cache则可以用于存储NetFlow收集到的流量信息,以便后续分析和处理。
以上信息仅供参考,如有需要,建议您咨询专业技术人员。
NetFlow技术原理
注: Cisco产品配置命令:snmp ifmib ifindex persist 保证设备重启之后,设备的ifindex号保持不变
NetFlow 配置命令说明
全局配置
设置NetFlow的版本: ip flow-export version 9 设置用于输出数据包的源地址: ip flow-export source <接口> 一般设置为:到达目的地(采集设备SinoBaaS)的最佳路由接口 设置输出的目的地: ip flow-export destination <目标 IP> <目标端口>
NetFlow的用途
利用Netflow技术可以监测网络上的IP Flow信息 IP Flow信息,可以回答用户的下面问题(5W1H) 谁(Who: 源IP地址) 什么时候(When——开始时间、结束时间) 访问路径(Where)
从哪(From:源IP、源端口) 到哪(To:目标IP、目标端口)
老化的Flow信息,采用UDP包发送到采集器 使用NetFlow版本V5,V9,一个UDP包最大可 包括30个流(Flow)
NetFlow 数据记录
使用情况
• Packet Count • Byte Count
• Start Timestamp • End Timestamp
• Source IP Address • Destination IP Address
NetFlow工作原理
Flow Cache老化机制
流设备每秒检查一次cache,对条目做如下老化 (Aging)措施:
netflow使用技巧
netflow使用技巧NetFlow是一种网络流量监控和分析工具,它可以帮助管理员了解网络中的流量模式以及检测潜在的安全威胁。
以下是一些使用NetFlow的技巧和建议。
1. 配置正确的Flow记录:在启用NetFlow之前,确保正确配置Flow记录。
Flow记录可以包括源IP地址,目标IP地址,源端口,目标端口,传输协议等信息。
根据网络的具体需求,进行灵活的配置。
2. 监控带宽使用率:通过分析NetFlow数据,可以了解网络的实际带宽使用情况。
管理员可以了解哪些应用或设备占用了大量的带宽资源,从而进行合理的带宽分配和优化。
3. 检测DDoS攻击:NetFlow可以检测和识别潜在的DDoS攻击。
通过监测流量模式的异常变化,管理员可以及时采取措施,阻止攻击并保证网络的正常运行。
4. 发现网络访问模式:通过分析NetFlow数据,可以了解哪些用户访问了哪些网站,下载了哪些文件等。
这些信息对于优化网络策略、监测不当使用以及防止信息泄漏等方面都非常有用。
5. 帮助网络规划和优化:NetFlow可以提供详细的网络流量统计和分析报告。
根据这些报告,管理员可以了解每个网络节点的流量情况,帮助进行网络规划和拓扑优化,提高网络的性能和可靠性。
6. 检测安全事件和异常行为:通过定期分析NetFlow数据,可以及时发现可能存在的安全风险和异常行为,例如恶意软件感染、未经授权的访问等。
及时采取相应的安全措施,提高网络的安全性。
7. 实时监控网络流量:使用支持实时流量分析的NetFlow工具,管理员可以实时监控网络中的流量情况。
这对于快速应对网络故障、识别网络拥塞、监测恶意攻击等都非常有帮助。
8. 与其他安全工具结合使用:NetFlow可以与其他安全工具(如入侵检测系统、防火墙等)结合使用,进一步提高网络的安全性和防御能力。
通过分析NetFlow数据,可以帮助检测和识别潜在的安全威胁。
9. 学习网络行为和趋势:通过长期收集和分析NetFlow数据,管理员可以了解网络的行为模式和趋势变化。
netflow学习笔记
netflow学习笔记安装环境注意:netflow服务需要消耗大量的cpu资源,所以尽可能的多分配cpu资源操作系统:windows 2008 r2软件名称:ManageEngine_NetFlowAnalyzer_9861安装步骤,只需下一步下一步即可,默认自带的数据库是postgres,可选择自行安装sqlserver netflow设备配置需要上防火墙和路由器设备进行参数配置(需要防火墙和路由器口令)服务监听端口:9996web访问端口:8080实体router配置:a、在全局模式下配置:以管理员身份登陆路由器,执行如下操作进行Netflow配置;router#configure terminalrouter(config)#ip flow-export destination 10.182.15.247 9966router(config)#ip flow-export source loopback 0router(config)#ip flow-export version 5router(config)#ip flow-cache timeout active 1router(config)#snmp-server ifindex persistb、在端口配置模式下配置router#configure terminalrouter(config)#interface FastEthernet 0/0router(config-if)#ip route-cache flowrouter(config-if)#exitc.验证命令show ip flow export 显示当前Netflow的配置。
show ip cache verbose flow 显示当前活动数据流概要,设备输出了多少Netflow数据。
web界面控制台安装完发现设备后可以通过web界面的控制台来操作,安装完首页如图:设备接口模块菜单,所有的设备发现都会出现在这个地方,如图:具体的接口模块,每个模块都有单独的意义3rd-1快付通3rd-2信息大厦WLAN与深圳IDC路由相接的harbin哈尔滨银行inside入口outside出口prod是生产的,其网关做在ASA5555DMZ10.27.1.0/24用的,但是这个网段没有服务器staging准生产,其网关做在ASA5555xthy信托花园xthyb信托花园bCT-MSTP-TO-SZHQ太平金融CT-MSTP-TO-WH武汉专线SVI-MSTP-SZIT深圳专线SVI-MSTP-SZ19F新浩E都19楼svi_interconnection_towards_3800nat深圳IDC到电信的专线点击图表按钮会显示如下图的图形界面故障报警器报表模块,可以按需要筛选条件查询,生成报表,但netflow的这个版本的报表模块有点奇怪,就是没有导出功能下图是按条件筛选后生成的数据按接口模块查询报表,主要是以图表的形式展现,如下图配置模块,有邮箱配置、短信配置、代理配置和一些基本项配置。
NetFlow分析
Flow分析简介ManageEngine NetFlow Analyzer是一个基于web的带宽监控工具,能帮助IT人员了解网络中带宽的利用情况。
通过将Cisco设备引出的NetFlow信息汇总,NetFlow Analyzer能够提供带宽利用的相关明细,如:∙哪些应用在占用带宽、谁在使用、使用多长时间。
∙为什么用户抱怨速度太慢?∙是否应该在带宽方面多做投资?∙如何识别安全隐患?借助NetFlow Analyzer,IT人员可以解决有关带宽管理的许多日常问题,更好地进行容量规划并增加昂贵的网络基础架构带来的投资回报。
2.产品优势简化带宽分析无需部署昂贵的硬件探针,即可查看带宽使用模式并生成涵盖LAN和WAN链路的报表。
广泛的图表和报表NetFlow Analyzer具有30多种不同的图表和报表,并带有能深入分析特定明细的选项,便于用户直接访问重要的信息。
用户可以在线查看不同时段的图表,并将其输出为PDF格式,请参阅详细信息。
设备分组该功能主要用于NOC和MSP安装,能帮助用户将NetFlow输出设备分组到不同的组别,以便进行针对性监控,以及向用户授予访问权限。
通信配置NetFlow Analyzer能自动识别多数企业的应用,如Oracle、PeopleSoft等,另外结合所用的特定端口和协议还能轻易识别自定义的应用。
授权访问NetFlow Analyzer允许创建许多用户,通过赋予不同的访问权限,可以选择性地允许访问并查看流量图表,及生成流量报表等。
基于Web的远程访问NetFlow Analyzer提供了web用户界面,因此用户仅需一个web浏览器即可从网络中的任何地方轻易查看到WAN链路的流量报表和即时快照。
多平台部署NetFlow Analyzer可以在Windows和Linux平台上运行。
经济的解决方案与多数提供NetFlow分析的网络管理解决方案不同,NetFlow Analyzer价格较低,并能作为一个单独的工具运行使用。
网络流量分析NetFlow协议详解
网络流量分析NetFlow协议详解网络流量分析一直是网络管理和安全领域的重要任务之一。
通过分析网络流量,我们可以获取有关网络设备、流量模式和潜在威胁的宝贵信息。
而NetFlow协议正是一种流量分析机制,可以帮助我们实现这一目标。
一、NetFlow概述NetFlow是一种网络协议,由思科公司于1996年提出并推广。
它能够实时地收集和分析网络流量数据,帮助网络管理员监测和管理网络的性能、安全和流量负载。
二、NetFlow的工作原理NetFlow的工作原理非常简单,它通过捕获网络设备转发的流量数据,并将其转化为可分析的格式。
具体而言,NetFlow将捕获到的流量数据分为数据包头部和统计信息两部分进行存储和分析。
1. 数据包头部NetFlow会捕获网络数据包的源IP地址、目的IP地址、源端口、目的端口以及协议类型等关键信息。
这些信息对于识别网络中的流量来源、目的地以及协议类型非常重要。
2. 统计信息除了数据包的关键信息外,NetFlow还会统计每个会话的其他关键指标。
比如,数据包数量、传输速率、流量持续时间以及平均数据包大小等。
这些统计信息对于网络管理员来说非常有价值,可以帮助他们识别网络中的异常活动、确定流量瓶颈以及进行容量规划。
三、NetFlow的应用场景NetFlow协议在网络管理和安全领域有着广泛的应用场景。
下面,我们将重点介绍其中的几个方面。
1. 网络容量规划通过分析流量数据,NetFlow可以提供有关网络容量规划的信息。
它可以帮助管理员识别网络中的高峰和低谷时段,进而合理规划网络的带宽和硬件资源。
2. 安全威胁检测网络安全是当今互联网世界中不可忽视的重要问题。
NetFlow可以帮助管理员及时发现和识别网络中的潜在安全威胁,比如DDoS攻击、端口扫描和恶意软件传播等。
通过分析流量数据,管理员可以实时监测网络并采取相应的安全措施。
3. 业务分析和优化除了容量规划和安全威胁检测外,NetFlow还可以用于业务分析和优化。
NETFLOW教程
NetFlow教程1NetFlow介绍1.1 NetFlow的产生原因●由网络设备进行原始统计信息的汇聚可以大大减少网络设备输出的数据量,降低对上层管理服务器的配置要求,提高上层管理系统的扩展性和工作效率。
●虽然SNMP有助于容量规划,但无法提取流量特征,而只有了解了特征,才能保证业务连续性,确定是否需要增加容量才能提高利用率保证,以及评估QoS参数是否符合目标服务水平要求等●流量特征提取遇到的另一个困难是,许多新应用每次使用的端口都不相同,它们每次都动态选择新端口使用。
1.2 NetFlow技术的起源NetFlow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的,并于同年5月注册为美国专利,专利号为6,243,667。
NetFlow技术首先被用于网络设备对数据交换进行加速,并可同步实现对高速转发的IP数据流(Flow)进行测量和统计。
经过多年的技术演进,NetFlow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现,而对流经网络设备的IP数据流进行特征分析和测量的功能也已更加成熟,成为了当今互联网领域公认的最主要的IP/MPLS流量分析和计量行业标准,同时也被广泛用于网络安全管理。
利用NetFlow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量,并提供网络运行的准确统计数据,这些功能都是运营商在进行网络安全管理时实现异常通信流量检测和参数定性分析所必需的。
1.3 什么是NetFlow●通过分析网络中不同Flow间的差别,可以发现判断任何两个IP数据包是否属于同一个Flow。
实际上可以通过分析IP数据包的以下7个属性来实现:➢源IP地址(Source IP address)➢目的IP地址(Destination IP address)➢源端口号(Source port number)➢目的端口号(Destination port number)➢协议类型(Protocol type)➢服务类型(Type of service)➢输入/输出接口(Input/Output interface)将路由器的所有数据包分成很多有以上信息的7字段值的单向IP 数据流,称为网流(NetFlow)。
利用思科Netflow技术进行IP网流量和流向分析--深入浅出的巨牛的Netflow资料!!
利用Cisco Netflow技术进行IP网流量和流向分析IP网流量管理面临的挑战随着宽带互联网在中国的迅速发展,中国各大电信运营商的网络规模都在不断扩张且网络结构日渐复杂。
为了更好地服务企业客户,及时了解自身网络的负载状况和重要业务的带宽占用率;准确计量国际国内运营商间、骨干网/城域网间通信流量和业务类型;正确规划和评估网络扩容、升级等目的,电信运营商需要能对网络和其承载的各类业务进行及时、准确的流量和流向分析。
国内电信运营商当前的网络流量管理现状是,绝大多数企业的运维部门还都没有建设一套能够完全满足上述管理需求的网络及业务流量和流向分析系统。
大部分网管系统还只是采用一些通用型的网络链路使用率监视软件,如MRTG,利用SNMP协议对网络的重点链路和互联点进行简单的端口级流量监视和统计;或采用在网络中部分重点POP点加装RMON探针的方式,利用RMON I/II协议对网络中部分端口进行网络流量和上层业务流量的监视和采集。
但是上述两种被普遍采用的网络流量分析系统都有其显著的技术局限性。
∙利用SNMP协议能够对被监视的各个网络端口进出的数据包数和字节数进行采集,但采集到的流量信息较为粗糙,不但包括网络层的客户业务流量信息,还包括链路层的数据帧包头,Hello数据包,出错后重新传送的数据包等流量信息。
而且SNMP协议还无法区分网络层数据流量中各种不同类型客户业务在总流量中的分布状况,也无法对进出的流量进行流向分析。
∙利用RMON协议对运营商网络进行流量和流向管理可以部分弥补SNMP协议的技术局限性,如可以对业务流量进行统计,但同时也暴露出新的技术局限性。
首先,由于RMON协议需要对网络上传送的每个数据帧进行采集和分析,会耗用大量的CPU资源因而不可能由网络设备本身实现,需要额外购买和安装内置式或外置式的RMON探针。
市场上现有的RMON探针处理能力也有限制,还不能支持监控端口速率超过1Gbps的网络端口。
netflow v9 protocol 4层协议类型 -回复
netflow v9 protocol 4层协议类型-回复NetFlow V9 Protocol 4层协议类型NetFlow是一种网络流量监测和分析技术,通过收集网络数据包,并将其转化为可用于网络性能监测和故障分析的有用信息。
在这个过程中,NetFlow支持多种不同的协议类型,其中包括四层协议类型。
本文将逐步回答关于NetFlow V9 Protocol 4层协议类型的问题,以帮助读者更好地理解这项技术。
第一步:NetFlow简介首先,我们需要了解基本的NetFlow概念。
NetFlow是一种网络流量监测和分析技术,最初由思科系统公司在1996年开发并引入。
它通过在网络设备上收集IP数据包的统计信息,生成流量报告,用于网络管理、容量规划和故障排除等方面。
第二步:NetFlow v9NetFlow版本9是最新的NetFlow协议版本,相较于之前的版本具有更多的功能和灵活性。
NetFlow v9通过增加模板功能,使得网络管理员可以根据需要灵活地定义需要收集和分析的流量数据。
第三步:四层协议类型NetFlow v9支持多种不同的协议类型,包括四层协议类型。
四层协议类型是基于传输控制协议(TCP)和用户数据报协议(UDP)这两种最常见的四层协议,来进行流量监测和分析的一种方法。
第四步:四层协议的工作原理在四层协议的工作原理中,NetFlow v9会检查网络数据包的四层协议头部,以识别是否为TCP或UDP数据包。
然后,NetFlow会收集关于这些数据包的统计信息,例如源IP地址、目标IP地址、源端口号、目标端口号、数据包大小等。
这些信息可以用于分析网络流量特征、识别流量模式和诊断网络问题。
第五步:TCP流量分析对于TCP流量,NetFlow可以提供有关TCP连接的详细信息。
这些信息包括建立TCP连接的时间、源IP地址和端口、目标IP地址和端口、连接持续时间、数据包数量、字节数等。
通过分析这些信息,网络管理员可以了解到TCP连接的性能状况,例如延迟、丢包率和带宽利用率等。
s03-流量分析技术-netflow
3-19
Flow tools
IP网络流量分析
3-20
Arbor
• 支持NetFlow V5,V7,V9,probe
• Peakflow SP(最新的arbor主页无法看到DoS和
Traffic,合并了?)
– Peakflow DoS:主要侧重于网络内的异常行为 – Peakflow Traffic:主要侧重于流量和路由行为
期的flow记录以UDP方式导出
IP网络流量分析
3-5
NetFlow原理-2
IP网络流量分析
3-6
支持NetFlow的设备
NE系列
IP网络流量分析
3-7
对于不支持netflow的设备
• • • •
读入流量,生成netflow数据 Nprobe v5/v9/nFlow Probe for IPv4/v6 Packet Size (Bytes): Throughtput (Pkt/sec)
IP网络流量分析
3-29
NetFlow配置-2
• 配置netflow服务器地址和端口号
– config全局状态下: – (config)#ip flow-export destination xxx.xxx.xxx.xxx 55888 – xxx.xxx.xxx.xxx为netflow服务器地址,即运 行netflow版流量监视程序主机的IP地址
IP网络流量分析
3-14
NetFlow实测对比
• CISCO实测
– 某省骨干端口GE口 GSR12416 – CPU前后没有变化2% – 平均入流量在650M,采样 率为500的时候 – 15分钟平均flow条数为 110000万条 – 每秒122条flow – 122*1.4k=171k/sec – 预期:650M的百分之一 6.5兆=6500k
NetFlowV5
NetFlow以UDP数据报(datagram)的形式,其中的所有字段都是按照网络字节的次序排列的。
Cisco建议接收程序检查数据报,用以保证数据是从有效的NetFlow源头来的。
Cisco 建议你首先检查数据报的大小,确信它最起码有足够长,可以容下版本字段和计数字段。
接下来,你应该证实版本是有效的(为1或5),而且接收到的字节数足以容纳头标信息和对信息流记录进行计数(当然要使用合适的版本)。
因为NetFlow输出采用“用户数据报协议”(UDP——User DatagramProtocol)来发送输出的数据报,所以可能会丢失数据。
为了确定信息流输出信息是否丢失了,版本5的头标信息格式中包含了一个信息流序列号。
这个序列号等于前一个序列号加上刚刚过去的数据报中信息流的个数。
当接收到一个新的数据报后,接收程序可以从头标信息中的序列号中提取出的预期的序列号,这样即可以获取丢失信息流的数目。
版本5头标信息格式
版本5信息流记录格式。
6-IPFIX和NetFlow
Address
Source AS Number Source Subnet Mask
Interface Application
Input physical interface Source TCP/UDP port Packet count Byte count
Statistics
Start timestamp End timestamp
因特网是全球性的工具 因特网有统一的基本规则、协议、流程 谁来制订这些统一的标准? 主要组织:IETF
– – –
3
Internet Engineering Task Force 通过发布RFC的形式制订标准
l
l l
4
IPFIX-网络流量监测系统参考模型
详见RFC5470
5
监测系统各个组件
• Observation Points:探针,连接到网络接口,获取流量。 • Metering Process:测量程序,将网络流量转化为流记录。 • Exporter:上报设备,运行一个或多个上报程序 • Exporting Process:上报程序,发送流记录到一个或多个采集程 序,流记录由一个或多个测量程序产生。
–
仅有HP、Foundry和Extreme Networks等厂商的部分型号 的交换机支持sFlow。
主流的流技术
l
J-Flow
–
Juniper开发的网络监测技术,类似于cisco的 Netflow。 目前有版本v5,v8,其中v5最常用。 华为制订的私有技术协议,类似于Cisco公司的 Netflow。 应用于华为、华为3com的部分型号网络设备。
netflow协议的原理
netflow协议的原理宝子!今天咱来好好聊聊Netflow协议这个挺有趣的玩意儿。
Netflow协议啊,就像是网络世界里的一个小侦探呢。
你想啊,在一个超级复杂的网络环境里,就像一个超级大的迷宫,里面有各种各样的数据跑来跑去。
Netflow 协议呢,它的任务就是要搞清楚这些数据是从哪儿来的,要到哪儿去,就像是追踪小怪兽的踪迹一样。
那它是怎么做到的呢?这就很神奇啦。
当网络设备,比如说路由器或者交换机,在处理数据流量的时候,Netflow协议就开始发挥作用了。
它会悄悄地在旁边看着这些数据流动,然后把一些关键的信息给记下来。
比如说,它会记录这个数据流量是哪个源IP地址发出来的,就像是知道是哪个小房子里的人发出了信号一样。
还有目的IP地址,这就好比是这个信号要到达的另外一个小房子。
而且啊,它还会记下这个流量用的是什么端口,这就像知道是从哪个小窗户发出去或者要进入哪个小窗户似的。
这个协议啊,还有个很贴心的地方呢。
它不仅仅是简单地记录这些信息,还会把这些信息按照一定的规则给整理好。
就像把你那些乱七八糟的小物件都分类放在不同的小盒子里一样。
它会把相似的流量信息归为一组,比如说,从同一个源IP地址到同一个目的IP地址,而且端口也相同的流量,就把它们放在一起。
这样做有啥好处呢?这就方便网络管理员去查看和分析啦。
你可以想象一下,如果没有Netflow协议,网络管理员就像是在一个黑暗的房间里找东西,完全不知道数据的流动情况。
但是有了Netflow协议呢,就好像有人给他开了一盏小灯,他可以清楚地看到数据的走向。
比如说,要是发现某个源IP地址总是向一个不正常的目的IP地址发送大量的数据,那管理员就可以怀疑是不是有什么安全问题啦,是不是有小坏蛋在偷偷搞事情呢。
而且啊,Netflow协议还能帮助网络管理员来管理网络的带宽呢。
就像你家里的水管子一样,如果不知道哪里用水多,哪里用水少,可能就会造成一些地方水不够用,一些地方又浪费水。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
NetFlow学习笔记
标签:网络ciscocacheheaderinterface路由器
2012-03-19 23:16 21498人阅读评论(1) 收藏举报
分类:
NetFlow(2)network(11)
版权声明:本文为博主原创文章,未经博主允许不得转载。
NetFlow是一种数据交换方式。
Netflow提供网络流量的会话级视图,记录下每个TCP/IP事务的信息。
也许它不能象tcpdump那样提供网络流量的完整记录,但是当汇集起来时,它更加易于管理和易读。
Netflow由Cisco创造。
工作原理:NetFlow利用标准的交换模式处理数据流的第一个IP包数据,生成NetFlow 缓存,随后同样的数据基于缓存信息在同一个数据流中进行传输,不再匹配相关的访问控制等策略,NetFlow缓存同时包含了随后数据流的统计信息。
NetFlow有两个核心的组件:NetFlow缓存,存储IP流信息;NetFlow的数据导出或传输机制,NetFlow利用此机制将数据发送到网络管理采集器。
概念:一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流,且所有数据包具有共同的传输层源、目的端口号。
确定Flow的标识:SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface
数据采集格式
NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式,下例为NFC2.0采集的一种流量数据实例,本文的分析都基于这种格式。
61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1
数据中各字段的含义如下:
源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目
的端口|协议类型|包数量|字节数|流数量
cache缓存空间
可配置的Cache维护机制
一般情况下Cache空间的占用是与所监控的Flow数量呈正比的,但是当链路中充斥着大量的短连接Session时,
Flow表项数量可能会因为没有得到及时释放而过多占用有限的Cache空间。
为此,NetFlow提供了一种非常复杂、
高效的算法以快速定位一个数据包在该Cache中的位置或判断是否应新建表项,并且通过管理员给定
的阀值进行各类表项的超时导出,从而及时释放老的表项以容纳新建Flow信息。
Flow Cache表项Timed-Out操作可由以下几项因素进行驱动:
该表项已经空闲了指定的时间长度(Inactive Timer,缺省15 seconds);
长连接会话强制超时(Active Timer,缺省30minutes);
缓存空间耗尽所触发的强制超时;
TCP FIN/RST触发的超时。
规范的导出报文格式
NetFlow采用了主动式数据推送机制,一般用UDP传送。
NetFlow的封装格式分为1个Header和若干个Record:
Header:主要包括版本号、序列号、后续Record数量、系统启动时间等;
Record:提供对每个Flow的详细数据记录。
下文以NetFlow V9为例,输出报文Header与Record整体结构如下所示:
在上述格式中,各字段的具体含义描述如下:
通过Template功能NetFlow V9获得了前所未有的扩展灵活性。
Template描述了NetFlow输出记录的各字段定义,无需改变现有
规范即可支持将来可能出现的增强功能,从而无需重新编译、
修改流量采集分析系统即可快速支持新增功能特征。
Flow具备详尽的会话描述能力。
在NetFlow V9中,缺省提供了多达89种字段类型,并允许通过Template和
Aggregation机制进行任意组合、汇聚,能够详细描述流量分布的各类特征.
NetFlow与SNMP的不同
无论是MIB还是后来的RMON,SNMP所针对的信息一般都围绕网元设备展开,如Interface 吞吐率、
接收到的坏帧数量、CPU/RAM利用率等。
而NetFlow正如同它的名字一样,其所关注的重点在于网络链
路上所传输流量的特征信息,并且这些信息能够更直接的反映出当前网络上访问行为分
布以及合同客户此时所得到的真实的服务质量水平。
NetFlow与SNMP的主要差异可以从以下几点得到说明:
NetFlow关注流量特征,SNMP关注设备状态;
NetFlow直接围绕Session会话连接进行数据提取,而SNMP则以物理接口为基本单位进行数据统计;
从Agent角度来看,NetFlow采用数据主动推送技术,SNMP则主要采取被动轮询机制;
NetFlow数据信息更为丰富、描述能力更强;
NetFlow支持抽样操作,具备良好的扩展弹性,能够更好适应高端网络实际需求;
SNMP功能通常随着设备销售而免费提供,而在很多现有设备中,NetFlow作为增值功能则需要额外
购买许可License或特定软件包。
因此,在网络流量测量及分析系统中,如异常流量分析系统,NetFlow已经成为一个重要的数据提取方式,
为高端网络骨干链路的实时流量采集
分析提供高效、准确的数据摘要提取服务,是网络流量分析阵营不可或缺的基础技术。
限制条件
需要网络设备对NetFlow的支持,需要分析NetFlow数据的工具软件,需要网络管理员准确区分正常流量数据和异常流量数据等。
挑战者SFlow
同NetFlow一样,sFlow是一种向采集器发送报告的推送技术。
所不同的是,NetFlow 是一种基于软件的技术,而sFlow则采用内置在硬件中的专用芯片。
这种做法消除了路由器或交换机的CPU和内存的负担。
sFlow系统的基本原理为:分布在网络不同位置的sFlow代理把sFlow数据报源源不断地传送给中央sFlow采集器,采集器对sFlow数据报进行分析并生成丰富的、实时的、全网范围的传输流视图。
sFlow是一种纯数据包采样技术,即每一个被采样的X包的长度被记录下来,而大部分的包则被丢弃,只留下样本被传送给采集器。
由于这项技术是基于样本的,如果没有复杂的算法来尝试推测准确的会话字节量,那么几乎不可能获得每台主机流量100%的准确值。
在使用这项技术时,交换机每隔100个数据包(可配置)对每个接口采一次样,然后将它传送给采集器。
sFlow的规格也支持1比1的采样率,即对每一个数据包都进行“采样”。
对数据包最大采样频率的限制取决于具体的芯片厂商和sFlow实现情况。
NetFlow更多的是在路由器上得到支持,而sFlow则在交换机上更加流行。
两者都是开放标准,但在非常大的流量传输环境中,sFlow采样架构可能要优于NetFlows汇集方式。
其他Flow
参考:流量分析新贵
--NetFlow /ediy/inforcenter/enet_z.jsp?articleid=2006080915 8100
百度百科/view/490587.htm
NetFlow还是
SFlow /cso/htm2008/20080225_382116.shtm
NetFlow流量采集与聚合的研究实
现/app/analog/200907/44851.htm
Introduction to Cisco IOS NetFlow - A Technical Overview
/en/US/prod/collateral/iosswre l/ps6537/ps6555/ps6601/prod_white_paper0900aecd80406232.html。