s03-流量分析技术-netflow
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
IP网络流量分析
3-19
Flow tools
IP网络流量分析
3-20
Arbor
• 支持NetFlow V5，V7，V9，probe
• Peakflow SP（最新的arbor主页无法看到DoS和
Traffic，合并了？）
– Peakflow DoS：主要侧重于网络内的异常行为 – Peakflow Traffic：主要侧重于流量和路由行为
期的flow记录以UDP方式导出
IP网络流量分析
3-5
NetFlow原理－2
IP网络流量分析
3-6
支持NetFlow的设备
NE系列
IP网络流量分析
3-7
对于不支持netflow的设备
• • • •
读入流量，生成netflow数据 Nprobe v5/v9/nFlow Probe for IPv4/v6 Packet Size (Bytes): Throughtput (Pkt/sec)
IP网络流量分析
3-29
NetFlow配置－2
• 配置netflow服务器地址和端口号
– config全局状态下： – (config)#ip flow-export destination xxx.xxx.xxx.xxx 55888 – xxx.xxx.xxx.xxx为netflow服务器地址，即运 行netflow版流量监视程序主机的IP地址
IP网络流量分析
3-14
NetFlow实测对比
• CISCO实测
– 某省骨干端口GE口 GSR12416 – CPU前后没有变化2％ – 平均入流量在650M，采样 率为500的时候 – 15分钟平均flow条数为 110000万条 – 每秒122条flow – 122*1.4k=171k/sec – 预期：650M的百分之一 6.5兆=6500k
IP网络流量分析
3-15
NetFlow采样
• Significantly reduces CPU utilization • 采样模式 – Deterministic sampling: select every Nth packets, with N specified by the user. – Random sampling: randomly select one out of N packets with N specified by the user. – Time based sampling: select a sampled packet every N milli-seconds – Random sampling is considered the best technique for packet sampling
IP网络流量分析
3-33
•
Traffic diversion
IP网络流量分析
3-25
NetFlow的应用
• 对网络内的应用进行观测和分析 – 最受欢迎的HTTP SERVER? - XXX ;) – TOPN应用 – TOPN活跃的网段，主机 – 谁在BT，睡在架设私服，谁在发垃圾邮件 – 某种应用的历史实时曲线 – QoS – ... ...
IP网络流量分析
3-12
版本v9
IP网络流量分析
3-13
NetFlow的性能
• CPU – With ~ 10000 active flows: 7.14 percentage points of additional CPU utilization – With ~ 45000 active flows: 19.16 percentage points of additional CPUutilization – With ~ 65000 active flows: 22.98 percentage points of additional CPU utilization • 带宽 – Netflow is very efficient, the amount of export data being about 1.5% of the switched traffic in the router
– – – – – “cnfTopFlowsNhAddressType” “cnfTopFlowsNhAddress” “cnfTopFlowsDstPort” “cnfTopFlowsDstAS” “cnfTopFlowsInputlfIndex”
IP网络流量分析
3-17
NetFlow开源产品
• 主流的开源产品包括：flow-tools、
IP网络流量分析
3-26
NetFlow优点与缺点
• 优点 – 面向网络核心设备 – 没有payload，适用于高宽带 – 检测未知的网络攻击/蠕虫，大规模爆发 – 基于统计的异常模式分析 • 缺点 – 没有payload – 存储，处理要求 – 网络设备支持性 – 设备性能影响
IP网络流量分析
3-27
• 国外较多网络宽带提供商据使用的是Arbor的产
品，如：
– AT&T, British Telecom, EarthLink, Qwest, Sprint
IP网络流量分析
3-21
GenieNRM NTG
• 支持NetFlow V1，V5，V7，Netstream，
sFlow，探针NTG • 提供流量统计、流量成分分析以及Top-N 排名 • 功能侧重于历史流量等，安全方面相对 弱
– 55888为服务端口号
IP网络流量分析
3-30
NetFlow配置－3
• 配置Cisco系列路由器/交换机
– 每个接口上,例如
• interface fastethernet0/0
• interface fastethernet0/1
– config全局状态下： – (config-if)#ip route-cache flow
stager、Cflowd、CUFLOW、SiLK... • 特征:
– 命令行或者简单图形 – 命令行功能丰富 – 图形的一般都基于rrdtools – 图形的一般都基于TOPN表示
IP网络流量分析
3-18
NetFlow商用产品
• 商用产品 – Mazunetworks 基于网络的IPS系统 – NetScout 网络性能管理综合解决方案，探针 – Protego SI/EM之上的STM，刚被cisco收购 – Adlex – Arbor 见后 – GenieNRM 见后 – Arbor，Adlex是CISCO安全策略合作伙伴
• Juniper实测
– 某省骨干端口GE JUNIPER M160 – CPU前后没有变化3.76％ – 平均入出流量在380M，采 样率为100的时候 – 15分钟平均flow条数为 700000万条 – 每秒778条flow – 778*1.3k=1011k/sec – 预期：380M的百分之一 3.8兆=3800k
IP网络流量分析
3-23
NetFlow的应用
• IDS and analysis – 异常流量检测 – 异常流量分析
• Top N • 模式匹配 • TCP标志位 • ICMP • 基线
IP网络流量分析
3-24
异常追踪
• • •
Source IP Source AS DDos
– – – – –
强调traceback，not defense 与backscatter相比，到dst的网络不中断！ 选择性切断 Ifindex - spoof ip Octets with same size
IP网络流量分析
3-16
NetFlow采样
• 新推出 – Available on Cisco routers in 12.3(7)T and 12.2(25)S – 从翻的MIB表里面看主要是TOP x属性 – “ciscoNetflowMIB” “1.3.6.1.4.1.9.9.387”
• E.g.
NetFlow适用范围
• 对高带宽，网络骨干，重点区域的监控
IP网络流量分析
3-28
NetFlow配置－1
•配置netflow版本号
•在config全局状态下
•(config)#ip flow-export version 5
•此命令将netflow配置为版本5
•本程序暂时只about 144 Mbit – 512 ~ about 850 Mbit – 1500 ~ about 970 Mbit
• GPL：但是不免费
IP网络流量分析
3-8
NetFlow版本
IP网络流量分析
3-9
版本 V5
IP网络流量分析
3-10
版本 v8
IP网络流量分析
3-11
版本v9
IP网络流量分析
3-22
Arbor Netflow hardward
• 硬件 – Arbor高端peakflow sp – CPU：Intel Xeon 2.4G，512K – 操作系统：OPENBSD – 内存：2G ram – 硬盘：双147G （RAID 1） – 网卡：2口 10/100/1000兆 – 分析性能：每个收集器可处理20000个 Flows/秒-NTG – 只有性能，操作系统等关键问题不告知
NETFLOW技术原理
第三章
IP网络流量分析
3-1
目录
• NETFLOW技术原理 • 主流流量分析工具简介
• 实验
– 使用NETFLOW对网络流量进行分析
IP网络流量分析
3-2
NetFlow原型
IP网络流量分析
3-3
NetFlow 的7个关键字
• Flow是由7个关键字段标识单方向的连接 – IPsrc，源IP地址 – IPdst，目标IP地址 – srcPort，源通信端口号 – dstPort，目标通信端口号 – Protocol，第三层协议类型 – TOS，TOS字节（DSCP） – Ifindex，网络设备输入（或输出）的逻辑网络端口
IP网络流量分析
3-4
NetFlow原理－1
• 每当路由器端口上收到一个数据包，都
会扫描这7个字段来判断次数据包是否属 于一个已经存在的flow
– 是>相应的flow记录内的数据包数，整个flow 过程的字节大小就会相应增加 – 否>一条新的描述这个session的flow在cache 中生成
• 在新的flow不断生成的同时，cache内过
IP网络流量分析
3-31
NetFlow配置－4
• 配置时区、时钟 – 在Config全局状态下 – (config)#clock timezone Beijing 8 – 此命令配置为北京时间，+8时区
IP网络流量分析
3-32
NetFlow配置－5
• 设置日期时间
– 在enable状态下 – #clock set 17:05:00 6 aug 2003 – 此命令配置为2003年8月6日17时05分00秒 • 注意： – 要先配时区，后设置日期时间 – 接收netflow报文的计算机也要配置成相应的时区 – 有的Cisco机型掉电后，需重新设置日期和时间
3-19
Flow tools
IP网络流量分析
3-20
Arbor
• 支持NetFlow V5，V7，V9，probe
• Peakflow SP（最新的arbor主页无法看到DoS和
Traffic，合并了？）
– Peakflow DoS：主要侧重于网络内的异常行为 – Peakflow Traffic：主要侧重于流量和路由行为
期的flow记录以UDP方式导出
IP网络流量分析
3-5
NetFlow原理－2
IP网络流量分析
3-6
支持NetFlow的设备
NE系列
IP网络流量分析
3-7
对于不支持netflow的设备
• • • •
读入流量，生成netflow数据 Nprobe v5/v9/nFlow Probe for IPv4/v6 Packet Size (Bytes): Throughtput (Pkt/sec)
IP网络流量分析
3-29
NetFlow配置－2
• 配置netflow服务器地址和端口号
– config全局状态下： – (config)#ip flow-export destination xxx.xxx.xxx.xxx 55888 – xxx.xxx.xxx.xxx为netflow服务器地址，即运 行netflow版流量监视程序主机的IP地址
IP网络流量分析
3-14
NetFlow实测对比
• CISCO实测
– 某省骨干端口GE口 GSR12416 – CPU前后没有变化2％ – 平均入流量在650M，采样 率为500的时候 – 15分钟平均flow条数为 110000万条 – 每秒122条flow – 122*1.4k=171k/sec – 预期：650M的百分之一 6.5兆=6500k
IP网络流量分析
3-15
NetFlow采样
• Significantly reduces CPU utilization • 采样模式 – Deterministic sampling: select every Nth packets, with N specified by the user. – Random sampling: randomly select one out of N packets with N specified by the user. – Time based sampling: select a sampled packet every N milli-seconds – Random sampling is considered the best technique for packet sampling
IP网络流量分析
3-33
•
Traffic diversion
IP网络流量分析
3-25
NetFlow的应用
• 对网络内的应用进行观测和分析 – 最受欢迎的HTTP SERVER? - XXX ;) – TOPN应用 – TOPN活跃的网段，主机 – 谁在BT，睡在架设私服，谁在发垃圾邮件 – 某种应用的历史实时曲线 – QoS – ... ...
IP网络流量分析
3-12
版本v9
IP网络流量分析
3-13
NetFlow的性能
• CPU – With ~ 10000 active flows: 7.14 percentage points of additional CPU utilization – With ~ 45000 active flows: 19.16 percentage points of additional CPUutilization – With ~ 65000 active flows: 22.98 percentage points of additional CPU utilization • 带宽 – Netflow is very efficient, the amount of export data being about 1.5% of the switched traffic in the router
– – – – – “cnfTopFlowsNhAddressType” “cnfTopFlowsNhAddress” “cnfTopFlowsDstPort” “cnfTopFlowsDstAS” “cnfTopFlowsInputlfIndex”
IP网络流量分析
3-17
NetFlow开源产品
• 主流的开源产品包括：flow-tools、
IP网络流量分析
3-26
NetFlow优点与缺点
• 优点 – 面向网络核心设备 – 没有payload，适用于高宽带 – 检测未知的网络攻击/蠕虫，大规模爆发 – 基于统计的异常模式分析 • 缺点 – 没有payload – 存储，处理要求 – 网络设备支持性 – 设备性能影响
IP网络流量分析
3-27
• 国外较多网络宽带提供商据使用的是Arbor的产
品，如：
– AT&T, British Telecom, EarthLink, Qwest, Sprint
IP网络流量分析
3-21
GenieNRM NTG
• 支持NetFlow V1，V5，V7，Netstream，
sFlow，探针NTG • 提供流量统计、流量成分分析以及Top-N 排名 • 功能侧重于历史流量等，安全方面相对 弱
– 55888为服务端口号
IP网络流量分析
3-30
NetFlow配置－3
• 配置Cisco系列路由器/交换机
– 每个接口上,例如
• interface fastethernet0/0
• interface fastethernet0/1
– config全局状态下： – (config-if)#ip route-cache flow
stager、Cflowd、CUFLOW、SiLK... • 特征:
– 命令行或者简单图形 – 命令行功能丰富 – 图形的一般都基于rrdtools – 图形的一般都基于TOPN表示
IP网络流量分析
3-18
NetFlow商用产品
• 商用产品 – Mazunetworks 基于网络的IPS系统 – NetScout 网络性能管理综合解决方案，探针 – Protego SI/EM之上的STM，刚被cisco收购 – Adlex – Arbor 见后 – GenieNRM 见后 – Arbor，Adlex是CISCO安全策略合作伙伴
• Juniper实测
– 某省骨干端口GE JUNIPER M160 – CPU前后没有变化3.76％ – 平均入出流量在380M，采 样率为100的时候 – 15分钟平均flow条数为 700000万条 – 每秒778条flow – 778*1.3k=1011k/sec – 预期：380M的百分之一 3.8兆=3800k
IP网络流量分析
3-23
NetFlow的应用
• IDS and analysis – 异常流量检测 – 异常流量分析
• Top N • 模式匹配 • TCP标志位 • ICMP • 基线
IP网络流量分析
3-24
异常追踪
• • •
Source IP Source AS DDos
– – – – –
强调traceback，not defense 与backscatter相比，到dst的网络不中断！ 选择性切断 Ifindex - spoof ip Octets with same size
IP网络流量分析
3-16
NetFlow采样
• 新推出 – Available on Cisco routers in 12.3(7)T and 12.2(25)S – 从翻的MIB表里面看主要是TOP x属性 – “ciscoNetflowMIB” “1.3.6.1.4.1.9.9.387”
• E.g.
NetFlow适用范围
• 对高带宽，网络骨干，重点区域的监控
IP网络流量分析
3-28
NetFlow配置－1
•配置netflow版本号
•在config全局状态下
•(config)#ip flow-export version 5
•此命令将netflow配置为版本5
•本程序暂时只about 144 Mbit – 512 ~ about 850 Mbit – 1500 ~ about 970 Mbit
• GPL：但是不免费
IP网络流量分析
3-8
NetFlow版本
IP网络流量分析
3-9
版本 V5
IP网络流量分析
3-10
版本 v8
IP网络流量分析
3-11
版本v9
IP网络流量分析
3-22
Arbor Netflow hardward
• 硬件 – Arbor高端peakflow sp – CPU：Intel Xeon 2.4G，512K – 操作系统：OPENBSD – 内存：2G ram – 硬盘：双147G （RAID 1） – 网卡：2口 10/100/1000兆 – 分析性能：每个收集器可处理20000个 Flows/秒-NTG – 只有性能，操作系统等关键问题不告知
NETFLOW技术原理
第三章
IP网络流量分析
3-1
目录
• NETFLOW技术原理 • 主流流量分析工具简介
• 实验
– 使用NETFLOW对网络流量进行分析
IP网络流量分析
3-2
NetFlow原型
IP网络流量分析
3-3
NetFlow 的7个关键字
• Flow是由7个关键字段标识单方向的连接 – IPsrc，源IP地址 – IPdst，目标IP地址 – srcPort，源通信端口号 – dstPort，目标通信端口号 – Protocol，第三层协议类型 – TOS，TOS字节（DSCP） – Ifindex，网络设备输入（或输出）的逻辑网络端口
IP网络流量分析
3-4
NetFlow原理－1
• 每当路由器端口上收到一个数据包，都
会扫描这7个字段来判断次数据包是否属 于一个已经存在的flow
– 是>相应的flow记录内的数据包数，整个flow 过程的字节大小就会相应增加 – 否>一条新的描述这个session的flow在cache 中生成
• 在新的flow不断生成的同时，cache内过
IP网络流量分析
3-31
NetFlow配置－4
• 配置时区、时钟 – 在Config全局状态下 – (config)#clock timezone Beijing 8 – 此命令配置为北京时间，+8时区
IP网络流量分析
3-32
NetFlow配置－5
• 设置日期时间
– 在enable状态下 – #clock set 17:05:00 6 aug 2003 – 此命令配置为2003年8月6日17时05分00秒 • 注意： – 要先配时区，后设置日期时间 – 接收netflow报文的计算机也要配置成相应的时区 – 有的Cisco机型掉电后，需重新设置日期和时间