DPI和DFI带宽管理技术剖析

合集下载

迪普科技运营商DPI网关解决方案

迪普科技运营商DPI网关解决方案
目录
一．DPI概述二．迪普科技DPI解决方案
基础设施
市场趋势何为DPI
• 语音市场日渐饱和，流量收入将成为运营商未来主要收入来源 • 流量收入并没有与流量占用的网络资源相匹配 • 专注流量经营，提升流量价值是数据业务的必然趋势 • DPI方案能够帮助用户发掘用户个性化需求，建设智能化管道
流量控制
• 大容量串行方式，
• 实现精确流量控制
异常流量检测
广告推送
• DPI方式：全流量精细化检测、基于应用层的内容检测
• DPI方式：依据 netflow等日志的内容
• 基于访问频率，次数，时间精确调整推送内容
• 支持弹出窗，对联，多种推送模式
DPI（深度业务识别）平台
流量统计分析：业务流向分析
5. 根据不同的推送策略，用户随后可以正常访问网络
④用户正常访问原始网站
Internet
被访问页面
省干
②DPI网关监听WEB请求，判断是否阻断
业务监控系统
上行流量
①用户发起HTTP请求
无源分光 / 镜像分流平台
广告服务器
城域网
控制 ③根据策略向用户推送广告
BAS
宽带接入网
智能的Web信息推送举例
DPtech DPI设备介绍
交换板： • 48GE 接口 • 4*10GE/8*10GE接口， • 4*2.5G/4*10G/1*40G POS接口 • 全线速交换业务板： • 单板最大业务处理能力20G，整机最大200G • 单板并发连接数3200万，新建连接数120万/ 秒 •高性能：大交换容量，T级别的整机交换容量 •虚拟化：端到端的从网络层到应用层的虚拟化能力 •高可用性：支持48GE电/光、4*10GE/8*10GE光、100GE端口、2.5G/10G/40G POS等高密接入 •丰富网络协议：支持QinQ，RIP、OSPF、IS-IS、BGP、策略路由、RIPng、OSPFv3 ISISv6、BGP4+、ICMPv6、L3 MPLS VPN、LDP、IGMPv1/v2/v3、PIM-SM/PIMDM/PIM-SSM、MSDP等

常见的网络安全应用识别技术有哪些

在网络空间，安全方面的应用的涵盖多之又多，由于应用系统的复杂性，有关应用平台的安全问题是整个安全体系中最复杂的部分。

下面我们一起了解一下在Internet/Intranet 中主要的应用平台服务的安全问题及相关技术。

网络安全产品有以下几大特点：第一，网络安全来源于安全策略与技术的多样化，如果采用一种统一的技术和策略也就不安全了；第二，网络的安全机制与技术要不断地变化；第三，随着网络在社会各方面的延伸，进入网络的手段也越来越多；因此，网络安全技术是一个十分复杂的系统工程。

为此建立有中国特色的网络安全体系，需要国家政策和法规的支持及集团联合研究开发。

安全与反安全就像矛盾的两个方面，总是不断地向上攀升，所以安全产业将来也是一个随着新技术发展而不断发展的产业，安全应用识别技术将起到很大的作用。

常见的安全应用识别技术：为了应对固定端口进行协议识别的缺陷，在实际使用过程中，主要有 DPI 和 DFI 两种技术：1）DPI（Deep Packet Inspection），即深度包检测。

在进行分析报文头的基础上，结合不同的应用协议的“指纹”综合判断所属的应用。

2）DFI（Deep Flow Inspection），即深度流检测。

它是基于一种流量行为的应用识别技术。

不同的应用类型体现在会话连接或数据流上的状态各有不同，展现了不同的应用的流量特征：这两种技术，由于实现机制的不同，在检测效果上也各有优缺点：DPI 技术由于可以比较准确的识别出具体的应用，因此广泛的应用于各种需要准确识别应用的系统中，如运营商的用户行为分析系统等；而 DFI 技术由于采用流量模型方式可以识别出 DPI 技术无法识别的流量，如 P2P 加密流等，目前因此越来越多的在带宽控制系统中得到应用。

基于对现有协议的识别方法进行深入研究，以及对网络协议的深刻理解基础上，结合上述两种应用识别技术：固定端口协议类：一些协议如 BGP、RIP 等，其端口是相对稳定的，可以根据端口号快速识别。

dpi带宽管理技术

dpi带宽管理技术（最新版）目录1.DPI 带宽管理技术的概述2.DPI 带宽管理技术的原理3.DPI 带宽管理技术的应用4.DPI 带宽管理技术的优势和局限性5.DPI 带宽管理技术的未来发展趋势正文一、DPI 带宽管理技术的概述DPI 带宽管理技术，全称为深度包检测带宽管理技术（Deep Packet Inspection Bandwidth Management），是一种基于数据包深度检测的网络流量管理技术。

通过对网络中的数据包进行深度检测和分析，实时监控网络中的带宽使用情况，并根据设定的策略对带宽进行分配和调整，以达到优化网络性能、保障关键业务应用的目的。

二、DPI 带宽管理技术的原理DPI 带宽管理技术主要通过以下几个方面实现：1.数据包深度检测：DPI 技术可以对网络中的数据包进行深度检测，识别出数据包中的关键信息，如源 IP 地址、目的 IP 地址、协议类型、应用类型等。

2.带宽分配策略：根据检测到的数据包信息，DPI 技术可以制定不同的带宽分配策略。

例如，可以根据源 IP 地址、目的 IP 地址、协议类型等设定不同的带宽阈值，优先保障关键业务应用的带宽需求。

3.带宽调整：DPI 技术可以实时监控网络中的带宽使用情况，并根据设定的策略对带宽进行动态调整，以避免网络拥塞，确保网络性能。

三、DPI 带宽管理技术的应用DPI 带宽管理技术在以下场景中具有广泛的应用：1.企业网络：在企业网络中，DPI 技术可以帮助企业实现对网络带宽的精细化管理，保障关键业务应用的稳定运行，提高企业网络的利用率。

2.互联网服务提供商（ISP）：对于 ISP 而言，DPI 技术可以实现对网络带宽的智能分配，提高网络资源的利用率，降低运营成本。

3.无线通信：在无线通信领域，DPI 技术可以实现对无线带宽的动态分配，提高无线网络的性能，满足移动设备的高速接入需求。

四、DPI 带宽管理技术的优势和局限性1.优势：DPI 带宽管理技术可以实现对网络带宽的精细化管理，提高网络性能，保障关键业务应用。

IP网络带宽管理技术及应用分析

中，Ｉ路由器也正是通过这一系列信息Ｐ
路的第２天，该条链路的利用率就达到了
９０％以上。
来实现一定程度的流量识别和ＱｏＳ的。但随着网上应用类型的不断丰富，仅通过
第４层端口信息已经不能真正判断流量中的应用类型，基于开放端口、随机端口甚至采用加密方式进行传输的应用类型
麟麓
鬻察
维普资讯
电信技
ｌ网络带宽管理Ｐ漕耩
王超 ’ 赵文杰
１阿尔卡特朗讯．２华北科技学院．
上海北京

２２６０１０１６１０１０
臻ｌ：通过对｜骨干网络带宽管理需求和网络结构的分析。结Ｐ
随着互联网的逐步发展，网上用户和业务流量在不断增长，除传统数据业务外，网络电话、网络视频、ＰＰ下载等新２型网络应用使得骨干网络中语音、视频、点到点下载流量呈几何数级膨胀趋势。对于用户而言，新型的业务和流量类型使他们的网上应用变得日益丰富；
层的载荷匹配不同，ＤＦＩ采用的
应用统一识别为Ｐ２流量，对满Ｐ足Ｉ语音流量模型的应用统一归Ｐ类为ＶｏＰ流量，而无法判断该语ｌ音流量是基于ｓＰ还是基于Ｈ．２Ｉ３３等不同协议的应用。但是，如果应用流量是经过加密后在网上传输的，采用ＤＰＩ方式的流控技术则

DFI与DPI技术在P2P协议分析中的应用

DFI与DPI技术在P2P协议分析中的应用一、基于DFI（深度流检测）的异常流量检测1.2 攻击与蠕虫传播的流量检测基于DFI的检测技术一个主要优势就是可以高效准确的检测出网络攻击和蠕虫传播。

在这里列出这个标题，是为了论述体系的完整性。

因为DFI技术在这方面的应用涉及的问题比较多，需要单独成文论述。

2.2 P2P流量检测由于流数据(Netflow或sFlow)是经过汇聚的且通常都是抽样产生的，数据又仅包含IP层信息而没有应用层信息，因此很多人对基于DFI的P2P检测技术抱有一定成见，认为它不一定能很准确的检测到P2P流量。

然而实际情况却是出乎这些人的意料，DFI技术不仅可以检测P2P流量，而且检测的准确度还相当高。

这是因为P2P流量与其它网络应用有鲜明的区别，针对这些特征进行综合检测，便可以准确的检测出P2P流量。

2.2.1 P2P流量的统计特征流量大，符合“2／8原则”P2P流量一般都会远远大于其它应用类型的流量，统计结果通常会出现20％的IP地址所相关的流量占到全部流量的80％，即符合所谓的“2／8原则”。

在有些文献中认为实际测量的结果会更加极端，这个比例可以达到“1／9”的程度。

这就大大缩小了定位具有P2P行为IP地址的范围。

并发端口数量在一个终端上运行P2P应用程序之前，用netstat命令检查网络状态，可以看到打开的端口一般在10—15个之间，如果启动P2P应用程序以后，再次检查网络状态，可以看到打开的端口数量一下激增到100多个。

也就是说，P2P应用程序会在终端上同时打开很多端口。

这个现象必然会在流记录里有所反映。

端口变化率由于很多P2P应用程序为了逃避流量控制，会使用端口跳变技术，动态的变更通讯端口，因此造成端口变化率长时间保持很高的数值。

拓扑特征值由于P2P下载的端点都会用一些缺省的端口与其它端点通讯，通过分析流记录可以找到这些被高度疑似P2P端点间的拓扑关系，并使用一个人工定义的拓扑特征值来衡量这些拓扑关系。

让带宽按需分配——DPI、DFI带宽管理技术分析

利润和客户。但是，随着网络应用层出不穷， PZP 、网络游戏、I TV、WEBTV 等新 P 兴业务，占用了互联网大部分带宽，运营商的基础网络建设陷人了 “ 拥塞一扩容一再拥塞”的非正常局面，盈利能力相应降低，服务质量也出现问题。造成以上现象的主要原因是运营商对用户缺少一个有效的控制和区分手段，运营商既不知道用户在网上干什么，也没有
圈参皿狐黯。。丫。二 c、。「A。日。，M 一 L 、
工在
技术
让带宽按需分配—
OP 、OF 带宽管理技术分析 I I
田红月 (淄博移动公司山东淄博 2 55 200 )
摘要: 本文首先简要棍述了当前我国宽带网络带宽拥塞原因和现状，随后较详细地分析了带宽管理技术 DP 和DF 的特性， I I 最后提出了部舟DP 和 DF 的技术策略。 I I
网管识别技术首先由应用层网管识别出控制
流，并根据控制流协议选择特定的应用层网关对业务流进行解析。③第三类是行为模式识别技术: 根据客户已经实施的行为，建立行为识别模型，基于行为识别模型，判断客户正在进行的动作或者即将实施的动作。
宽的设备来组网，因此在接人层内部的PZP 流量成本相对较低 ; 而核心层和流量汇聚
关键词: DP I DF I
中图分类号: ’ 3 rP3，
带宽管理
文献标识码:Байду номын сангаасA
文章编号: 167卜 37， 1(2007)12(c)一 0052一 01 各运营商的布设的设备型号繁多、种类不
一，但一般都采用低成本、大容量、高带
1当前状况和挑战
固网转型，宽带成为最大亮点，欣欣向荣的宽带业务发展给运营商带来了可观

一种联合DPI和DFI的网络流量检测方法

ＭＰ５２网络处理器的模式匹配引擎（ａｔｎＭａｈＥｇｎ，Ｃ８７Ｐｔｒｔｎｉｅｅｃ
用来弥补ＤＩＰ技术的一些弱点：对于ＤＩＰ可能存在的误识别，ＤＩＦ进行鉴别并提示重新检测，达到纠错目的。
Ｐ）ＭＥ模块，实现深度包检测，进而辅以流检测技术，使其具
有较好的检测可靠性。
３硬件支持．１
ＭＰ８７ｏｅＱＣＩ网络处理器是为高性能网络Ｃ５２ＰｗｒＵＩＣＩＩ安全应用设计的。它有２个很关键的硬件加速引擎：硬件查找表单元（ａｌＬｏｕｉＴＵ和模式匹配引擎。本文不ＴｂｅｏｋｐＵｎｔＬ），
ＤＰｌｇｎ（ＭＥｏｅｎｔｒｒｃｓｏＣ５２ＤＦｏｉｅｕｄｒｉｇＩｆｆｌｔｇｔｆｅｇａｎｄａｅｕｅｏｔｒＭｔｎｉｅＰｕｉｓｈａｆｉｔＰｅｎｃ）ｆｅｈｔｗｏｋｐｏｅｓｒＭＰ８７．１ｓＯｎｔｙｔｎｅｌｎｉｔｆｈｙ
ＮｅｗｏｋＦｌｗｎｐｃｉｎＭｅｈｄ０ｏｎＩａｄＤＦＩｔｒｏＩｓｅｔｔｏｆｉｔｏＪＤＰｎ
ＹＥｅ —ｈｌＷＡＮＧｉ，Ｗｎｃｅａ，ＭｎＣＨＥＮｎｈａＺＨＡＮＧｉｙｎＹｕ — ｕｎ，Ｚｈ－ｕａ
［ｓｒｃ］ＴｉｐｐｒｒｓｎｓｅｒｏｓｅｔｎｍｅｏｉｈｃｍｂｎｓｅａｋｔｎｐｃｉｎＤＰ）ｔｅｌｗＩｓｅｔｎＤＦ）ＡｂｔａｔｈｓａｅｅｅｔａｎｔｋｆｗｉｐｃｏｔｄｗｈｃｏｉｅｐＰｃｅＩｓｅｔ（ＩｗｉＤｅｐＦｏｐｃｉ（ＩｐｗｏｌｎｉｈＤｅｏｈｎｏ．

基于dpi的idcisp信息安全管理系统设计与实现

摘要基于DPI的IDC/ISP信息安全管理系统设计与实现随着近年来互联网应用尤其是移动互联网的爆发式发展，新的网络应用形式日新月异，在飞速发展的同时也暴露出网络内容良莠不齐的实际问题，国家一向非常重视和提倡互联网及信息行业的健康发展，并大力营造绿色有序的市场秩序。

互联网数据中心（IDC）机房作为重要的网络和信息服务基础设施之一，汇集了大量的网络和信息资源，正因为这样，也使它成为网络信息安全的重点管控对象，加强网络内容管理的任务日益紧迫。

针对此种情况，为保障因特网数据中心（IDC）及因特网接入（ISP）市场的有序运行，国家工信部先后下发了一系列针对性的管理文件，要求包括基础运营商在内的各IDC/ISP业务运营企业必须建立信息安全管理系统（ISMS，下同），来重点加强对IDC/ISP 业务的监管，以保障国家互联网环境的健康，防范各类安全风险，防止各类不良信息的传播。

在国家要求对于内容级的信息安全监管的新形势下，传统的基于IP、端口和协议的识别方式已无法满足实际需要。

随着深度包检测（Deep Packet Inspection，DPI）技术的不断成熟，使其能够被应用在高速率、大带宽的网络中，能够实现对应用层的数据内容进行深层解析。

本文设计并实现了一个基于DPI技术、满足监管要求的信息安全管理系统，实现对不良信息及时发现和处置。

对流量采集、部署方式、网络数据分析、负载均衡、关键字检测等与ISMS实现有关的理论技术、方式方法进行了研讨和对比，详细论述了ISMS的整体设计原则、架构，各功能模块的定位、设计和实现，并对系统实现中的关键技术进行了深入的研究。

经对系统功能进行测试，成功实现对包含特定关键字的网络流量进行识别和封堵，与功能要求一致，经实际运行证明，可以满足信息安全管理工作的需要。

关键词：DPI、信息安全，IDC，ISP，信息安全管理系统，ISMS，安全监管系统，SMMSAbstractDesign and implementation of IDC/ISP InformationSecurity Management System based on DPIWith the application of Internet in recent years, especially the explosive development of the mobile Internet, network applications change rapidly. The new form in the rapid development has also exposed the practical problems of network content of the country has always attached great importance to uneven in quality, and promote the healthy development of Internet and information industry, and vigorously to create a green orderly market. The Internet Data Center (IDC) as one of the most important computer network and information service infrastructure, bringing together a large number of network and information resources, because of this, make it become the focus of the network information security management object, strengthen the network content management increasingly urgent task. In view of this situation, for the protection of the Internet Data Center (IDC) and Internet access (ISP) and orderly operation of the market, the State Ministry has issued a series of targeted management documents, requirements of the IDC/ISP business enterprise including infrastructure operators, must establish the information security management system (ISMS, below), to focus on strengthening the supervision of IDC/ISP services, in order to protect the national Internet environmental health, and guard against all kinds of security risks, prevent the spread of bad information.Under the new situation of information security supervision for content level, the traditional identification methods based on IP, port and protocol have been unable to meet the actual needs. With the maturity of Deep Packet Inspection (DPI) technology, it can be applied in high speed, large bandwidth network, and can realize deep analysis of the data content of application layer.This paper designs and implements an information security management system based on DPI technology, which meets the requirements of supervision, and realizes the timely detection and disposal of bad information. The traffic data collection, data analysis, network deployment and load balancing, keyword detection and ISMS to achieve the relevant theory and technology, methods are discussed and compared in detail the ISMS overall designprinciple, structure, orientation, each functional module design and implementation, and the key technology of realizing the system of deep research.After testing the function of the system, the network traffic with specific keyword is successfully identified and blocked, which is consistent with the functional requirements. The actual operation proves that it can meet the needs of information security management work. Keywords：DPI, information security, IDC, ISP, information security management system, ISMS, security monitoring system, SMMS目录第1章绪论 (1)1.1 ISMS系统应用背景 (1)1.2 DPI发展起源和现状 (2)1.3 本文所探讨的内容 (4)1.4 本章小结 (4)第2章相关技术研究 (6)2.1 网络流量采集相关技术 (6)2.1.1 主动网络采集方式 (6)2.1.2 被动网络采集方式 (6)2.1.3 全量采集方式介绍 (7)2.1.4 抽样采集方式介绍 (7)2.2 网络流量识别相关技术 (7)2.2.1 端口识别方式 (9)2.2.2 DPI检测方式 (10)2.2.3 DFI检测方式 (13)2.2.4 流量分析技术比较 (13)2.3 负载均衡 (14)2.3.1 负载均衡的含义 (14)2.3.2哈希负载均衡 (14)2.4 关键字匹配技术算法 (15)2.4.1 AC算法 (16)2.4.2 DFA算法 (16)2.5 本章小结 (18)第3章 IDC/ISP信息安全管理系统架构设计 (19)3.1 ISMS系统需求分析 (19)3.1.1 ISMS功能需求 (19)3.1.2 ISMS功能结构 (19)3.1.3 ISMS逻辑层级 (20)3.2 上级接口 (21)3.3 ISMS总体架构 (21)3.3.1 控制单元－CU (22)3.3.2 执行单元－EU (22)3.3.3 存储单元－DU (23)3.4 ISMS网络部署 (23)3.4.1并行接入方式 (23)3.4.2 串行接入方式 (24)3.5 本章小节 (25)第4章 IDC/ISP信息安全管理系统设计与实现 (26)4.1 ISMS接入方式 (26)4.2 EU的部署 (26)4.3 DPI流量处理 (27)4.3 系统关键模块详细设计与实现 (27)4.3.1 流量处理模块 (27)4.3.2 策略解析模块 (28)4.3.3 数据库模块 (30)4.3.4 流量识别模块 (30)4.3.5 流量控制模块 (32)4.4 前台模块的设计与实现 (33)4.4.1 基础数据管理模块的实现 (34)4.5.2 信息安全监测过滤管理模块的实现 (36)4.5.3 访问日志管理模块的实现 (37)4.5.4 系统管理模块的实现 (37)第5章系统测试 (40)5.1测试环境 (40)5.2 测试目标选取 (40)5.3 系统功能测试 (40)5.3.1 确定关键字 (40)5.3.2 制定封堵策略 (41)5.3.3 封堵效果测试 (41)5.3.4 过滤日志查询 (42)5.4 系统性能测试 (42)5.4.1 网络延时和丢包 (42)5.4.2 网络运行情况检测 (43)5.5 测试结果 (44)第6章总结与展望 (45)参考文献 (46)作者简介及在学期间所取得的科研成果 (50)致谢 (51)第1章绪论1.1 ISMS系统应用背景随着国家信息化建设，互联网基础设施的不断完善，加上近年移动互联网、物联网等的迅猛发展，应用内容极大丰富。

基于DPI技术的网络带宽管理

络高峰时期上网用户数达到 13 000 人，整个校园网包发送的频率等等数据流的动作特征指标的不一样
出口通过 1 条 1Gvps 的链路到教育网和 1 根 150M 和 DFI 检测模型实行匹配，下一步就从中区分辨出
链路到电信或者是联通;关键网络核心、汇聚层设备流量应用类型。它的粒比较粗，只能对应用类型实行
性能，有效地保障网络安全畅通地运行。同时为师生遍使用，但是常用端口方式能够辨别的协议类型是
网络学习搜集资料提供很便捷的网络服务。
有限的。
1 高校校园网现状分析
（2）深度流检测法(DFI)：是基于流量行动中的应
如某高校校园网网络是由教师办公网络与学生用辨别技术，它是00 个信息接入点，在网 IP 地址连接模式、上下行动的流量比例关联、数据
进行重新组合，这样就能获得整个应用程序的内容，户密集与使用网络频率多的子网加大分派带宽额度，
其对流量中的具体应用类型和协议都能很准确地鉴相信这样合理的分配会给网络带来速度上的享受。
第 32 卷第 2 期 2013 年2 期
煤炭技术
Coal Technology
Vol.32,No.02 February,2013
基于 DPI 技术的网络带宽管理
陈磊
（重庆航天职业技术学院，重庆 400021）
摘要:校园网已经成为教育事业信息化的重要网络设施。随着校园网络的发展，在用户量多的情况下网络带宽流
采用的是 CISCO 解决方案; 接入层则采用锐捷网络比较笼统的一个分类。
交换机设备。在该校园网络中，学生使用 P2P 应用占
（3）深度包检测法(DPI)，所讲的"深度"是和一般
用了很大的网络带宽，高峰时期 P2P 应用占了整个的报文分析层次比较而言的。其通常分析 IP 包 4 层

基于DPI和DFI技术的网络流量检测方案研究

一
略，进一步提高了系统性能。３．３优化方案基于ＤＰＩ技术和ＤＦＩ技术的优缺点，本文提出了一种更加合理、全面的Ｐ２Ｐ流量检测方案这种方案把两种检测技术的优势进行融合．兼顾精度和效率．有效克Ｊ］Ｉ￣Ｔ前两种技术的固有缺陷．符合Ｐ２Ｐ应用发展的趋势对Ｐ２Ｐ流量检测提出的新需求本方案采用两个步骤检测Ｐ２Ｐ流量经过仿真证明验证，基于ＴＣＡＭ深层数据包检测技术可以检测８Ｇｂｐｓ速率的数据包，因此，我们第一步使用该技术对数据包进行精确匹配．从而最终确定该包是否为已知的Ｐ２Ｐ数据包以及所对应的协议类型．这一步可以精确识别已知在载荷区存在字符串特征的Ｐ２Ｐ流量．且识别正确率非常高。第二步使用基于流量特征的检测技术．对未知Ｐ２Ｐ协议流量和加密Ｐ２Ｐ流量进行检测．以确保网关的适用性．由于第一步可以识别出大部分Ｐ２Ｐ流量数据．因此，大大降低了对第二步的处理速率要求．从而最大限度地保证了这些非Ｐ２Ｐ流量的顺利通行本方案实现Ｐ２Ｐ流量检测分为预先处理识别和实时线速匹配两个步骤。（１）预先处理识别过程： ① 完成Ｐ２Ｐ协议研究．提取出Ｐ２Ｐ流量载荷区的特征字符串，并作为匹配条件按算法配置到表项中．用作ＤＰＩ流量检测的匹配依据： ②在网管平台中配置对Ｐ２Ｐ流量的处理方式．如全部丢弃、概率丢弃、只监测不丢弃等； ③ 统计网内服务器ＩＰ地址、网关ＩＰ地址、国内知名服务器的ＩＰ地址等信息．用于支持已知数据流优先处理策略。从而确保系统对关键数据流的处理效率（２）实时线速匹配过程： ①利用已知非Ｐ２Ｐ流量检测策略对输人数据包的ＩＰ地址进行匹配．如果匹配命中．则认为输入数据包为非Ｐ２Ｐ流量．直接通过本模块

云时代的优化与管理——苏州迈科Matrix分布式网络应用性能管理解决

云时代的优化与管理——苏州迈科Matrix 分布式网络应用性能管理解决方案评析作者：暂无来源：《计算机世界》 2011年第42期伴随着互联网应用的快速发展，众多企事业单位与政府部门都着手进行信息化系统升级，建设更高速的网络与基于云计算模型的数据中心。

但基础架构的拓展并不能解决一直以来存在的管理难题，用户依然要在缺乏足够可视化能力的前提下，与网络滥用、关键业务中断等情况从斗争。

传统的流控产品虽然可以在一定程度上解决这个问题，却难以满足部署灵活性、数据挖掘深度和统一管理方面的要求，并不适用于以数据中心为代表的新型应用场景。

针对这种情况，国内专业应用流量优化解决方案提供商之一的苏州迈科网络安全技术股份有限公司(以下简称“苏州迈科”)凭借着在协议分析、应用优化等领域多年的实践经验，推出了全新的Matrix分布式网络应用性能管理解决方案，完成了从产品向应用交付的彻底转型。

苏州迈科将Matrix诠释为一种全网基础架构下的安全评估与流量控制平台，该平台以DPI(Deep Packet Inspect，深度包检测)、DFI(Deep/Dynamic Flow Inspection，深度流行为检测)、PFQ(Per-Flow Queuing，基于流的队列)、RED(Random Early Detective，随机尾部丢弃)和CPD(Common Performance Database，通用性能数据库)技术为核心，提供了包括网络性能分析、应用优化、流量缓存功能在内的一体化解决方案。

用户可以在统一平台上完成对整网的应用流量优化、用户身份认证、网络性能分析等工作，实现应用优先级划分、带宽控制与综合管理的目的。

流控新生在方案架构上，Matrix平台由应用管理器(Application Manager，AM)、性能管理器(Performance Manager，PM)与客户端三大模块组成，其中AM以分布式部署方式对网络流量进行采集与处理;PM作为系统枢纽，负责对AM采集的数据进行集中分析与存储;客户端则将PM得到的各类统计信息以多种形式展示给用户。

浅谈上网行为管理产品的运用

浅谈上网行为管理产品的运用作者：虞刚来源：《科技创新导报》2011年第07期摘要:上网行为管理产品以用户身份精准识别、上网行为全面识别、上网终端及桌面环境识别为基础,通过上网权限划分、上网流量控制、上网行为审计和记录等手段,帮助组织IT制度的贯彻和执行,同时规范用户上网行为,达到效率、安全双丰收。

关键词:身份认证权限控制流量管理行为记录安全防护中图分类号:TP393.07 文献标识码:A 文章编号:1674-098X(2011)03(a)-0019-011 概述互联网已经普及到各企事业单位,用户可以实现随时随地访问Internet,网络已经成为信息传播的重要途径之一。

据统计, 2010年上半年,有33.2%的网民在单位上网(CNNIC)。

然而当员工使用单位的网络访问Internet时,随之而来的各种问题也不容忽视。

具体表现在以下四个方面:(1)宽带资源被滥用。

在办公网络内,迅雷、BT、在线影音等P2P的行为直接将带宽资源挤占,使得基于网络的正常办公应用受到严重影响。

(2)员工工作效率降低。

上班时间玩游戏、偷菜、网上购物、看网络电视、聊天,严重影响工作效率,办公室几乎成了免费的网吧。

(3)病毒的蔓延导致网络运行不畅。

员工访问一些挂有木马的网站,或通过FTP下载文件等行为会引发局域网中毒事件,导致网络运行不畅。

(4)无法进行有效网络管理。

IT管理员针对网内违法行为、资源滥用现象、病毒源等行为无法进行有效地追踪。

网络行为得不到有效的记录,满足不了相关规定的要求。

2 上网行为管理产品简介近年来,随着客户的高级需求、特别是高端客户需求的不断涌现,推动了高级上网行为管理产品开始融合终端安全检测、局域网准入控制、内网访问流量控制等功能。

上网行为管理产品明确了身份认证、权限控制、流量管理、内容过滤、应用行为记录、数据分析、安全防护等基础功能,实现帮助客户实现内网统一身份认证,有效规避违规行为带来的法律与舆论风险。

欧洲龙虾计划技术初探

欧洲龙虾计划技术初探概述龙虾计划（Lobster Program）是由欧盟委员会下的IST资助的一个项目，旨在建立一套提前发现、追踪和消除复杂网络攻击，并分享这些攻击信息的系统。

主要承担方是希腊研究与技术基金会。

龙虾计划的全称是Large-scale Monitoring of Broadband Internet Infrastructures，即大规模宽带Internet基础设施监测。

项目于2004年1月启动，并已经在2007年6月结项。

目前，各参与方仍在继续基于这个项目进行各自的进一步研究与开发。

项目的动因本质上就是为了获得对网络的态势感知，尤其是安全态势感知，尽管当时他们并未用这个词来概括其动因。

该项目的核心目标是：基于被动监测传感器，针对欧洲地区的互联网建立起从2.5Gbps到10Gbps环境下的网络流量监测的试点。

另外，值得一提的是该项目中几个具体目标：1）实现一个能够实现原始流量数据匿名化的工具与通用的匿名数据流量信息表达方式。

因为该项目的一个目标是要在不同的参与者之间分享捕获的攻击数据，以便进行协作分析。

而保护每个信息提供者的原始数据隐私是很重要的、也是很实际的一个问题。

这就好比如现在的MSSP在给最终用户提供服务的时候，如何既能够发现针对客户的敏感信息窃取攻击，又不看到客户的敏感信息一样。

2）在这个高性能、分布式的监测传感器（Traffic Monitoring）基础上建立一套应用分析框架和典型应用，支持识别0day蠕虫传播、识别动态端口应用、对互联网服务进行度量，等等。

另外，需要指出的是，龙虾计划很多都与网络安全有关，但并未单纯为了网络安全，还包括网络性能与可用性的监测，例如流量分布、（应用层）流量统计、应用性能度量、Internet 服务质量度量，等等。

最后，需要强调的是，Lobster计划做出来的核心是一个应用框架，以及一些基本的应用（NERD、Ruler、Stager等），具体的应用还需要开发者基于这个框架做各自的开发。

DPI技术简介

DPI技术简介匹配模式根据规则的特点，可以分为两种特征字符串模式：特征字符串模式实现⽅法简单，将流量的特征字符串提取出来即可进⾏流识别，不过此种⽅式描述性较差，需要将流量特征进⾏遍历，才可以将流量全部识别出来，通常使⽤“正则表达式”来概括性描述，正则表达式将可能出现的形式进⾏囊括遍历，此种⽅式有较强的描述能⼒，但是识别性能较差，对设备的性能消耗很⼤。

特定⽐特流模式：主要是对应⽤层载荷信息及数据流信息进⾏识别，此类信息是以⼗六进制或者⼆进制形式描述应⽤层的信息，规则描述性较差，但匹配效率很⾼。

DPI主要检测的⼏个层⾯基于三、四层信息识别：三、四层信息主要是IP地址和PORT信息，将数据包的IP地址与业务服务器IP地址进⾏匹配，若匹配到，则可确定其业务类型及名称，常⽤业务⼝地址需长期收集和动态更新。

根据公知端⼝来区分具体的业务，如服务器端⼝为80 为HTTP业务，端⼝号为21即为FTP业务，110即为邮件业务等。

基于单包DPI ：单个数据包可以解析到七层信息，通过报⽂中的关键字符串识别业务，如多数APP利⽤HTTP承载报⽂HOST、URI字段的信息；报⽂中还有⼀类重要的指纹信息，如微信载荷中的0x00100001相对固定，可以作为微信应⽤的特征来匹配。

基于多包DPI ：多包DPI即根据同⼀个数据流汇总多个数据包的关联规律识别[19]。

挖掘多个数据包的七层信息并进⾏关联识别，通常和单包DPI⽅式联合识别，如连接建⽴后连续发3个载荷为100字节的包，或3个包的第⼀个字节分别为01、02、003，此类规则信息可以作为整个流的特征。

基于DFI：DFI是根据多个数据流的统计特征和连接⾏为识别的，统计特征是分析数据流参数，如包长度分布、包达到间隔、流⼤⼩、流连续时间、流空闲时间、信令包与数据包的⽐例掣；连接⾏为包含分析通信模式，如所使⽤的协议个数，连接的主机数⽬，连接的端⼝数等。

DPI主要功能业务识别：业务识别是DPI最基本、最重要的功能，即能够在⽹络流量中准确辨别出所承载的业务类型。

流量分析和控制技术的研究与系统建设

流量分析和控制技术的研究与系统建设摘要现阶段，中国移动互联网建设初具规模，为移动互联网的发展提供了保障，随着用户规模的增加，中国移动互联网面临“增量不增收”等问题。

本文通过对流量分析技术和控制技术的研究，提出互联网流量分析和控制系统的建设思路，助力中国移动构建智能管道。

关键词流量分析；流量控制；dpi；智能管道中图分类号tp39 文献标识码a 文章编号1674-6708（2012）78-0203-021 背景现阶段，中国移动互联网建设初具规模，为移动互联网的大力发展提供了保障，但随着用户规模的增加，中国移动互联网面临着一系列问题，亟待解决。

1）p2p应用由于端口是可变的，很难察觉和管理，对网络带宽消耗极大，运营商“增量不增收”，有沦为“管道”的风险；2）以skype 为代表的p2p语音应用给运营商带来长途话费收入大量流失的严重后果，固网运营商长话业务的流失额增长迅速；3）大量的电影、软件下载，网络资源消耗极大，附加在这些文件里的网络病毒也在大量增长，由于病毒泛滥，客户网络容易遭受攻击而中断。

面对各种威胁，中国移动亟需对互联网用户流量进行精确的管理和控制，构建智能管道，为用户提供优质的宽带服务。

2 流量分析和控制技术研究2.1 流量识别技术2.1.1 dpi技术dpi技术在分析包头的基础上，增加了对应用层的分析，是一种基于应用层的流量检测和控制技术，可划分为以下三类：1）特征字识别技术：不同的应用会采用不同的协议，各种协议有其特殊的指纹。

特征字识别技术，正是通过识别数据报文中的指纹信息来确定业务所承载的应用；2）应用层网关识别技术：若业务的控制流和业务流分离，其业务流没有任何特征，可通过应用层网关识别出控制流，根据控制流协议选择特定的应用层网关对业务流进行解析，从而识别出相应的业务流；3）行为模式识别技术：对终端的各种行为进行研究，并在此基础上建立行为识别模型，基于行为识别模型，判断客户正在进行的动作或者即将实施的动作。

DPI和DFI技术原理

DPI和DFI带宽管理技术分析一、当前状况和挑战固网转型，宽带成为最大亮点，欣欣向荣的宽带业务发展给运营商带来了可观利润和客户。

但是，随着网络应用层出不穷，P2P、网络游戏、IPTV、WEBTV等新兴业务，占用了互联网大部分带宽，以BT和Edonkey为代表的P2P应用已经占据了整个互联网流量的2/3以上，运营商的基础网络建设陷入了“拥塞-扩容-再拥塞”的非正常局面，盈利能力相应降低。

从目前国内统计来看，P2P跨域的流量在干线占用了80%的带宽，在我国宽带不限时包月资费模式下，网络的绝大部分带宽被少量用户所占用，而这些用户并未支付相应的成本开销，却影响了其他大部分用户的网络质量，因此，运营商的服务质量也出现问题。

造成以上现象的主要原因是运营商对用户缺少一个有效的控制和区分手段，运营商既不知道用户在网上干什么，也没有办法给不同用户提供一个不同的服务质量、服务等级的保证，当然就不能根据业务特性设置合理的费率，不能将业务增量转化为收益增量，反而被提供语音、IM、游戏等应用的ISP、ICP，利用廉价的网络资源，大力发展客户，撷取了蛋糕上的奶油。

无法实现业务识别、内容计费增加了运营商的运营成本，降低了客户的满意度。

于是，如何深度感知网络应用，提供网络业务控制和管理手段，构建可以运营、可以管理的和谐网络，对P2P有效限制，合理引导，化不利为我所用已经成为电信运营商目前亟需研究的一个热门课题。

二、带宽管理技术通过加大对网络流量的监控，可以在一定程度上比较准确地识别流量中的业务类型，其中DPI（DeepPacketInspection，深度包检测）和DFI（Deep/DynamicFlow Inspection，深度/动态流检测）两大技术体系的技术已经在国外商用，通过网络设备根据业务流进行检测和识别，其适合于检测非运营商的业务，以及利用P2P承载的业务。

IMS（IPMulti-mediaSubsystem，IP多媒体子系统）架构则是通过应用层通知网络设备业务的识别，适合于运营商集中运营的C/S模型的业务，如VOIP业务，从而为业务内容提供计费和电信级的安全保证和服务，向要求服务质量高的、需要带宽保证的客户提供QoS保障。

DPI技术

D P I技术(总16页) -CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除1DPI技术介绍1.1DPI技术产生的背景近年来，网络新业务层出不穷，有对等网络（Peer-to-Peer，简称P2P）、VoIP、流媒体、Web TV、音视频聊天、互动在线游戏和虚拟现实等。

这些新业务的普及为运营商吸纳了大量的客户资源，同时也对网络的底层流量模型和上层应用模式产生了很大的冲击，带来带宽管理、内容计费、信息安全、舆论管控等一系列新的问题。

尤其是P2P、VoIP、流媒体等业务，当前P2P业务的流量已是相当巨大的，这打破了以往“高带宽、低负载”的IP网络QoS提供模式，在很大程度上加重了网络拥塞，降低了网络性能，劣化了网络服务质量，妨碍了正常的网络业务的开展和关键应用的普及。

同时，P2P的广泛使用也给网络的信息安全监测管理带来了极大的挑战。

由于P2P流量的带宽吞噬特性，简单的网络升级扩容是无法满足运营商数据流量增长需要的，加上网络设备缺乏有效的技术监管手段，不能实现对P2P/WEB TV等新兴业务的感知和识别，导致网络运营商对网络的运行情况无法有效管理。

传统的网络运维管理，往往通过设备网管实现对网元级的管理，后来发展至网络级管理，可以对上层的简单应用进行管控，而这些应用级管控技术大多采用简单网络管理协议SNMP或者基于端口的流量识别进行进行分析和管理。

因此，如何深度感知互联网/移动互联网业务，提供应用级管控手段，构建“可运营、可管理”的网络，成为运营商关注的焦点。

1.2DPI能够为运营商解决什么问题互联网及移动互联网面临大量“高消耗、低价值”的业务对带宽的吞噬压力，网络安全和服务质量问题亟待解决，主要面临如下问题：网络出口带宽增加了一倍，可没几天还有大量用户投诉上网慢，收邮件慢，流媒体缓冲时间长，为什么？不断升级换代交换机、路由器等核心网设备，投资不少可网络设备的性能总是无法跟上带宽的增长速度。

DPI、DFI技术说明及比较

DPI技术说明DPI简介DPI 全称为“Deep Packet Inspection”，称为“深度包检测”。

所谓“深度”是和普通的报文分析层次相比较而言的，“普通报文检测”仅分析IP包的层4 以下的内容，包括源地址、目的地址、源端口、目的端口以及协议类型，而DPI 除了对前面的层次分析外，还增加了应用层分析，识别各种应用及其内容，基本概念如下图所示：DPI技术原理DPI 的技术关键是高效的识别出网络上的各种应用。

普通报文检测是通过端口号来识别应用类型的。

如检测到端口号为80时，则认为该应用代表着普通上网应用。

而当前网络上的一些非法应用会采用隐藏或假冒端口号的方式躲避检测和监管，造成仿冒合法报文的数据流侵蚀着网络。

此时采用L2~L4层的传统检测方法已无能为力了。

DPI 技术就是通过对应用流中的数据报文内容进行探测，从而确定数据报文的真正应用。

因为非法应用可以隐藏端口号，但目前较难以隐藏应用层的协议特征。

DPI识别技术分类（1）基于“特征字”的识别技术不同的应用通常依赖于不同的协议，而不同的协议都有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的Bit 序列。

基于“特征字”的识别技术通过对业务流中特定数据报文中的“指纹”信息的检测以确定业务流承载的应用。

根据具体检测方式的不同，基于“特征字”的识别技术又可以被分为固定位置特征字匹配、变动位置的特征匹配以及状态特征匹配三种技术。

通过对“指纹”信息的升级，基于特征的识别技术可以很方便的进行功能扩展，实现对新协议的检测。

如：Bittorrent 协议的识别，通过反向工程的方法对其对等协议进行分析，所谓对等协议指的是peer与peer之间交换信息的协议。

对等协议由一个握手开始，后面是循环的消息流，每个消息的前面，都有一个数字来表示消息的长度。

在其握手过程中，首先是先发送19，跟着是字符串“BitTorrent protocol”。

那么“19BitTorrent Protocol”就是Bittorrent 的“特征字”。

2-4 深度动态流检测技术(DFI)

DPI与DFI优缺点分析——DFI维护成本相对较低
基于DPI技术的带宽管理系统，总是滞后新应用，需要紧跟新协议和新型应用的产生而不断升级后台特征数据库，否则就不能有效识别、管理新技术下的应用，提高模式匹配效率；而基于DFI技术的系统在管理维护上的工作量要少于DPI系统，因为同一类型的新应用与旧应用的流量特征不会出现大的变化，因此不需要频繁升级流量行为模型。
DPI与DFI优缺点分析——识别准确率方面各有所长
由于DPI采用逐包分析、模式匹配的技术，因此，可以对流量中的具体应用类型和协议做到比较准确的识别；而DFI仅对流量行为进行分析，因此只能对应用类型进行笼统分类，如对满足P2P流量模型的应用统一识别为P2P流量，对符合网络语音流量模型的类型统一归类为VoIP 流量，但是无法判断该流量是否采用H.323或其他协议。如果数据包是经过加密传输的，则采用DPI方式的流控技术不能识别其具体应用，而 DFI方式的流量行为识别技术则不受影响，因为应用流的状态行为特征不会因加密而根本改变。
IP网络流量各检测技术比较：
视频课程“由浅入深学习防火墙”参见51CTO、网易云课堂、腾讯课堂
DFI识别原理举例பைடு நூலகம்
例如，网上IP语音流量体现在流状态上的特征就非常明显：RTP流的包长相对固定，一般在130～220byte，连接速率较低，为20～ 84kbit/s，同时会话持续时间也相对较长，所用传输层协议为UDP；而基于P2P下载应用的流量模型的特点为平均包长都在450byte以上、下载时间长、连接速率高、首选传输层协议为TCP等。
DFI技术正是基于这一系列流量的行为特征，建立流量特征模型，通过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来与流量模型对比，从而实现对应用类型的鉴别。