DPI深度包检测技术

DPI深度包检测技术
基本解释
DPI技术，即DPI(Deep Packet Inspection)深度包检测技术是一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作。

基于DPI 技术的带宽管理解决方案与我们熟知的防病毒软件系统在某些方面比较类似，即其能识别的应用类型必须为系统已知的，以用户熟知的BT为例，其Handshake的协议特征字为“。

BitTorrent Protocol”；换句话说，防病毒系统后台要有一个庞大的病毒特征数据库，基于DPI 技术的带宽管理系统也要维护一个应用特征数据库，当流量经过时，通过将解包后的应用信息与后台特征数据库进行比较来确定应用类型；而当有新的应用出现时，后台的应用特征数据库也要更新才能具有对新型应用的识别和控制能力。

重要应用
深度数据包检测(DPI)是一项已经在流量管理、安全和网络分析等方面获得成功的技术，同时该技术能够对网络数据包进行内容分析，但又与header或者基于元数据的数据包检测有所不同，这两种检测通常是由交换机、防火墙和入侵检测系统/IPS设备来执行的。

通常的DPI解决方案能够为不同的应用程序提供深度数据包检测。

只针对header的处理限制了能够从数据包处理过程中看到的内容，并且不能够检测基于内容的威胁或者区分使用共同通信平台的应用程序。

DPI能够检测出数据包的内容及有效负载并且能够提取出内容级别的信息，如恶意软件、具体数据和应用程序类型。

随着网络运营商、互联网服务提供商(ISP)以及类似的公司越来越依赖于其网络以及网络上运行的应用程序的效率，管理带宽和控制通信的复杂性以及安全的需要变得越来越重要。

DPI恰好能够提供这些要求，寻求更好的网络管理以及合规的用户企业应该把DPI作为一项重要的技术。

DPI技术首先能够将数据包组装到网络的流量中，数据处理(包括协议分类)接着可以从流量内容中提取信息，流量重组和内容提取都需要大量处理能力，尤其是在高流量的数据流中。

成功的DPI技术必须能够提供基本功能，如高性能计算和对分析任务的灵活的支持。

DPI处理部门必须能够提供符合通信网络性能的可扩扎性和性能，深度内容检测要求比仅仅是header检测更加多的处理。

因此，DPI通常使用并行处理结构来加快计算任务。

DPI技术最终能够向用户提供从网络流量中提取出的信息，实际内容处理可能与提取出的信息有很大差异，DPI技术的表现有点像一个平台，提供内容处理的实用工具，但是可以让用户决定处理哪些内容。

服务供应商使用DPI来分离网络流量
很多服务供应商现在使用DPI来将流量分为低延时(语音)、保证延时(网络流量)、保证交付(应用流量)和尽最大努力交付的应用程序(文件共享)。

使用这种分类，他们可以更好的根据关键任务流量、非关键流量来优化资源并减少网络拥挤。

因为廉价的带宽，服务供应商可以增加增值服务来获得额外的收入，包括安全、高峰使用管理、内容计费和针对性的广告。

这些都需要对网络流量的深度检测。

大型企业可以使用DPI来管理网络性能
拥有大型网络覆盖很多地理区域的企业在他们的内部网络间可能运行着完全不同的通信类型。

除了控制成本和带宽使用外，安全一直是一个挑战，这要求对网络应用程序流量的
理解。

这些企业已经开始看到DPI分析带来的好处，例如，网络管理员可以使用DPI技术来控制网络性能，当网络性能较低时，限制某种应用程序流量，当性能恢复到正常时，再提升流量。

现在越来越多的网络安全功能需要有效载荷级别的知识，数据泄漏防护要求深度理解通过线路发送的实际内容。

应用层防火墙负责有效载荷的内容，而不是header内容。

在云计算中的安全服务提供商，如反垃圾邮件或者web过滤服务等供应商，必须获取通过多个客户通信的实时可见的内容，以便迅速获取抵御威胁和攻击的信息。

这样也要求内容级别的情报。

传统上来说，这些安全功能都由特殊用途的技术所提供，这些可能包括一些DPI功能。

例如，IPS就有内置的DPI。

保护Web网关同样提供对web内容的DPI分析，但是每种特殊用途技术引用其特殊的目的或者不兼容的软件，都会使网络基础设施效率低下。

一个数据包可能会因为多种用途而被进行多次检查。

另外，这些技术并不能提供可编程的接口，这就以为着你不能够提取任意信息。

除了安全问题外，DPI对于云计算服务供应商还有着重大的影响，对于云计算供应商而言，服务订阅和用户管理是一个重大挑战。

很多供应商使用自身开发的或者现成的技术来管理服务订阅，他们发现这样做既缺乏可扩展性又不能为复杂的管理任务提供足够的信息。

另一方面，DPI能够提供关于用户流量、应用程序使用、内容传递和异常模式的情报信息，这些服务供应商还可以利用可编程界面来收集其他有用信息，如市场营销情报和客户档案等。

编辑本段深度数据包检测仍然面临着挑战
作为一个相对年轻的市场，DPI行业还面临着很多挑战，例如：不存在标准的基准。

现在的DPI市场还充满了困惑的、一站式的、针对特定应用程序的性能信息，这个行业需要标准基准来规定连接安全时间、TCP、UDP和吞吐量测试等。

这些基准对于在相互竞争的产品间建立可比性能指标是很重要的。

不同的DPI技术不断的涌现，“OpenDPI”将允许第三方开发者在不同的商业解决方案上编写DPI应用程序。

DPI技术市场将继续存在下去，现在看来，这个市场的应用程序可能还是分散和不一致的，但是存在的巨大潜力和行业利益将最终推动其走向标准和开放的市场。

DPI厂家情况
DPI在SME/固定/移动运营商的应用已炒作过两轮,第一轮是借助P2P在固网的发展来炒作的,大致原因在上面也简要提了一下,差不多在05/06年达
到顶峰,第二轮是07起欧美移动数据业务的大发展,本质上还是因为带宽的限制
典型的厂商如P-Cube,Sandvine,Allot, Procera, Arbor,
P-Cube是一家以色列公司,04年被Cisco收购,当时主要有SCE1000/2000系列,1U的小盒子,只有几G的处理能力,串接在BRAS之后,在国内最大的一
单在铁通,上100台,后来其它的运营商中好像没听说买过,08年推动框式的SCE8000,去年Cisco把DPI的人力裁了80%
Sandvine加拿大一家300多人公司,属于厚积薄发型的,2001年成立,一直到06年才比较突出,主要原因是最早推出10GE端口产品,且容量较大,市场
爱立信上海现在在做一个带DPI的东西SASN，刚开始，原来DPI是集成在GGSN里，但由于某些瓶颈，影响到了正常的性能，所以现在单独做一个。

市场么，有些运营商需要，包括限制过多的VOIP之类的，要不语音业务没赚头了
主要在北美的MSO市场,目前基本一半的收入来自于北美,当前单设备最大处理能力是60G,集群最大240G
Allot, Procera比较像,很长一段时间内产品应该是定位在SME,产品端口都是低速接口,Procera 去年的收入一半来自于校园网之类的SME
Arbor主要侧重于IDS,还成立了指纹共享联盟,后来收购了ellacoya,也在做运营商运营商市场主要应用分4类网络可视化,带宽管理,安全,增值业务
再来说说国内的,国内的厂商比较慢热,差不多是在04/05年之后成立,如南京信风/宽广电信/QQSG/金御/绿网/兆维晓通/阳光金网.DPI对网络的管控涉及到网络中立的问题,且固定宽带慢慢采用包月制.04年左右关于中立的共识是不能做限制(不过还是会偷偷限的),但国内VoIP 是非法的,可以限,所以国内厂商最初的应用是网络可视,VOIP限制,共享接入检测
亚信DPI
产品概述
超级DPI系统采用深度报文监测技术，基于七层IP协议栈，解析网络IP报文，识别网络流量，实现海量的网络数据采集和识别。

产品介绍
BDS系统支持城域网多种出口类型的数据采集，支持GPRS网络和LTE网络信令和流量的采集解析，支持500种热门应用识别和100余种的协议识别。

为上层系统提供结构化用户上网行为记录。

不同传统DPI，超级DPI系统具有超强的数据采集能力、实时的数据服务，元数据级别的识别力度和灵活的扩展性，为上层系统提供核心数据能力。

产品特点
●∙实时的数据服务
✧∙支持秒级的用户信令事件数据输出，时延小于2秒。

✧∙支持实时的用户行为事件数据输出，从用户发送动作，系统在5秒内触发用户行为事件。

●∙元数据级流量识别架构
✧∙业内独特的流量识别架构，精确描述用户行为：入口方式、协议和应用元数据。

如描述用户使用淘宝购物行为，入口-傲游浏览器；协议-HTTP；应用-淘宝商城；元数据-浏览商品/加入购物车商品类型等；
✧∙具有较好的扩展性，能够支持多种场景的不同应用的识别需求和处理能力。

●∙良好的网络识别能力
✧∙支持GPRS网络用户上网行为分析，具备Gn口信令和流量的识别分析能力。

✧∙支持4G网络用户上网行为分析，具备FDD-LTE和TD-LTE两种制式网络信令和流量的数据分析和识别能力。

✧∙支持城域网/IDC出口/WLAN等多种出口类型的网络流量识别和分析。

●∙海量数据采集
✧∙支持GE/10GE/100GE链路接入。

✧∙支持高度集成化的一体机处理，可根据不同场景支持
10Gbps/20Gbps/40Gbps/80Gbps多种模式的采集配置。

产品优势
●∙创新采用深度元数据流量识别框架，可准确分析并描述用户应用使用行为，灵活扩
展识别对象。

●∙实时秒级系统的数据服务能力，可支撑任何基于网络行为触发的实时业务场景落地。

●∙准确的应用识别，支持500余种纯应用识别，99%的以上的识别准确性。

亚信综合监控系统
产品概述
亚信综合监控系统( NIMS = Network Integrated Monitor System),有效的整合了话音网、传输网、数据网、动环网以及集客等专业网管平台数据，消除各网元网管以及专业网管系统之间的信息孤岛，实现了全网性能、告警的集中监控和集中管理，大力提升监控质量和效率，更好更快的诊断网络故障，促进网络的健康发展。

产品介绍
随着通信行业全面开放的全业务运营格局的巨变，电信市场传统的三强运营商竞争更为激烈。

为了在市场中确保优势主导地位，需要以满足客户追求的卓越的服务感知、高效的服务保障为目标，建立适应全业务运营的支撑体系，集中化运维支撑是趋势。

为适应监控集中化、综合化、智能化的业务需求，亚信综合监控系统着力打造智能化综合监控平台，实现综合告警监控、跨专业告警关联，告警多维统计分析、主动监控、集中性能监控和智能多维场景监控等功能，缩短故障发现、故障定位的时间，提高监控人员的工作效率，打造一流的集中运维管理体制。

●∙全网一点集中的监控平台
通过综合告警管理系统实现了对传输、交换、宽带、动力、数据和接入等各专业网络的统一监控，减少了网络监控人员数量，同时告警处理效率的提升也有力的降低了网络监控的运维成本。

实现从分散专业监控向集中化监控转变。

以全专业告警为基础，实现网络层、业务层、客户层各层面的“及时发现故障”“掌握故障的影响范围”、“进行故障的准确定位”“督促故障的处理”；对监控到的问题进行实时跟踪，问题溯源分析，支撑快速、准确的网络排障
（图：全网集中监控作业模式转型）
●∙全网故障有效关联、压缩和派单
实现全专业的设备集中监控和告警标准化，以告警的生成、标准化、预处理、派单、工单流转、闭环管理全过程六环节为主线，使得告警有效聚焦，减少派发工单量，缩短故障处理历时。

通过故障根原因分析引擎，结合分析各专业资源配置信息的关联关系，进行高效的告警压缩，实现了专业间故障的准确定位，同时屏蔽伴随告警和无关告警，从而使需关注的告警从每天的百万条级别降低到每天万条以内，将网络维护人员从海量告警的监控中解脱出来，真正处理对网络产生影响的告警，从而大大提高告警处理的准确性和效率。

●∙充分共享运维经验、有效支撑故障处理
通过以各专业故障处理手册为基础，融合积累运维人员对各类问题的处理经验，在集中监控系统中建立告警知识库，实现运维知识与告警的智能关联，当出现告警时，系统能智能地从知识库中找出对应的故障处理意见以及处理案例，有效实现运维知识共享、提升故障处理效率、增值知识资产价值
●∙以客户和业务为维度的监控
提供了一站式的集客维护工作信息中心和监视平台，提升了集客维护工作的可操作性和支撑功能、支撑信息的易用性；
✧∙基于客户的视角实现全省集团客户告警、性能、投诉、工程等信息的综合展示，实
现集团客户信息的可视；
✧∙实现了以集团客户视角的多专业告警集中监控，包括告警呈现和关联分析，并实现
按照客户等级的故障派单。

✧∙以告警为主线，通过告警—拓扑—GIS，实现故障点和影响范围的可分析。

✧∙以集团客户业务为主线，实现多专业拓扑的联动，进行故障溯源定位。

●∙直观的重点场景保障能力
以专题场景监控为核心，对可预知以及不预知的重要事件或自然灾害进行及时的监控和保障，从专业维度（核心网、无线网、数据网、传输网、动力环境）、数据（告警、退服信息）、业务维度（话音、彩信、短信、WAP）、地域（全省、地市、重点区域）、外围环境（如天气信息）维度将将数据有机整合，以不同视角实现网络进行场景化、立体化监控。

支持的重点场景包括节假日保障、重大活动保障、突发事件保障、自然灾害保障，以及重点区域保障等等。

（图：重大赛事活动保障场景）
产品特点
●∙设计基于大设备量集中化网管系统架构，支持云化部署，具备十万级网元数、千万级告警数、亿级性能指标数的采集计算和监控处理能力。

●∙针对海量告警数据的处理，我方创新地采用了实时流计算技术，实现了易扩展的多点计算。

●∙告警风暴处理机制，满足每秒5000多条的告警风暴突发和并发处理能力。

●∙内嵌丰富的告警关联规则：10类跨专业告警关联规则和213类专业内关联规则，有效实现故障的快速溯源和压缩派单。

参考
●∙中国移动2省综合监控系统
●∙中国联通2省集中监控系统。