技术部分创新点新产品
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第二章项目技术方案与创新性一、项目的技术原理
二、项目国内外研究开发现状
三、项目主要内容及创新点
1、项目主要内容及技术路线
但在实现上,采用是从合到分的方法。
先从最精简的结构出发,
即,整个系统就两个集合,所有的终态结点并为一个结点,所有的非综态结点合并为一个结点。
然后看这种划分是否可行,如不可行,再分解出更多的集合。而合并可行的依据就是集合中的每个元素通过同一条弧到达同一个目标集合。
如上图,首先将所有的非综态结点合并为 I0 ,。将综态结点合并为 I1 。分别考察两个集合。对于 I0 ,通过 0 弧,有如下跳转: S0 ? S1 , S2 ? S1 , S1 ? S3 。而 S1 ∈ I0 ,S3 ∈ I1 ,据此, S1 和 S0 、 S2 要分开位于不同集合。
现假定 I0={ S0 ,S2} , I1={ S3 ,S4} , I2 = { S1 } 。考察 I0 ,同样是通过 1 弧,则有如下跳转:
S0 ? S2 、 S2 ? S4 ,而 S2 ∈I 0 ,S4∈I 1 。故, S2 与 S4 分开。可以看出,只要发现一条弧不满足上述条件,就可以将其分离。并非要考察完每条弧。
再来考察 I1 ,通过 0 弧可得: S3 ? S3 ∈ I1 , S4 ? S3 ∈ I1 。通过 1 弧可得:S3 ? S4 ∈ I1 , S3 ? S4 ∈ I1 。显然, I1 不可再分。
如此重复,直到每个集合Ii ( I=0,1,…) 均不可再分为止。
最小化后的状态转换图如下:
DFA应用于DPI技术易于理解、升级方便、维护简单,是目前运用最有效的流量识别方法。其主要优点包括:准确性高、健壮性好、具有分类功能等。准确性高是由于该方法执行精确特征匹配,因此极少存在误判问题。健壮性好是由于可以处理数据包丢失、重组等,因此能适应如今复杂的网络应用。具有分类功能是由于深层数据包检测技术可以依据不同应用的载荷特征来准确分类各网络应用,因此可以为实施流量监管策略提供准确的信息。
和DPI技术结合
目前,在网络数据流量控制与优化的相关产品中,国内厂家大多采用DPI引擎技术,其主要通过源IP 地址、目的IP 地址、源端口、目的端口、会话信息以及对IP 包中的荷载Payload (应用层数据)深入分析,匹配应用协议的特征库,可以探测和跟踪动态端口分配的应用,能够识别变动端口的会话流,并能够对使用同一端口的不同协议进行自动识别,从而可以做到基于真正七层的协议或应用实现流量整形和带宽控制,来优化用户的网络和应用的可用性。
但在实际网络中,很多应用为了逃避DPI的检测来达到对网络资源的占用;这些应用会对报文进行加密,特别是P2P的应用,如:BT、eDonkey等都有加密的流量,这就造成了国内目前产品普遍存在网络识别率低的问题。
针对这种情况,本公司技术团队在总结DPI技术优点的基础上,结合DFI的优点,提出了“DFI+DPI”相结合的协议识别方法。DFI全称为“Deep Flow Inspection”,称为深度流检测。采用一种基于流量行为的应用识别技术,DFI技术的有力的补充了应用优化过程中对加密流量的应用的识别。DFI 技术基于一系列流量的行为特征,建立流量特征模型,通过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来与流量模型对比,从而实现鉴别应用类型的目的。有了DFI 技术的强力补充,能够保证正确识别加密传输的应用流量。
该技术的使用,使得DPI 技术和DFI 技术相辅相成,从而保证了对800 多种网络协议和应用软件的识别,涵盖了目前主流的各种应用,包括P2P、VoIP 、IM、视频/流媒体、炒股软件、网络游戏、企业内部核心应用等。
本项目以DPI 和DFI 技术为核心,通过智能分类引擎,结合基于应用特征字(签名)及基于行为启发式的技术,可以识别L2 到L7 层的各种协议和应用,最终实现网络传输的全面可视化。
主要协议和应用类别如下:
P2P应用:Bittorrent、电驴、迅雷、KAZAA、KURO、NAPSTER、EDONKEY、EZPEER、超级旋风、KUGOO、FASTTRACK、GNUTELLA、VAGAA、SOULSEEK、POCO、PIGO、PPDOG等30多种。
连接流的包长、速率、
传输字节量、包与包之
间的间隔、pps等
统计主机、服务器以及区
域间的流量行为,并建立
关系模型
加密P2P和其他加密协
议的识别
IM应用:MSN、Yahoo、ICQ、AOL、QQ、YAHOO、WEBIM、IRC、XMPP等10多种主流软件。
Streaming应用:QQlive、PPSTREAM、PPLIVE、CCIPTV、REALPAYER、QUICKTIME、MMS、TVKOO、RTSP、TVANTS、MYSEE、FEIDIAN、KOOWO、新浪直播等主流的视频和流媒体应用。
VoIP协议:SIP、、SKYPE、RTP、POLYCOM、RTCP等常用的VoIP应用协议。
网络游戏:QQ堂、QQ游戏、浩方对战平台、WOW、联众游戏、DOOM3、YAHOO-GAME、QUAKE-HALFLIFE等网络游戏。
炒股软件:同花顺、大智慧、招商证券、钱龙、分析家、安信证券、华泰证券、光大证券、广发证券、银行证券、中银国际证券、平安证券、联合证券、证券之星、方正证券、国泰证券等数十种炒股软件。
企业办公、数据库:HTTP、FTP、SMTP、POP3、IMAP、TELNET、LOTUS-NOTES、SQL SEVER、ORACLE、HTTPS等企业关键应用。
同时,对于新协议我们提供特征码的跟踪,保证协议识别的准确性。另外,客户可以自定义本网络中特有的协议,能够针对客户使用自己特有的特征码,使得每个客户都拥有一个高效的、便捷的网络环境。
此技术为我们公司特有技术,在DPI准确识别的基础上,对协议流量的特性进行建模,进一步实现对P2P流量的识别,我们的设备能够达到95%的网络识别率,远远高于国内其他厂家80%左右的识别率。
3、ECBQ技术的流控引擎
目前,国内外的流控一般采用的是htb/cbq的算法来实现,此算法将端口分类多个子类,并在叶子才有最终的通道,结合使用令牌桶算法,实现流量的控制技术。但基于终端的产品流控的设计思路,每个子类可以根据用户或业务进行流控,无法实现用户和业务复合的策略配置。
针对这种情况,本公司提出了一个ECBQ的算法来实现,这套算法为本公司首创,它既能够实现的用户或业务单独策略,又能实现用户和业务复合策略,即真正做到带宽嵌套的算法。结合流的观念,我们将带宽控制方法是根据下行流量来控制上行流量的大小。即如果流的下行流量将达到控制状态时,此时将上行流量加于控制,这样能够控制下行流量的方法。
ECBQ的设计实现原理:我们同网络接口划分出第一级PIPE父通道,第二级的VC虚拟子通道。所有的流量必须从VC通道流出,PIPE主要是负责分类,在此基础上我们建立一中share 共享通道,share共享通道将需要控制的多个VC通道或多个PIPE通道共享一定的流量限制。
ECBQ引擎提供自定义Pipe通道、自定义VC通道、最大带宽限制、带宽租借、Per-IP带宽控制、Share Rate Pool带宽控制、权重设置以及应用优先级等一系列的应用优化和带宽管理控制功能。将网络带宽的管理从被动的、消极的、无效的传统模式提升到主动的、有效的、智能化的带宽管理服务,最终达到保证关键应用正常运行的目标,有效提升用户网络运维管理的水平。
网管人员可以根据需求,将若干个Pipe(或者VC)放入一个Share Rate Pool中,并设置不同的权重,以达到多样化的流量控制目的。
Pipe和Pipe之间可以建立Share Rate Pool;
VC和VC之间可以建立Share Rate Pool,并且VC可以分属不同的Pipe;
Pipe和VC之间,由于所属级别不同,不能建立Share Rate Pool;
同一个Share Rate Pool内的所有Pipe(或者VC)的最大带宽之和不大于Share Rate Pool的最大带宽。
如上图所示,可以将Pipe1内的VC2和VC3建立Share1;将Pipe2内的VC5和VC6建立Share2;亦可跨越不同的Pipe,将Pipe1的VC1和Pipe2的VC4建立Share3;也可以将Pipe1