包分类算法
位并行多维数据包分类算法研究
的两种改进算法 , 通过 引入位 图映射及元组空 间的概念 ,提出了一种新 的改进算法 ,在时 间复杂度与空 间复杂度上都较位并行算法有很大
提高并具有很好的扩展性。在模 拟环境下对算法进行 了评测 ,给出 了试验数据 的分析结果 。
关健词 :数据包分类 ;位并行Fra bibliotek;位图映射 ; 元组 空问
Re e c o tpa a lls s d M u t- m e i n l s ar h n Bi- r leim Ba e lidi nso a
ABV l o i m, a i g t e b tp r l ls s h me a d a d n h d a fb t a p ng a d t pl p c ,hi a e r s n s an w l o tm . e ag rt h t k n i- a al im c e d i g t ei e so i p ma pi u e s a e t sp p rp e e t e a g r h h e n m n i Th n w l o i m e u e h o l x te fb t h m e a d s o a e a d C c l l wih t e g o h ft e fl rd tb s si ie I e lz st e e ag rt h r d c s t e c mp e iis o o h t e t t r g n a s ae we l t r wt o t aa a e n sz . t ai e h i n n h h i e r l o h i a v r v r n n d a l z st e e p r n a d t . a g rtm it l n io me t n a y e h x e me t a a i n ua e a n i l
一种内存优化的RFC包分类算法Merge RFC
一种内存优化的RFC包分类算法Merge RFC随着互联网的快速发展,网络数据量越来越庞大,如何对这些海量数据进行内存优化成为亟需解决的问题。
RFC(Request for Comments)是一种由互联网工程任务组(IETF)制定的文档,用于描述互联网相关协议、技术和其他一些有关主题之间的思想和信息。
本文提出一种基于RFC文档的内存优化算法—— Merge RFC。
Merge RFC算法通过对RFC文档进行分类,将相似的RFC文档合并在同一类别中,并进行压缩存储,从而减少内存消耗。
该算法可以分为以下几个步骤:1. 获取RFC文档首先,需要从互联网上获取RFC文档。
这里可以使用爬虫或者直接从IETF官网下载RFC文档,将其存放在本地的存储介质中。
2. 解析RFC文档将下载的RFC文档进行解析,提取文档的内容和关键词。
这里可以使用自然语言处理技术和关键词提取算法,提取出每个RFC文档的主题和相关信息。
3. 构建RFC包分类模型根据RFC文档的内容和关键词,构建RFC包分类模型。
该模型可以基于人工规则或者机器学习算法构建,通过模型可以将每个RFC文档归类到相应的类别中。
4. 合并相似RFC包使用RFC包分类模型将相似的RFC文档合并在同一类别中,并进行压缩存储。
这样可以避免相似RFC文档重复存储,减少内存消耗。
5. 精细化存储对于一些频繁访问的RFC文档,可以进行精细化存储。
将这些文档存储到高速缓存中,快速响应用户的查询请求,加速访问速度。
6. 动态调整模型随着新的RFC文档不断产生,RFC包分类模型需要不断进行调整和优化。
通过监控和分析用户的访问行为,动态调整模型,保证RFC文档的合并和分类是最优的。
总之,Merge RFC算法可以帮助优化内存消耗,提高应用程序的性能和稳定性。
未来,我们可以继续优化该算法,探索更多的RFC文档分类方法,提高算法的精度和效率。
基于动态点切分的多决策树包分类算法
2 0 1 3
息
学
报
Vo 1 . 35 N O. 1 2 De e. 201 3
J o u r n a l o f El e c t r o n i c s& I n f o r ma t i o n Te c h n o l o g y
基于动 态点切分 的多决策树包分类算法
韩伟 涛 伊 鹏 扈 红超
郑州 4 5 0 0 0 2 ) f 国 家数 字 交换 系统 工 程 技 术 研 究 中心 摘
要 :针 对 传 统 的包 分 类 算 法 存 在 较 多规 则冗 余 问题 ,该 文 在 分 析 规 则 集 特 征 的 基 础 上 , 提 出一 种 基 于 动 态 点 切
明,在保证算法的时问性能前提下 ,C DP S算法的 内存 占用较 H y p e r S p l i t 和E f i Cu t s 分别减少 了 9 5 %和 5 0 %。
关 键 词 :包 分 类 ;决 策 树 ; 内存 优 化 ;动 态 点切 分
中图分类号 : T P 3 9 3 D O I : 1 0 . 3 7 2 4 / S P . J . 1 1 4 6 . 2 0 1 3 . 0 0 2 7 6
CDPS i s 9 5 % a n d 5 0 % l e s s t h a n Hy pe r S p l i t a n d Ef i f Cu t s , r e s p e c t i v e l y .
Ke y wo r d s : Pa c k e t c l a s s i i f c a t i o n; De c i s i o n t r e e ; Me mo r y o p t i mi z a t i o n; Dy n a mi c p o i n t s p l i t
基于规则集压缩的高效包分类算法
(. oeeo o p t n o mu i tn ua nvrt,C a gh u a 10 2 C ia 1C lg C m ue a dC m nc i ,H n nU i sy h n saH n n40 8, hn ; l f r ao ei
2 Is tto o p tg Tcn l y hns cdm Si cs e'g 10 9 , C i ) .ntu i e fC m ui eh o g ,C i e ae yo c ne n o e A f e ,B on 0 10 hn i a
Abs r t Th s tac : i pa r o nd ut h f s pa k t ls i c t n lo t m EGT— S e r h i e n so a e p c pe f u o t e a t c e ca sf ai ag r h i o i PC’ s a c tm a d t rg s a e pe o ma c r d c e s d y h r ls e n nt o i s Ac o d n t t e ues g r g to c a a tr a e u ls f r r n e we e e r a e b t e ue ’r du da c p e . c r i g o h r l a ge a in h r ce , n w r e
基 于规 则 集压 缩 的 高效 包 分 类算 法
毕夏安 谢 高岗。张 大方 , ,
(. 1湖南大学 计算机与通信学院 , 长沙 4 08 10 2; 2 中国科学院 计算技术研究所 , . 北京 10 9 0 10)
路由器中的包分类算法研究
计算机科学 20V 1 3o1 0 6 o 3N.1 .
路 由器 中的包分 类算 法研 究 )
’ 甘利 杰
( 重庆工商大学计算机科学与信息工程学院 重庆 40 6 ) 0 07
摘 要 在 Itr e 路 由器 中将 数据 包分类成流采用 了散列 算法的基本 思想 , 引入 了流的局 部性 原理 来加 速散列 nent 并
GAN _i Li『 .e
( o ue ce c C mp trS i e& Ifr t nE gn eigC l g 。C o g igTeh oo y& B s esUnv ri . o g ig40 6 ) n nomai n ie r l e h n qn c n lg o n o e ui s ies y Ch n qn 00 7 n t
Abta t Th r c s fc tg rzn a k t n o “ lws i n I tr e o tr i cle ake lsiiain Al sr c ep o e so ae oiig p c es it fo ” n a n en t r ue s ald p c t casfcto . l p c esb ln ig t h a lw b y ap ed f e ue a d a ep o es d i i lrm a n rb h o tr Th ak t eo gn O t esmefo o e r ̄ ei d r l n r rc s e n a smi n e y t e r ue. n a e man ie SH ah ag rt m. HO t p e h a h s ac t h c le so lw a en ito u e .Atls ,is i ai s lo i d h W Os ed t eh s e rhwi t el an s ff h o o h sb e rd ed n t t a
课件:网络算法:包分类技术的研究与应用
类包分类(Packet Classification))陈兵南京航空航天大学计算机网络研究室Cb_china@OUTLINE什么是包分类?包分类技术的应用领域 包分类包分类算法的评价指标算法的评价指标 包分类算法的分类 包分类算法仿真工具包分类算法仿真工具介绍介绍什么是包分类?包分类的基本原理相关定义常用的分类字段组合几何描述包分类的基本原理数包分类转发引擎据包规则集头部匹配处理--------匹配条件动作字段----------------到来的数据包路由器内部ManagementRouting AgentReservation SetupAgentAgentAdmission Backgroud CodeRouting Database Admission ControlTraffic Control DatabasePacket Output QueueForwardingPath转发Packet Classifier Input DriverInternet ForwarderSchedulerOutput Driver表5规则示例匹配条件优匹配处理规则先级源IP 地址目的IP 地址源端口号目的端口号协议类型202.193.10.*202.193.20.*[0,65535]20,21UDP 1拒绝20219231*162120**[065535]>1023R1202.192.31.162.120..[0,65535]> 1023TCP 2允许118.196.21.*155.20. 80.*[0,65535]> 1023TCP3允许R2R3数据包目标地址源地址目标端口号协议类型动作202.192.31.2162.120.3.45[0,65535]6789TCP R2,允许118.196.21.*155.20. 80.*[0,65535]> 1023TCPR3,允许记f 为规则库为规则库,,含有n 条过滤规则条过滤规则,,记为<R 1,R 2,......,R ,R n >。
多维IP包分类算法研究
Cl s i c to g rt ud fM u t- m e i na P c t a sf a in Al o ihm St y o li di nso l Pa ke i I
Z o g Pig e g h n n fn
( h n q gC I C mmu i t nT c n l y o,dC o g i 4 0 6 , h a C o g i YT o n nc i e h oo . t,h n qn ao gC L g 0 0 5C i ) n
i wa p l -ae o t ,iee t e evc , Sf w mee fe fn u nT i at l d srb s t tpcl f e l ,oiyb sd ruigdf rnitd srieQo ,o r l c n a l tr es u c o .hs ri e ecie wo y ia c
一
G i f T i s ( 4 )主要 是针对 二维 情况 下的 I 分类 问 r d o r e [] P 题提 出 的有 效 的解 决方案 。 实际 中, 种 目的一源 过滤规则 在 VN 这 P
mu t dm e so a Pp c e lsi c to goi m dt eRe iw fr s ac tt s l — i n i n lI a k t a sf a na i c i i l rt h n h a ve o e e hsau . r K e wor : pa k t lsi c to g rtm ; utdm e i n l y dsI P c e a sf ain a o i c i l h M li i nso a
c repo dng mu t—i n i n P c e lsi c to lo t m st es p o tofLa e wic ig r u e sp o ie I a ke ors n i l d me so a I pa k tca sf a n ag r h i u p r y r4 s thn o t r r vd P p c t i l i i i h ca sfc to ,O t e r trt a h pa k tt ri ua r —e n d p o e sn o a pl ainsf rn w ewo k p c e l rn lsi a nS oue o e c c e o apatc lrp ed f e r c si g t p i t i i h i c o o e n t r a k tf ti g, i e
基于RFC算法的快速多维数据包分类算法
但 由于存储开销 巨大 ,增加 了算法实现 的存储 消耗 ,加大 了成 本。该 文在 R C算法的基础上提出了一种利用 Hah 术减 少存储 开销且保 F s技 持相对快速 的数据包分类 算法。
关健词 :数据包分类 ;H s 技术 ;R C算法 ah F
Fa t c e a sfc to g r t m s d o c r i eFl w s Pa k t Cl s i a i n Al o ih Ba e n Re u sv o i Cl s i c to g r t m u t. ed a sf a i n Al o ih i M li l s i n i f
内容寻址存储器查找法查找时间为 1个时钟 周期 ,速 度快 ,
哈希算法与递归流分类算法在包分类应用中的比较
下面参照 图2并根据该索引字段设计说 明 R F C算法编译过
图1 H a s h 表 结 构 程 .以及 三 级 递 归 映射 的 索 引表 组 织 结 构 。
哈希算法在用于分类时 ,需要考虑不 同关键字之间哈 希值可能发生的地 址; 中突。一般采用的是开放定址法来解 决冲突 ,即建立冲突解 除区,并使用链表在冲突解除区中 存放; 中 突的关键字 。如图 1 所示 ,当不同的输入产生相 同 的H a s h 值 时, 后输入 的数将被 以链表的形式存放在冲突解
包 分 类是 多 种 网 络 应 用的 关 键 性 技 术 , 包分 类算 法 韵 性 能 对 网络 的 时 延 和蚕 吐 量 有 决 定 性 的 影 响 . 一 本 文 通 过 介 绍 包 分 类 应 甩 中 常 用 的哈 希 算 法和 递 归 流 分 类算 法 的原 理 ,比较 它们 的性 能特 点 和 应 用范 圈 。阑 述 在 应 用 中各 自 的优 缺 点 .
易于更新等几个方面来评 价查 找算法 的优越性。本文将主
要对哈希 ( H a s h )算法与递归流分类 ( R F C)算法进行比
较和讨论 。
【 关键词l
哈希算 法 递 归流 分类算 法 性 能 比较 包分类
二、Ha s h算法
哈希算法 ( 散列 算法或者消息摘要算法 )是信息存储 和查询所 用的一项基本技术 , 它是一种基于 H sh a 函数 的文 件构造方法 ,可 实现对记录的快速随机 存取 。它把给定 的 任意长 关键宇映射为一个固定长度的哈希值 ,一般用于鉴 权、认 证、加密、索 引等 。其主要优点是运算简单 ,预处 理 时间较短 ,内存消耗低 ,匹配查 找速 度比较快 ,便于维 护和刷新 , 支持匹配规 则数 多等 。一般好 的Ha sh 算法具有 以下三个性质: ( 1 )单向性 。即给定一个输入数 ,容易计算出它的哈 希值 ,但是 已知一个哈希值根据 同样的算法不能得到原输
中科大网络数据包分类算法获得进展
其中 的 l 8项公有 技 术 。 “ 造小 太 阳 ” 项 大科 学工 程 包 括装 人 这
术等, 这些 技术 大 多属 国 内首 创 、 到 国 际 达
先进水 平 。 能为 民用 的科 技才是 引领 潮 流 的科 技 , 鉴 于其 中不 少 技术 的基 础性 、 有 性 , 为 共 作 院 企系列 活动之 一 , 山区政府 将 于本周 四 蜀
( 安徽 日报 )
科技创新赋 予企业发最的第一推动
合 肥 华请 金属 表 面处 理有 限责任公 司
培养 、 普创新 战 略 和管理 制 度 、 善创 新 完 完 机 制政策 。在创新 的思 想指 导下 , 清公 司 华 始 终围绕 市场需 求 、 针对 国家对产 业 发展政
策, 先后开 发 出有利于 节能 、 环保 、 排市场 减
是 由我 市几 位 年 轻 的高校 教师 自筹 资 金 于
20 0 3年走上 创 业 发展 之 路 。公 司从 注 册 资 金5 0万元 到 注 册 资金 99万 元 , 企业 资 8 从
产5 0万元 到 资产 4 0 6 0万 元 , 企业 职 工 人 从
数不 到 l 到今 天 近百人 , 年销 售额 10 0人 从 2 万元到 年 销 售 额 6 0 20万 元 , 默 默无 闻 的 从 技术 开发 公 司 到 在 国 内行 业 有 非 常 影 响 力
急 需 的 6大系列具 有 自主知 识产权 , 达到 并 国际 、 国内领 先水 平 的技 术 与 产 品。 目前 , 公 司 已经 获 得 l 国 家 发 明专 利 , 2项 被安 徽
省科技厅 确定 为省级 高新技 术 企业 , 被合肥
面向新型业务的多维快速包分类算法研究
传 统 意义 上 的路 由器 提供 的 只是 转 发 数 据 包 的 服务 , 据 根 I 的 目的地 址 以决 定 其 输 出 链 路 。 然 而 现 在 的 网 络 服 务 商 P包
的基 础 ,是 路 由器 的 关 键 技 术 之 一 ,它 的 研 究 一 旦 获 得 重 大 进 展 , 将 进 一 步 扩 展 I 络 的应 用 领 域 ,使 It nt为 用 必 P网 ne e r
毕 夏安 , 大方 张
( 南大学 计算机 与通 :网络 中新 兴的新 型业务如 P P、 oP Wom 等 日益 增 多 , 整 个 网络 流 量 中 占有越 来越 多 的比 重。对 2 V I、 r 在
这 些新型 业务的监测 和控制要 求路 由器等核 心设备 必须 有能 力对数 据 包进 行 快速 与 准确 的分 类 。从 这 些新 型 业务 包分 类规 则库 的特点 着手 , 出在 多维 多模 式 匹配情 况 下 的三种 包分 类 决策 树 , 过 实验说 明 这些 决策 树 提 通
o e e n w s r ie ’ rp s d tr ep c e lsi c t n d c s n t e t l — i n in l a tr th n . h x ei ft s e e vc s,p o o e h e a k t a sf ai e ii r swi mut d me so a t n mac i g T e e p r h c i o o e h i p e — me t h wst e p r r n e df r n e s n t e t re n w e i o r e i h r d t n l e ild cso r e h e ie n o h ef ma c i e e c su e i h h e e d cs n t sw t t e t i o a r e i n t .T n gv s o f i e h a i s a i e
三种包分类算法的实现 SX1116090
简单实现包分类算法概要包分类是VPNs、下一代路由器、防火墙等设备的关键技术。
包分类算法研究具有十分重要的意义,是目前的热点之一。
本文介绍了常用的包分类算法,分析了它们的优缺点,并简单实现线性、Hicuts 和Hypercut三种基本算法,对这三种算法进行性能对比。
一、包分类算法背景路由器的主要功能是将一个网络的IP数据报(包)Packet转发到另一个网络。
传统路由器仅根据数据包的目的地址对数据包进行转发,提供未加区分的尽力服务(Best Effort Service),这是一维报文分类的典型形式:对所有的用户报文一视同仁的处理。
但是,随着因特网规模的不断扩大和应用技术的进步,越来越多的业务需要对数据包进行快速有效的分类以便区别处理提供不同级别的服务,因此路由器还需要对数据包进行进一步的处理。
最常见的是根据安全性需要,对包进行过滤,阻止有安全隐患的数据包通过。
因此,研究高速包分类算法具有十分重要的意义。
因特网是由许许多多的主机及连接这些主机的网络组成,主机间通过TCP /IP协议交换数据包。
数据包从一个主机穿过网络到达另一个主机,其中就需要路由器提供数据包转发服务。
近年来,因特网己经从主要连接教育机构的低速网络迅速成为重要的商业基础设施。
现在,因特网正呈现两方面的新变化:一方面,因特网上的用户正在呈现爆炸性增长,Web站点正在迅速增加,需要宽带网络的多媒体应用正在日益普及,因特网的通信量也正在呈现爆炸性增长,因特网正日益变得拥挤:另一方面,因特网上的用户正呈现许多不同的种类,从以浏览和下载资料为主的普通家庭用户到经营电子商务的大型企业等等,这些用户从安全、性能、可靠性方面对因特网的期望是不同的。
人们希望路由器能够具有诸如数据包过滤、区分服务、QoS、多播、流量计费等额外功能。
所有这些处理都需要路由器按某些规则将数据包进行分类,分类后的数据构成许多“流’’,再对每一个流分别进行处理。
对于网络流量的不断增长问题,由于光纤技术和DWDM 技术的发展使得链路的速率不再成为瓶颈,已经满足了大流量传输的需求,这就使得路由器的处理速度成为网络整体速度的一个瓶颈。
支持快速增量更新的包分类算法
不 同数 据流 的过 程。规则集是一系列规则的集合 ,每 条规 则包含与数据包头 中的某些域对应的 匹配条件 、
数据流标识和相应 的处理方法 。当数据包头 中的相关
域 满足 某规则的所有 匹配条件时 ,称该数据包 匹配该 规则。 目前典型 的规则要求 匹配包头 中的源 / 目的 l P
Ab ̄r d : Dy m i a ke l si c t n i h a i fe r ig n t r e vc s u e u dae p ro ma c f a na c p c tca sf a o s te b ss o me gn ewo k s r i e ,b tt p t e r n e o i i h f
ZHOU a Gui CHENG iPe , Tin— , Ha - ng HUA i Be
(c o l f o u r ce c dT c n lg , ies yo c n e n eh oo yo hn , S h o mp  ̄ i ea e h oo y Unv r t f i c d T cn lg f ia oC S n n i S e a C Hee 2 o 2 . hn ) fi 3 0 7 C ia
具有 良好 的并行扩放 性。
关键 词 : 包分类 ;增量更新 ;并行
A c e a sfc to g r t Pa k tCl s i a i n Al o ihm t Fa tI r m e a i wih s nc e nt l Upda eS t upp r ot
多维包分类算法在防火墙中的应用
隐藏 , 据 加 密技 术 等 。 数
计算机 应 用与软 件
从 图 1 以看 到 , 可 通过 在两个 网络之 间安装 防火 墙 和正确
配 置 后 可 以 达 到 以 下 目的 :
2 1 卑 01
2 )规则与元组 的维数相 同 , 将规则 的第 个字段投影到
轴上 ,轴上有 ≤ 2 n+z 个不 相交 的区间产生。 3 )设定折叠 向量 P的长度为 Pbt, i 在 轴 上为每个 区间 t s
访 问 。防 火 墙 是 目前 用 来 维 护 和 实 现 网 络 安 全 的重 要 技 术 。
例如 , 我校 校园网络作为学校重要 的教学设 施 , 当着学 院 担 行政管理 、 教学 科研 、 专业建设 、 生就业 和人才交 流等许 多角 招 色, 单位 网络拓扑结构如 图 1 所示 。面临 日益严 峻 的网络安 全
Ab t a t sr c A o g w t h lb l a in o tr e p l a in,te a tn a t rb e ft e s c rt e w r no main a d S i h v l n i t e go a i t fI e' ta p i t h s o n n c o h t d n o lmso e u y o n t o k if r t n O Ol a e e p h i f o 源自F 6l 1十0{
发, 有效降低 了网络性 能的瓶 颈。随着 网络 中信 息资源指数 级 的增 长 , 对包分类技术 的研 究 已经 成为计算 机 网络安全领域 的
重要 内容。
表 2 元 组 表
Rl2,] [ 2
F ,2 lF
R [ ,] 2 11
h w v ra e t d t e u e so h i t s o e s ft n eib l y o n en ts r ie n h i u e o .Atp e e t h i w l tc n lg o e e f ce h s r n te r r t ft a ey a d r l i t fI t r e ev c s a d t e r s fi u h a i t r s n e f e a l e h oo y t r i t e i o tn e u t a s i e l g w t h r b e o ewo k e u t , o h a i o h nr d ci n o ie l tc n lg s h mp r t s c r y me n n d a i i t e p o l m f n t r s c r y a i n h i n te b ss f t e i to u t f wal e h oo o f r y ca sf ai n n t i a e w h v t de te ls i c t ,i h s p p r e a e su id h man d a f t e AF V l o t m. T s l e h p o l m f t i lo i m t a n i o i i e o h B a g r h i o o v t e r b e o hs g r h a t h t i mu t i n in l l ir r t a g u e t mih p e r te p o lm i e f r n e e c s ie c n u t n w k h l d me so a e l a y wi lr e n mb r i i u r b h g t a p a h rbe o t f me p roma c x e sv o s mp i , e ma e t e o
基于XOR Hash的快速IP数据包分类算法研究
基于XOR Hash的快速IP数据包分类算法研究
尚凤军;潘英俊
【期刊名称】《计算机工程与应用》
【年(卷),期】2005(041)008
【摘要】文章在哈希算法的基础上,提出了一种基于异或哈希的IP分类算法,该算法的核心有三点:一是将目的/源IP、目的/源端口和协议五域连成比特串,然后分为五块后进行异或,获得分类关键值;二是为了降低冲突率,将异或后的关键值再与一个随机数进行异或,获得最终分类索引值;三是为了保证查找到的规则的正确性,对每一个索引值的源/目的IP地址均匹配一次.通过以上三点改进一般会降低算法的时间复杂度和空间复杂度,通过仿真,当对1万条分类规则进行包分类时,该算法的包分类速度可以达到2Mpps,所消耗的最大内存为6MB.
【总页数】4页(P1-3,77)
【作者】尚凤军;潘英俊
【作者单位】重庆邮电学院计算机科学与技术学院,重庆,400065;重庆大学光电工程学院光电技术及系统教育部重点实验室,重庆,400044;重庆大学光电工程学院光电技术及系统教育部重点实验室,重庆,400044
【正文语种】中文
【中图分类】TP393
【相关文献】
1.基于随机分布的多比特Trie树IP数据包分类算法研究 [J], 尚凤军;潘英俊;潘雪增;毕斌
2.基于完全无冲突哈希的IP数据包分类算法研究 [J], 尚凤军;王海霞
3.一种双哈希IP数据包分类算法研究 [J], 尚凤军;潘英俊
4.用于交换芯片地址表查找的快速并行Hash算法研究 [J], 曹晓东;石寅;张强
5.一种IP数据包快速分类算法 [J], 尚凤军
因版权原因,仅展示原文概要,查看原文内容请购买。
基于聚合折叠向量的多维包分类算法
计 算 机 应 用 研 究
Ap l a i n Re e r h o mp tr p i t s a c fCo u e s c o
Vo . 4Biblioteka No 9 12 . S p .2 0 et 0 7
基 于聚 合 折 叠 向量 的 多维 包 分 类 算 法 冰
关爱芳 ,高德远 ,樊 晓桠 ,周昔平
适 用于 多维大规 则库 的多域分 解查找 算 法及 其硬 件 实现模 型 , 决 了高性 能五 维 包分 类 问题 。 算法 采 用并 行与 解 流水相 结合 来 实现 , 一步提 高了 包分 类的性 能。 进
关 键词 :包分 类 ;包分类器 ;聚合 向量 ; 叠向量 折 中图分类 号 :T 3 3 P 9 文献标 志码 :A 文章 编号 :10 —6 5 2 0 )9 0 7 —6 0 13 9 ( 0 7 0 —2 60
M ut— ed p c e lsi c t n ag rtm lif l a k tca sf ai lo ih i i o b s d o g r g t d a d fl e e t r a e n a ge ae n od d v co
G UAN Ai a g — n ,GAO De y a f — u n,F a —a,Z AN Xio y HOU Xi ig — n p
因此受到了人们广泛类各方面的研究以是声音或图像的类型划分有两个标准包分类研究的侧重点和应用的不同目前常用规定的时间间隔根据分组否则流到达的数据包定为长数据同的分组进行区分主要采用模式匹配查协议分类pocl收稿日期
维普资讯
第 2 第 9期 4卷
20 0 7年 9月
c tg re frs ac n p c e ls i c t n h r ce it f u el t p o e i s fca sf a o lo tm ,p n i lso e ae o so e r h i a k t a s a i ,c a a trs co l s , rp  ̄ e l si c t n a g r h i e c i f o i r i o i i i i r cp e f - d s n n ls i c t n ag rtm n Oo .B d p i g a g e ai n a d f l f e tr l si c t n me h d c l d mu t f l i ig c a sf a i lo i g i o h a d S n y a o t g r g t n od o co ,a ca sf ai t o a l l — ed n o v i o e ii p c e ls i c t n a g rtm a e n a g e ae n od d v co a n r d c d T e w y h w t a r t u n h r wae a k t as ai oi c i f o l h b s d o g rg t d a d f l e e trw s i t u e . h a o o c r i o t a d r o y i w sd s rb d T i ag rt m o l e u e e i h s u ff e d me so e . P r r n e o o l e f r e a e c e . hs l o h c ud b s d t d a w t te i e o i — i n in k y e f ma c f i c u d b u t r i i o l h s v o t h i rv d b a alla d pp ln . mp o e y p r l n i ei e e Ke r s:p c e ca sf ai n a k tca sf r g r g td v co ;fl e e tr y wo d a k t l i c t ;p c e ls i e ;a g e ae e tr o d d v co s i o i
一种快速的五元一维包分类算法
一种快速的五元一维包分类算法作者:裴林来源:《电脑知识与技术》2009年第36期摘要:包分类算法在网络安全产品中至关重要,该文介绍常见的包分类算法,针对现有包分类算法的不足,构造了一种基于Hash函数的可快速查找、快速定位五元一维包分类算法,并给出算法准确性、快速性的理论证明。
关键词:包分类;Hash函数;线性查找算法中图分类号:TP311文献标识码:A文章编号:1009-3044(2009)36-10568-03A New Fast Five-to-one Dimensional Packet Classification AlgorithmPEI Lin(The People's Bank of China, Urumqi Central Sub-Branch, 830002 Wulumuqi, China)Abstract: The packet classification algorithm is important in product of network security. This paper introduces the common packet classification algorithms, analyses the flaws of these algorithms, and constructs a new five-to-one packet classification algorithm based on Hash function. At last, the accurancy and rapidity of the new packet classification algrithom is given.Key words: packet classification; Hash fuction; sequential search algorithm网络和信息技术已经日渐深入到人们的日常生活和工作中,社会信息化和信息网络化日益提高。
基于元组向量折叠的大规模规则库包分类算法
摘
要: 基于元组空间提 出了一种适 用于 多维大规 则库 的包分类算法—— 元组 向量折叠算法。与基本元组空闽算法和基 于元组 的
位并行 包分类算击相 比较 。 该算法在空间复杂度和时间复杂度上都取得 了较好的性能。
关键词 : 包分 类 ; 组 ; 组 空 间 ; 元 元 向量 折 叠
文章编号 :0 2 8 3 (0 7 0 — 12 0 文献标识码: 中图分类号 :P 9 10 — 3 12 0 )3 0 4 — 4 A T 33
l 引言
随 着 因 特 网 的 发 展 。路 由 器 所 提 供 的 简 单 的 尽 力 服 务
2 元 组 空间搜 索算法
21 元组 空 间 思想 .
元组空间搜 索算 法 , 基于这样 的观察 得 出的 : 是 虽然 在
规 则 数 据 库 中 包 含 很 多 不 同 前 缎 和 范 围 的 规 则 ,但 是 不 同 前 缀 长 度 规 则 的 数 目很 少 。因 此 规 则 中 不 同前 缀 长 度 的组 合 也
比较 少 。
( ete otSri ) 经 满 足 不 了人 们 的需 要 . 们 希 望 路 由 B s f r ev e 已 — c 人
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
最坏情况:对一个包进行IP分类查找的最长可能时间。 平均情况:在随机情况下,对一个包进行分类查找的平均时间。 统计情况:在符合某种预先指定的包或过滤规则匹配率的分布下,对一
个包进行分类查找的平均时间。
占用内存,包括规则库本身以及为高速查找而建立的各 种数据结构占用的内存。
fbest是H的一个匹配过滤规则; 在Fdat中不存在其它的过滤规则f,f与H匹配且满足
cost(f)<cost(fbest)。
IP分类问题是最佳过滤规则匹配问题的一个实例。
IP分类问题中与每条规则相联系有一个ACTION,用来表 示对满足相应过滤规则的包的处理动作。
IP分类问题(3)算法的评价指ຫໍສະໝຸດ :R2I 0 R3
F2 源地址Trie树
2.2 Set-Pruning Trie
查找路径
B C0
A1
0
H
D
E
F
1
1
R4 0
G0
R5
R6
1
R1 0
R2
F1 目的地址Trie树
I 0 R3
F2 源地址Trie树
优点:不需要回溯,查找 时间短
缺点:空间复杂度高,不 易更新。
查找路径 B
A1
0
H
F1 目的地址Trie树
C0
D 1
0 E1 F 1
R4 1 0
R5 G 1
R5
R6
R1 0
R2
R2
F2 源地址Trie树 0I1
R3
R6
2.3 Grid-of-Trie
查找路径
B C0
A1
0
H
D 1
0 E1
F 1
R4 1 0
R5 G 1
R5
R6
R1 0
R2
R2
F1 目的地址Trie树
F2
源地址Trie树
I
0
1
R3
R6
优点:内存空间小
缺点:更新困难,在 需要更新时最好重建 这棵树。
查找路径
B C0
A1
0
H
F1 目的地址Trie树
D 1 0E 1
R4
0 1
G 1
R5
R1 0
R2
F 1
0I R3
1
R6
F2 源地址Trie树
多维IP分类
假定所有过滤规则的协议只取三个值:TCP、UDP和通配符(*), 对于取值为通配符的过滤规则,将一条规则重复3次,分别对应TCP、 UDP和所有其它情况(OTHER)。
F1(目的地址) 00* 0* 1* 00* 0* *
F2(源地址) 00* 01* 0* 0* 1* 1*
查找路径
B C0
A1
0
H
优点:算法简单、直 接、便于硬件实现。
缺点:回溯时间长, 对规则维数的扩展性 差,不能直接支持范 围匹配。
F1 目的地址Trie树
D
E
F
1
1
R4 0
0 G
R5
R6
1
R1 0
包分类算法
主要内容
包分类问题的产生背景 典型的包分类算法 Bitmap-RFC算法 TIC算法
参考文献
D. E. Taylor. Survey & Taxonomy of Packet Classification Techniques. Technical Report, Department of Computer Science & Engineering, Washington University in Saint Louis, May 2004.
D.Liu, B.Hua, X.Hu, X.Tang. High-performance Packet Classification Algorithm for Many-core and Multithreaded Network Processor. In Proceedings of CASES 2006.
更新代价:
完全更新:重新建立全部的查找数据结构。 增量更新:在查找数据结构中增加或删除一条过滤规则。 重组或平衡:在适当的时间重组数据结构使其恢复原来的效率。
IP分类问题(4)
从数学上看,IP分类问题与多维空间中的点定位问 题相似,但更加复杂。
基本的解决思路:
根据数据流的分布特点以及规则集中规则的分布特点设 计分类算法。
查找时,同时查找4个哈希表,分别用协议号和端口号的某种组合(或 函数)作为索引,找到相应的Grid of Tries树;然后再根据Grid of Tries 树的查找方法找到最小代价的过滤规则;取所有哈希表中的最好结果 即为最佳匹配的规则。
将高维问题转化为二维乃至一维的问题,降低问题的复 杂度。
2. 典型的IP分类算法
以Grid-of-Tries为代表的基于Trie树的算法 以比特矢量为代表的算法 以HiCuts为代表的决策树算法 以RFC为代表的算法
2.1 Hierarcical Trie
规则 R1 R2 R3 R4 R5 R6
根据目的端口和源端口的不同组合建立4个哈希表,分别对应(目的 端口,源端口)二元组为(DstPort,*)、(DetPort,SrcPort)、 (*,SrcPort)和(*,*)的情况。
每个哈希表项为一棵Grid of Tries树,哈希表的索引为相应的端口地 址和协议号的某种组合(或函数)。
H.Cheng, Z.Chen, B.Hua, X.Tang. Scalable Packet Classification Using Interpreting: A Cross-platform Multi-core Solution. In Proceedings of PPoPP 2008.
范围匹配: F[i]通过一个范围指定,即F[i]=[val1, val2],若 满足val1≤ H[i] ≤ val2,称H[i]与F[i]范围匹配。
过滤规则F与包头H匹配,当且仅当H的每个域H[i]都与 F相应的域F[i]匹配。
IP分类问题(2)
定义:
给定一个具有N条过滤规则的规则库Fdat,与每条规则f 相联系有一个代价函数,记为cost(f),给定一个包头H, 最佳规则匹配问题为在Fdat中查找满足下列条件的过滤 规则fbest:
1. IP分类问题(1)
术语:
包头H是有K个域的实体,每个域表示成H[i],每个域 为一个比特串。
过滤规则F具有K个域,表示为F[i]。 与每个F[i]相关联的有一个匹配方式,可以是:
精确匹配:F[i]用一个值来表示,若H[i]=F[i],称H[i]与F[i] 精确匹配。
前缀匹配: F[i]通过一个前缀来指定,若H[i]与F[i]表示的前 缀匹配,称H[i]与F[i]前缀匹配。