包分类算法研究

典型算法
– gentCuttings，Hicuts) 算法 – 多决策树(HyperCuts)算法
智能层次切割(Hicuts) 算法
主要思想
– Hicuts算法结合了决策树搜索和线性查找两种分类方式，采用多 级空间分解，每级分解在一个维度上进行，把规则库分为各个叶 子结点内的小规则集 – 当一个IP包进来时，沿着树的某一分支遍历到树的叶子，将IP包 和少量的规则线性匹配
优点
– 占用内存空间小，规则集更新容易，直接支持范围匹配
缺点：
–
预处理时间较长，分类速度比一些快速包分类算法低
智能层次切割(Hicuts) 算法
多决策树(HyperCuts)算法
主要思想
– 对Hicuts算法的改进。HyperCuts通过增加一个参数，使决策树中间结点可以 同时基于多维进行分割 – Hicuts形成的决策树叶子结点上重复的规则较多，HyperCuts通过把一些通用 规则(比如通配规则，前缀较短的规则)从分类规则库中独立出来，存放在根 结点中。
缺点：
– 回溯时间长，对规则维数的扩展性差，不能直接支持范围匹配
基本分层Trie树

根据下表F1字段建立分层查找树
基本分层Trie树

建立以00*为前序的第二层查找树
基本分层Trie树

建立以0*为前序的第二层查找树
基本分层Trie树

建立以*为前序的第二层查找树
基本分层Trie树

建立以1*为前序的第二层查找树
穷举分类算法之线性查找算法
算法思想
– 按优先级降序排列分类规则链表 – 一个数据包顺序地与每个规则进行比较直到找到第一个匹配的规则。 – 由于规则已经事先按照优先级降序排列，所以第一个匹配的规则即为最佳匹配规则
算法复杂度
– 包分类阶段的空间复杂度为O(N)，时间复杂度为O(N)
特点
– 包分类的时间随着规则数目的增加呈线性增加，适用于规则数目比较少的情况
穷举分类算法之大规模并行查找算法

TCAM(Ternary content Address Memory)
标准TCAM单元
穷举分类算法之大规模并行查找算法

TCAM(Ternary content Address Memory)将 规则集划分成每个子集只有一条规则 时间复杂度O(1),空间复杂度O(N).查找速度 快 成本高 不支持范围匹配



包头信息P：d元组(p1,p2,...,pd)。 经典五元组(目的地址,源地址,协议,目的端 口,源端口） d维包分类问题就是在分类器中找到与P匹配 的具有最高优先级的规则Rbest(最佳匹配)。




分类器(Classifier,也称为规则集),含有N条规则 (Rule orFilter)规则。每条规则R[j](1≤j≤N),由三部 分组成: --R[filter]：d元组 --R[priority] --R[action]


包分类技术的应用领域

安全应用
– 在edge、core路由器中异常包的丢弃，rate控制；在防火 墙中实现包的过滤

QoS
– 把包映射到不同的服务

VPNs
– ISP路由器提供多个VPNs，每一个VPNs需要一个分类器
包分类算法的评价指标

速度
--最坏情况：对一个数据包进行分类查找的最长可能时间
并行位向量(BV)算法 算法思想
– 根据前缀匹配规则的特点，为每一维构建一棵 Trie树，并在Trie树结构中为每一结点指定一个位 图，对于n条规则，位图的位数为n – 当分类规则与Trie中某结点对应的前缀相匹配时， 结点对应的位图置“1”，否则置“0” – 查找时，各维查找独立进行。对包头的每一维在 相应的Trie结构中进行最长前缀匹配，读出对应的 位图，然后对所有的位图做相“与”操作。得到的 位向量中,所有“1”位对应之规则均为匹配规则, 而最高一个“1”位对应之规则具有最高优先级,为 最佳匹配。
集合归并Trie树
基本分层Trie树
0 0 0 1 1
集合归并Trie树
0 0
1 1 A 0 B
F1-trie
F2-trie
0 1 R4 1 1 0 1 R1 1 R2
0 1 R4
1 1
0 1 R1
1 R2
1 R2
R3
R3
灰色结点：它是某条规则的前缀匹配 白色结点：在这一维上还没找到对应 的规则
从结点A引出的F2-Trie定义为F2-ATrie，全部被复制到叶子结点B引出的 F2-B-Trie上，因此对B引出的F2-BTrie的搜索，也就包含了对F2-B-Trie和 F2-A-Trie的搜索，无需回溯遍历
优点：

缺点：

包分类算法：

穷举分类算法 基于Trie分割算法 几何区域分割算法 元组空间分割算法 维度分解算法
基于Trie分割的分类算法
主要思想
– 建立层次式的Trie结构，将分类规则分割，存储于不同的Trie分支 – 查找时依次在不同层次的Trie上搜索
典型算法
优点
– 最小化决策树的高度，同样也限制叶结点上规则最大数目
缺点：
– 内部结点信息更多，需要位数也多，这可能增加一个内部结点访问内存的次数。
– 支持增量更新，支持以中等速度进行随机更新，最坏情况下，需要重构决策树.
多决策树(HyperCuts)算法
包分类算法：

穷举分类算法 基于Trie分割算法 几何区域分割算法 元组空间分割算法 维度分解算法
动作 R2,允许 R3,允许

最佳匹配：在实际应用中，一个数据包可能 会匹配多个规则，因此需要在所有匹配的规 则中找到优先级最高的一条规则，最高优先 级别的规则称为最佳规则Rbest。 满足以下条件： • Rbest是与数据包P匹配的规则 • 在规则库f中不存在其它的规则R，R与P匹 配并且满足Rbest [priority]>R[priority]， Rbest是在所有与P匹配的规则中，优先级最高， 代价函数最低的规则
举例：
规 则 匹配条件 源IP地址 目的IP地址 202.193.20.* 162.120.*.* 源端口号 [0,65535] [0,65535] 目的端口号 20,21 > 1023 协议类型 UDP TCP 优 先 级 1 2 匹配 处理 拒绝 允许
R1 202.193.10.* R2 202.192.31.*
并行位向量(BV)算法举例
并行位向量(BV)算法举例
优点 -各个域的匹配过程可以并行处理，大大提高了速 度 缺点 -每次匹配过程都要读取d个位向量相与(d是规则 域数)，由于每个位向量的长度是N(N是规则个 数)，导致并行BV算法需要多次访问内存 -不适合要求规则动态快速更新的场合




最坏情况下的性能
平均的性能分析有时不能完全真实反映分类的性能。
包分类算法：

穷举分类算法 基于Trie分割算法 几何区域分割算法 元组空间分割算法 维度分解算法
穷举分类算法
主要思想
– 将待分类的数据包依次和分类规则库内的所有规则进行比较。
典型算法
– 线性查找算法
– 大规模并行查找算法-基于TCAM硬件
R3 118.196.21.*
155.20. 80.*
[0,65535]
> 1023
TCP
3
允许
源地址 202.192.31.2 118.196.21.*
目标地址 162.120.3.45 155.20. 80.*
源端口号 [0,65535] [0,65535]
目标端口号 6789 > 1023
协议类型 TCP TCP
“交换指针”指向需要 复制的F2-A-Trie分支
包分类算法：

穷举分类算法 基于Trie分割算法 几何区域分割算法 元组空间分割算法 维度分解算法
几何区域分割算法
主要思想
– 根据规则代表的区域，对规则集进行分割储存查找时，判断数据 包代表的点落入的子空间范围，逐步收拢得到最佳匹配规则



匹配方式： 精确匹配：数据包头的字段和规则的对应字段完全相等。即 P[j] = R[Fj]，通常用于协议类型字段的匹配 前缀匹配：R[Fj]通过一个前缀来指定，若H[i]与R[Fj]表示 的前缀匹配，称H[i]与R[Fj]前缀匹配 范围匹配：数据包头字段P[j]的值在相应规则域R[Fj]规定范 围之内。若R[Fj]=[val1, val2]，满足val1≤P[j] ≤val2， 称H[j]与R[Fj]范围匹配，通常用于端口号字段的匹配
优点
-平均查找时间和更新时间较短
缺点
-由于采用哈希查找，从而导致查找和更新时间不确定
基本元组空间分割算法
说明： SA:前缀长度 DA:前缀长度 SP:嵌套层数 DP:嵌套层数 PR:确定值为1， 否则为0
剪枝元组空间算法


修剪的元组空间查找算法 (PrunedTupleSpaceSearch),通过在个别字段 上执行查找以得到一个候选元组子集,缩小穷 尽查找的范围 可用任何字段或它们的组合。在源地址和目 的地址上修剪,能够得到候选元组个数和修剪 步数之间的良好的平衡。
包分类算法：

穷举分类算法 基于Trie分割算法 几何区域分割算法 元组空间分割算法 维度分解算法
维度分解算法
主要思想
– 将多维的分类匹配问题分解成多个较简单一维匹配的问题 – 对关键字的匹配在各个维度被分别执行
典型算法
– 并行位向量(Bit Vector，BV)算法 – Crossproducting算法 – 递归流分类(Recursive Flow Classification，RFC)算法