快速应用层流量识别方法的研究与实现

本文的研究目标是结合多模式匹配算法的快速 性， 设计并实现一种可以识别应用层业务的快速流 量识别方法。 虽然基于流量行为特征的识别技术较 快速灵活，但无法识别具体的网络应用。端口识别法 和DPI法能识别出具体的网络应用， 但是端口识别 法 的 误 判 度 高 ， 所 以 本 文 将 利 用 DPI法 的 准 确 性 ， 建 立一个应用层的快速流量识别系统模型。
理等各种实际应用中有着广泛的需要， 在计算机网 络领域也不例外， 如病毒和入侵检测NID（Network Intrusion Detection） 等充分彰显特征串匹配的重要 性。按照匹配的特征串数目来分，特征串匹配算法可 分为单模式匹配和多模式匹配。顾名思义，单模式匹 配算法就是一次只与一个模式串进行比较的算法， 其中比较经典的算法有BF算法、KMP算法、BM算法 等。多模式匹配则一次与多个特征串比较。本文将多 模 式 匹 配 AC 算 法 [3]引 入 到 净 荷 特 征 匹 配 模 块 ， 大 大 提高了系统从特征库中查找指定特征串的速度。
端 口 识 别 法 依 赖 于 网 络 应 用 在 IANA 中 注 册 的 端口号来识别各种应用层协议。 这种方法的最大优 点是简单易行。 但一些P2P应用是动态选择传输端 口的，一般端口号在1024~65536之间。 甚至一些P2P 流 量 可 用 常 用 于 HTTP （SMTP） 的 80、25 端 口 来 逃 避 防火墙的封堵。因此，根据端口号识别协议的方法受 到越来越多的限制，无法满足准确流量识别的需要。
AC 算 法 使 用 了 有 限 状 态 机 的 结 构 来 接 收 集 合 中所有的字符串。在进行匹配之前，先对模式串集合 进行预处理，构建树型有限状态 机 （FSA）。 依 据 该 FSA， 只需对文本串扫描一次就可以找出与其匹配 的所有模式串。
算 法 的 预 处 理 过 程 生 成 3 个 函 数 ：goto 转 移 函 数、failure失效函数和output输出函数。 转移函数goto 表明， 在当前状态下读入下一个待比较文本的字符 后到达的下一个状态。 失效函数failure用来指明在 某个状态下， 当读入的字符不匹配时应转移到的下 一个状态。 输出函数output的作用是在匹配过程中， 当出现匹配时输出匹配的模式。
0 引言
近年来，随着网络的普及和发展，许多新的网络 协议和应用应运而生。 特别是P2P应用的流行占用 了大量的网络带宽，甚至引起网络拥塞，大大降低了 网络性能。 人们意识到有必要对网络中的流量进行 监测和控制。无论是流量控制还是流量检测，流量识 别都是最基本前提。
目前广泛使用的流量识别方法主要有端口识别 法、 基于流量行为特征识别技术和数据报深层扫描 （DPI）法[1]。 每种流量识别方法各有优缺点。
得到了这些协议的特征串。本文在此基础上，对现在 较为流行的开放应用层协议文档进行解析， 找出这 些协议中出现的固定字段。若字段为该协议所特有， 则选择此字段为该协议的特征串。 为了提高识别准 确率，要尽可能全的提取出协议的特征串。
经过分析，得到表1所示的9类协议的特征串。
表1 协议特征串表
协议
特征串
winpcap是windows平台下的网络数据包捕获函 数包， 它的包捕获机制和包过滤机制是本流量识别 方法实现的基础。
数据包常规的传输路径依次为网卡、 设备驱 动 层 、 数 据 链 路 层 、 IP层 、 传 输 层 、 最 后 到 达 应 用程序。 包捕获机制是在数据链路层增加一个旁 路处理， 从而使用户程序在不影响操作系统对数 据包的网络栈处理的前提下， 获得所期望的数据 包。 包过滤机制对所捕获到的数据包根据用户的 要求进行筛选， 最终只把满足过滤条件的数据包 传递给用户程序。 用winpcap提供的pcap_lookupdev 函数可查找用于捕获数据包的网络设备。 调用 pcap_open_live函 数 ， 创 建 捕 获 句 柄 ， 准 备 进 行 捕 获 。 若 需 要 配 置 包 过 滤 规 则 ， 则 先 调 用 pcap_ compile函 数 ，编 译 过 滤 代 码 。 再 调 用pcap_setfilter 函 数 ，安 装 过 滤 代 码 。 最 后 调 用pcap_loop函 数 ，循 环捕获数据包。
print output（state）； } }
2 流量识别方法的实现
通过实验可以验证基于应用层协议特征串的流 量识别方法的可用性和可靠性。 实验采用Intel Core （TM）1.66 GHz × 2的处理器和1GB物理内存的硬件 配置，操作系统平台采用windows XP。 捕包过程使 用了winpcap API函数库。 实验在eclipse c++环境下 开 发 ， 使 用 GCC 编 译 器 编 译 。 识 别 结 果 存 储 在 MYSQL数据库。 2.1 数据包的捕获
将具有相同五元组，并且相邻两数据包到达的时 间间隔不超过60 s的数据包归并为一个流。 每捕获一 个包，都要查找与其有相同五元组的流结构。在网络流
27
论文选粹
2009 年 第 10 期
图1 整体框架图
量密集时，若查找速度过慢会影响捕包和处理的效率。 因此，用哈希表存储所有流结构，可以提高查找效率。 如果在元素的存储位置与元素的关键字值之间确定一 种对应关系h，使得每个关键字值与元素的存储位置相 对应，即Loc（key）= h（key）（其中，Loc（key）表示关键 字值为key的元素的存储位置），那么，如果集合中存在 关键字值为 key的元素，则必然在 h（key）的位置上。 因此，可以不需要进行比较便可直接取得该元素。这个 从关键字值映射到位置的函数 h称为哈希函数， 这样 建立的表称为哈希表。 本流量识别方法所采用的哈希 函数如下所示（HASH_SIZE为哈希表大小）：
2009 年 第 10 期
论文选粹
快速应用层流量识别方法的研究与实现
张 玲， 李 君， 孙雁飞 （南京邮电大学信息网络技术研究所， 江苏省南京市 210003）
摘 要 随着因特网的普及，流量识别技术也在快速发展。 文章首先讨论几种常见网络 流量识别方法，比较其优缺点，然后提出使用快速净荷匹配算法过滤应用层净荷的流量 识别方法，从而达到快速准确流量识别的目的。 主要介绍了该流量识别方法的设计思路 和实现流程。 最后通过实验，验证了其可行性。 关键词 流量识别； 净荷识别； AC算法
在构建有限状态机过程中， 每个前缀仅用一个 状态表示。在搜索过程中，当下一个字符不是模式所 期待的字符时，一个失败的连接会给出最长的前缀。
其匹配过程是：从初始状态0出发，每次取出文 本串中的一个字符，根据当前状态和扫描到的字符， 利 用goto 或 failure 函 数 进 入 下 一 状 态 ， 当 某 个 状 态 的 output函数不为空时， 表明达到该状态时找到了匹 配模式，于是输出其值。
AC算 法 的 时 间 复 杂 度 为O（n），其 中 ，n是 要 匹 配的串长度。若包括预处理时间在内，则总时间复杂 度是O（m + n），其中m为所有模式串的长度总和。
28
2009 年 第 10 期
论文选粹
AC匹配的伪代码如下所示： AC_match （text， FSA）// text： 需 匹 配 的 字 符 串；FSA：已构建的AC有限状态机 {
HTTP HTTP/、GET
MSN MSG、NLN、PNG＼r＼n、OUT、QNG、VER、MSNP…
BT BitTorrent
FTP ACCT、CWD、CDUP＼r＼n、SMNT、REIN＼r＼n、PORT…
SMTP HELO、EHLO、MAIL FROM:、RCPT TO:、VRFY、EXPN、
不同应用类型的流量在某些流行为属性上有差 异， 这些属性成为特征（如IP地址、端口号、包长度、 到达时间等）， 因此产生了基于流量行为特征的流 量 识 别 技 术 。 该 方 法 又 可 细 分 为TCP/UDP对 法 、（IP， 端口）法、流统计特性法等。这种方法的优点是快速、 灵活，可用于加密数据报的判断。缺点是不能实时进 行， 识别结果不准确。 因为无法扫描应用层净荷数
基金项目：国家高技术研究发展计划（863计划） （2006AA01Z232，2009AA01Z212）；江苏省自然科学 基金（BK2007603）
据，所以无法判断流量所属的应用层业务类型。 DPI法能对报文内部信息进行检测， 将数据包
的净荷数据与已知应用的特征串匹配， 得到应用层 业务识别的结果。该方法提高了流量识别的准确性， 降低了错误识别率。 缺点是识别效率低、灵活性差， 不能识别加密报文。
1 流量识别方法设计
1.1 整体框架设计 在 一 段 时 间 内 ， 将 具 备 相 同 五 元 组 ， 即 {源 （IP地
址， 端口号）， 目的 （IP地址， 端口号）， 协议类型 （TCP/UDP）}的数据包定义为一个流。 实验中，以这 样的流为单位进行应用层特征匹配， 并将匹配结果 连同五元组信息存入相应的流结构体中。 每到达一 个数据包， 则在内存中查找该数据包所属的流结构 是否已有特征匹配结果。若没有，则将该数据包的应 用层数据与特征库中的所有特征进行匹配。 整个流 量识别方法的框架设计如图1所示。 1.2 流结构体在内存中的存储
T指向text头； Tend指向text尾； for（state = 0；T < Tend；T++）// state为 当前状态 { while（goto（state，T）失败）
state = failure（state）； state = goto（state）； if（output（state）不为空）
据，共7组流量，其相关信息如表2所示，流量序号按 照流量字节由大到小排列。
表 2 实验所用流量信息
流量序号
1 2 3 4 5 6 7
总包数
124148 49345 43616 38459 35993 37014 10429