p2p流量识别

3、peer交换数据识别
Peer之间的若干种消息交互中，唯一可被用来 作为识别依据的是握手消息。
0x13 BitTorrent protocl Reserved（8） Info_hash（20） Peer_id（20）
握手时互发的TCP包
分析TCP数据流的第一个包含有效数据的TCP数据 包，如果它的TCP负载部分第一个字节是0x13(十进制 的19)，第2到20字节为字符串“BitTorrent protocol”， 则可以认为此数据包是一个BitTorrent握手消息。
DHT数据包识别关键字
消息 find_node get_peers announce_pee r ping
请求关键字 “find_node” “target” “find_hash” “Info_hash” “token” “ping”
回应关键字 “nodes” “token””values” “nodes” _ _
种子文件
通过分析发现，种子文件通常以“d8:announce” 开始，之后紧跟tracker URL，并且在之后的某位置 会出现“info”和“piece”(用于计算文件的HASH校验)。 通过扫描以上特征足以精确的发现种子下载的传输 过程。
2、peer和tracker交互识别
提交状态报告(HTTP GET请求)
.torrent
发送请求 响应 pieces
A
Peer(leecher)
pieces pieces
ቤተ መጻሕፍቲ ባይዱ
Peer(seed)
C
B
Peer(leecher)
1、种子文件传输识别
HTTP GET 请求 用户 HTTP 回应 在回应的头部会出现种子传输的特征值。 Content-Type字段的值是application/x-bittorrent或者 是application/bittorrent,则表明该HTTP会话传输的是种子 文件。 出现漏识：如它的值会为text/plain。 种子下载服务器
一、基于端口识别技术：
在P2P应用兴起早期，众多P2P数据流都采用固定端 口的形式，如BitTorrent采用端口6881-6889，Gnutella采 用6665-6669。通过检查数据包头中的端口，与已知的 P2P端口对照便可以识别出P2P流量，而且可以进一步识 别出是哪种P2P应用程序。 优点：简单易行，不需要进行复杂的分组处理即可 得出结论，在P2P应用初期十分有效。 缺点：随着P2P的发展，一些应用采用随机动态端 口甚至是伪端口(为了躲避流量审计与过滤 等) ，这种方 法便不再适用。
2、核心特征属性的确定
＊流行为特征指数据包在传输过程中，在传输层表现 出来的特征。(持续时间，平均数据包长度，平均速率) ＊特征属性：兼顾效率和效果。
1 m n L( x) = ∑∑ d ( xi , y j ) mn i =1 j =1
若类间距明显大于类内距，可推断此特征可以有 效的将两类分开，即可作为核心特征。
P2P流量识别流程图
4、可疑进程监测： 应对P2P应用程序的不断更新和升级。 符合以下几个特征： (1)在一定时间段内，同时产生较大的上行和下行。 (2)同时使用TCP和UDP端口与外部主机通信。 (3)同时使用多个端口且与多个不同IP地址的主机通信。
5、客户端与服务器端之间的消息传送：
客户端
P2P流 量 可疑进 客户端 发现 消 息
人工神经网络+基于流量行为特征的识别技术
人工神经网络有两个与用传统方法进行信息处理 完全不同的性质： ①神经网络是自适应和可以被训练的, 它有自调整 即自学习能力, 学习输人与输出之间的某种隐藏着的关 系, 这种关系可能是线性关系也可能是非线性关系, 对 这种隐藏着的关系的学习表现在对网络权值的不断调 整。如果最后的输出不正确, 系统可以调整权值加到每 个输入上去以产生一个新的结果, 如此反复, 直至到达 所期望的结果。 ②神经网络结构本身就决定了它是大规模并行机 制, 由于它是数据驱动的, 故其处理速度较传统方法要 快得多。
1 m δ= ∑ ( yi σ i ) 2 2m i =1
足够小。
优点：具有鲁棒性，泛化性高，自 学能力强，人工干预少，效率和准确 性可以达到一定的要求。 缺点：模型的识别精度有待提高。
四、基于特征进程的识别 ：
识别原理： ＊进程 ＊特征进程 ＊进程—网络流量 ＊特征进程—网络流量
P2P应用程序 BitTorrent Plus BitSpirit Emule TOM-Skype Vagaa KuGoo2007
1、P2P特征进程库的生成： 方法一：对于公开的、众所周之的P2P应用程序。 P2P 应 用 程 序
当前主机所有 运行进程
方法二：对于符合某些P2P特征的一些进程。 系统根据可疑进程判断策略确定后，添 加到特征进程库中。
2、客户端P2P特征进程库的更新： 客户端通过比较本地特征进程库和服务器上的特 征进程库标识的大小，就能判断出是否需要下载 更新特征进程库。 Void Update_Lib() //获得最新的进程库 {long client_lib_id=get_client_libid();
服务器
程消息 状态消 息
消 进程库更新
息
谢
谢！
1、神经网络模型
人工神经网络模型示意图
由行为特征组成的特征向量(x1 x2。。。xn)做为输 入。流的类别作为期望输出。
核心思想： 将流量表现出来的若干行为特征量化成向量, 作 为神经网络的输入, 经过隐含层的处理, 到达输出层节 点, 输出结果对应着流量的类别。通过对训练样本进 行反复学习来调节网络，从而使得网络误差函数取得 最小值。
优点：这种方法的特点是识别率高， 根据一次P2P 会话的头几条报文检测出该 P2P 应用，并且能把后续的报文分类到所 属的P2P 会话。据有关资料表明该方法的 识别正确度高达95%。
缺点： ①各种P2P应用程序的关键字随着软件的升级 可能会发生变化,必须时刻注意更新。 ②关键字的获取是通过分析数据包内容获得 的，这关系到数据隐私的问题，一旦对数据包内容 加密，这种技术就失效了。 ③关键字的总结需要采集大量数据包，在主干 网上对数据包截取或者拷贝，特别是当主干网网速 达到10Gbps时，采集效率和对数据包存储容量往往 不乐观。 ④算法检测性能与载荷特征串的复杂度有关， 载荷特征越复杂，则检测代价越高，算法性能越差。
//获得客户端当前进程库版本号
Connect_server(); Long server_lib_id=get_server_libid();
//获得服务器最新进程库版本号
If(client_id<server_lib_id) {down_newlib();} //下载新的特征进程库 }
3、P2P流量识别的实现：
三、基于流量行为特征的识别技术 （基于人工神经网络模型） ：
P2P流量和非P2P流量在某些流行为属性上有很大差 异，这些属性成为特征。
现有的基于流量行为特征的代流识别技术, 通过 给每个核心特征确定其界值, 通过综合每个核心特征 与界值的大小比较来实现对P2P流的识别。由于每个 核心特征在流量类型识别中所起的作用程度不同, 同 时每个核心特征的界值需要人工总结分析所得, 因此 纯粹的根据界值大小在识别准确率方面很不稳定。 研究表明, 核心特征与流量类别之间的关系不是简单 的线性关系, 而是非线性关系。
常用P2P软件端口
二、深层数据包识别技术(DPI) ：
基于应用层数据检测的P2P流量识别技术是通 过协议分析与还原技术，提取P2P应用层数据(即 P2P载荷)，通过分析P2P载荷所包含的协议特征 值，来判断是否属于P2P应用。 在此我们以BitTorrent为例来进行了解。
BT工作原理图
Web服务器 .torrent file Web Page ………… 连接 到.torrent file Tracker Peers list ………… ………… …………
4、DHT流量识别
DHT是BT的一种协议扩展。增强了系统的健壮性。 BitTorrent中的DHT采用了RPC机制，由在UDP上 发送的bencode编码的字典组成。发送单个请求包，单 个包作为回复，没有重试。在DHT协议中有四种查询 请求：ping, find_node, get_peers 和announce_peer。
3、样本整理
＊样本量化： 0 同时使用TCP和UDP作为传输层协议 UBTC= 1 未同时使用TCP和UDP 流量属性特征取值不同时，P2P流和非P2P流数之 比也不同，根据比例的高低，一次对相应取值分级量 化。比例越大，说明P2P流量占有率越高，那么量化 值就越小。 ＊归一化处理：使数据成高斯分布状，更加有利于训 练。
特征进程名 Btdownloadgui.exe Bitspitit.exe Emule.exe Skype.exe Vagaa.exe Kugoo.exe
部分P2P特征进程
系统总体结构
服务器：实现P2P特征进程库的建立和维护以及识别 数据的处理等。 客户机：完成对自身主机产生的P2P流量的识别。
关键模块的设计与实现：
P2P流量识别
P2P网络概述
Peer-to-peer 核心思想：系统的节点处于完全对等的地 位，每个节点既是客户机也是服务器。
peer peer peer
近年来，随着P2P技术的兴起，P2P流量 已经超过了HTTP和FTP流量，占据了Internet 整个流量的一半以上，给网络带来了沉重的负 担，同时也影响其他网络应用。因此对于P2P 流量的识别以及监控逐渐成为人们关心的问题。 在此，将介绍四种P2P流量识别技术： ＊基于端口的识别技术； ＊深层数据包识别技术(DPI)； ＊基于流量行为特征的识别技术(基于人工神 经网络)； ＊基于特征进程的识别技术；
peer