关于网络流量自相似特性的研究
P2P应用网络流量特性研究
第 2期
陈宝 钢 等 :2 P P应 用 网络 流 量 特 性 研 究
29 0
和包 速率 具 有 明 显 的 自相 似 特 点 , 而 对 于 P P 然 2 应 用 流 的 自相 似 属 性 特 点 还 没 有 深 入 涉 及 . 研 究 本
M z 应 用 流 的 流 量 占整 个 M z 用 流 量 的 95 % ; ae ae应 .9
P P应 用 的流量在 互联 网中 已经 占据 了主要 部 分 . 2 P P应 用具 有 与传 统 的 互联 网应 用 ( www ) 2 如 不 同 的结构 和属性 , 因而其产 生 的 网络 流量 的特 点可 能 和传统 的互 联 网应 用 的特点 会有 很多 不 同之 处 . 有些 研究 已经对 P P流量 的特点 作 了分析 , H A 2 O Z—
4 0 02, i a; 50 Ch n 2.Co mu ia in a d Co u e t r y La o a oy o a d n o ic m n c to n mp tr Newo k Ke b r tr fGu ng o g Pr vn e,
S uh C iaUnv ri fT c n lg o t hn ies yo e h ooy,Gu n z o 6 1, hn ) t a g h u 5 0 4 C ia 1
关 键 词 : 2 网络 流 量 ; Z ; 布 特 点 : PP MA E 分 自相 似 性 中图 分 类 号 : P 9 . 7 T 33 0 文 献标 志码 : A
Re e r h o h r c e itc f P P p l a i n n t r r f c s a c n c a a t r si s o 2 a p i to e wo k t a c i
自相似网络流量模型研究
摘 要 : 对自 相 似网络流量模型进行了研究分析 。综述 了目前国内外在 网络流量长相关特性 和 自 相似 网络建模 以及基于 自相似
网络环境的拥塞控制机制研究方面所获得的主要成果 。分析 了各种模型的特点, 进行 了分类和评价 , 并对模型 的意义进行 了初步
的探讨 , 提出了有待进一步研究的问题 , 对 自相似业务相关研究具有一定的指导意义 。
关键词 : 网络流量模 型;自相似; 长相关 ; 拥塞控制 中 图分 类 号 : T P 3 9 3 文献标识码 : A 文章 编 号 : 2 0 9 5— 2 1 6 3 ( 2 0 1 3 ) 0 2—0 0 3 4— 0 7
0 引 言
1 9 9 4年 L e l a n d对 B e l l c o r e局域 网的 测试与 分析 成果 问
1 自相似 基本 理论
分形 和 自相 似 ( S e l f —S i mi l a r ) … 的概 念最早 形成 于 上 世 纪中期 , 源起于美籍法国数学 长度 , 流体 中的湍 流、 对 流等 非线性 问题 的研究 。具 有 自相 似规律的不规则事物称为分形 ( F r a e t ls a ) 。依据 分形 的 自相
A S u r v e y o n S e l f—s i mi l a r Tr a f n e Mo d e l f o r Ne t wo r k s
W ANG Hl l i .j I Zh e n z h o u.ZHU S u x i a ( 1 S c h o o l o f Co mp u t e r S d e n c e a n d T e c h n o l o g y ,Ha r b i n I n s t i t u t e o f T e c h n o l o y, g Ha r b i n 1 5 0 0 0 1 ,C h i n a ;
网络业务流自相似性的生成模型研究的开题报告
网络业务流自相似性的生成模型研究的开题报告题目:网络业务流自相似性的生成模型研究一、研究背景网络业务流是指在互联网上进行的各种数据交换、通信、传输等业务。
网络业务流的特点之一是具有自相似性,即随着时间的推移,其流量的统计属性(如流量大小、持续时间等)呈现出一定的重复规律。
自相似性是网络业务流的内在特征,其研究对于网络性能优化、资源管理、流量控制等具有重要意义。
目前,针对网络业务流的自相似性研究主要基于混合高斯过程、分形等数学模型,但这些模型具有局限性,难以有效地捕捉自相似性的特征。
针对这一问题,本文提出了一种基于深度学习的网络业务流自相似性生成模型,通过学习网络业务流的特征来自动生成类似的流量序列,有效地模拟业务流量的自相似性。
二、研究内容(一)研究目标本文旨在探究基于深度学习的网络业务流自相似性生成模型,具体研究内容包括:1. 建立基于深度学习的网络业务流自相似性生成模型;2. 研究模型的训练与优化方法,提高模型的预测准确度;3. 利用模型生成的业务流数据,分析其自相似性特征,验证模型的有效性。
(二)研究方法1. 深度学习模型建立:本文采用基于生成对抗网络(GAN)的方法,利用一定数量的真实网络业务流数据进行训练,生成与之相似的业务流数据。
2. 模型优化:本文采用自适应学习率的优化方法,通过迭代寻求最优参数组合,提高模型的预测准确度。
3. 模型应用:本文将基于深度学习的网络业务流自相似性生成模型应用于业务流仿真,分析生成数据与真实数据之间的相似程度,验证模型的有效性。
三、研究意义本文利用深度学习方法研究网络业务流自相似性,能够为网络性能优化、资源管理提供有效的方法和手段,具有重要意义。
此外,本文对深度学习模型的应用扩展、优化等方向也具有较高的研究价值。
四、预期成果1. 建立基于深度学习的网络业务流自相似性生成模型,并实现流量序列的自动生成。
2. 通过对生成数据与真实数据的比对,分析生成数据与真实数据的相似性,验证模型的有效性。
基于网络自相似特性的DDoS攻击检测
基于网络 自相似特性的 D o D S攻击检测
周 珩
ቤተ መጻሕፍቲ ባይዱ
( 天一 学 院信 息 工程 系 四 J成都 60 0) 四川 1 I 110
摘 要 : 文提 出了一种 部署在 网络 受保 护 端的DDo 攻 击旁路 检 测的 方法 。 据 正常 网络 流量存 在 的 自相似特 性 , 们使 用小波 分析 的方 本 s 根 我 法在 旁路 进 行DDo 攻 击检 测 。 们还 通 过 实验 , 检 测 方 法所 需要 的 参数 进 行 最优 选择 。 s 我 对 实验 结 果表 明 , 方 法能 有 效地 发现 DDo 攻击 。 该 s
关键 词 : 分布式 拒绝 服务 中 图分 类 号 : P 9 T 33 自相似 小波 数 据 包评分 文献 标 识 码 : A
文章编 号 :0 79 1(0 1o —130 10 —4 62 1)80 9 —2
参数估计 中显示 出其多分辨率时频分析的独特优势 , 使得它成为最 具有代表性 的求解Hu s指数 的方法 。】【 rt [5 5】 [ 分布 式拒绝服务攻击 ( D S Ds iue e i fSri ) D o , i r td D na o evc 就 tb l e 31小 波 系数 方 差 法 . 是网络上大量的主机对受害者发送大量的攻击数据包 , 以消耗受害者 若 {( } f 为一统计 自相似过程 , ) 其功率谱 ()对 {( } ∞ , f 作小波 ) 的资源 , 使之不能向合法用户提供正常的服务的一种 强大 的攻击手 J 段, 它是现在 网络安全面临的严重威胁之一。 通常认为 , 除非修改T P 变 换 , 到小 波系数 ) 2 ) ( f / r 其 中 , ( t ,为二 C 得 :j l2 一) , f , d 2 一) / 协议的内核, 否则, 从理论上没有办法彻底解决这种攻击 , 以 但可 进正 交小 波 , 其正则度为 R。 小波系数的期望为0 由任意两个小波 , 通过一些检测和过滤 的技术手段来有效地 阻止一些D o 攻击。 DS … 变 换 系 数 间 的相 关值 得 到 的 方 差 为 传 统 的 检 测和 过滤 方 法 是 基 于 特征 匹配 的 , 能 用于 处 理 具 有 只 ’ J 一r , I r ^ 2 【 明显异常流量特征 的D o 攻击类型 , DS 对于许多没有 明显 区别特 征 vr  ̄】 ll I ()d ad = . 0 j ∞I c [ 啊 z o f1 1 9 的D o 攻击类型则无效 。 DS 在检测上, 对突发正常流量与D o 攻击流 DS 通过对式 ( ) 1两边 的数据取对数后 , 在均方误差最小的意义下 量也难 以区分 由于D o 攻击对 网络流量的 自相似性特征会产生 】 。 DS 进行线性拟合得到 为 自变量 , l : a d ) 以 o vr  ̄】 g [ 2 为函数 的直线 , 斜率 明显 的影响 , 而小波分析在分形信号处理和分形参数估计 中显示出 即为 y 利 用 y 2 1 。 = H+ 便可求得 自相似指数 H的值 。 其多分辨率 时频分析 的独特优 势 , 我们使 用小波分析 的方法进行 32参 数 选 择 . D o 攻击检测口 1。 于D o 攻击的过滤 , DS 1 对 4 DS 我们采用 了数据包评分 由于小波的选择对Hu s rt 指数有着重要影响 , 任勋 益 5在小 】 (ak tc r) P ceSoe方案, 这是一种部署在受保 护网络边界的基于B ys a e ̄ 波 种 类 和 小 波 消 失 矩 的选 择 两 个 方 面 , 过 实 验 得 出D 3  ̄ 是 求 通 b4波 论 的 D o 攻 击 防 御 方 案 。 ak tcr9 案 是 通 过 每 个 到 达 目 的 网 DS P ceS oe ̄ 解 Hus指 数 的 最佳 选 择 。 们在 此 基 础 上 , 用 分 形 布 朗 运 动 函数 rt 我 采 络的数据包的属性值与正常数据流名义分布模型 的比较 , 为每个数 vfm生成 自相 似信号 ,  ̄b 对检 测长度 和小波分解级数两个参数 的选 据包 评分 的 , 当数据包 的评分较低时 , 即被认为 是攻 击数据包[ 1 6。 I 7 择进行实验 。 结果表明 , 当检测长度为2 6 分 解级 数为5 5、 级时 , 求解 本文以后部分的安排如下 : 部分给出了网络 自相似模型及其 第2 结果 能 比较准确地反 应真实的Hu s指数值 。 rt 表示指数 ; 部分使用小波分析方法进行D o 2 第3 D S ̄击旁路检测 , 并根 33检 测 实 验 . 据实验结果得到判断攻击存在 的一般方法 ; 部分是本文的总结。 第4 为了验证基 于小波分析的D o 攻 击检测的效果 , DS 我们 选取 以 2、 网络 自相 似 模 型 上参数 , 使用著名 的D P 9 AR A9 入侵检 测数据集进行实验 。 使用的数 第二周 星期四的在D o 攻击 中 DS 正常的网络流量具有统计意义上 的 自相似性 , 即长相关的 , 所 据包括第一周 星期一 的正 常数据 , YN F o d 最 YN F o d 以适用于采用具有 长期相关性的 自相似过程模型来描述 。 一个随机 占大部分 的S lo 攻击数据 , 后把S lo 攻击 和取 自 io 攻 l 过程 ( ,∈ , f t }如果 ( 在 时间上进行压缩或扩展时 , ) f ) 统计特性 于 第 二 周 星期  ̄ ma b mb 击 数 据 加 入 到 正 常 数 据 中进 行 检 测 , 不变 , 即满足 { f =a ( ) ~x(tf } 其 中 口>0 a) ∈R , , 是尺度 ,d 代表 () 概率分 布 , 日是局部 尺度指数 , 等号表示统计意义 上的相等 , 那么
基于自相似特性的网络流量模型研究
多媒体业务 )使得现 代 网络业务 的复 杂性 和突 发性备 受关 ,
注, 宽带网络服务 需求 的激增 , 网络 的突发 业务 流量 急剧增 加 , 自相似业 务的检测、 对 参数估计 、 数学 建模和排 队分析 已 成 为高速 网络流 量控 制 和业 务量 管 理 中不 可缺 少 的要 素 。
似 流 量 的 产 生原 因 以及 对 网络 性 能 的影 响 等 。利 用 R D 方 法 生 成 了 自相 似 分 形 F N流 量 , 分 别利 用 RS分 析 法 、 / 和 M G 并 / VT法
周期 图法估计 自相似 流量 的参数 , 通过与传统 的 M M 1 队模 型比较 , 出 自相似对 网络性能的影响。 // 排 得
是基于不断地细分 间隔产生样本路径 , 可用 于快 速生成 F M B 序列 , 其中 F M的独立增量过 程称为 F N, MD算法的 基本 B G R 流程如 图 1 示。分割 0与 1 所 之间的间隔的原因是构造序列 X的高斯增量 , 而给中值增加偏移 目的是 为 了使 最后得 到的
数 据具 有 很 好 的 边缘 分 布 特性 。
当 一 m, 我们 称 为 精确 二 阶 自相 似过 程 。也就 是 说, 如果聚集过程 ’ 与过程 是不 可区分的 ( 最少 是二阶
() 3
统计 特性 不可区分) 我们就称 是精确 自相似过程。如果 ,
r
基于传统模 型的流量特征不再适合 当前 网络 流量 的分析 , 在
网络流控上考虑 自相似性特征 , 并指定相 应的控 制算法会 取 得较好 的效 果 , 会 对 网络 性 能 的 优 化 和 稳 定 有 重 要 意 将 义…。由于 自相似模 型能 够更加 真实 地描 述 网络 流量 的特
网络流量分析
⽹络流量分析⽹络流量分析概述摘要Internet⾃60年代出现以来发展迅猛,⽹络规模飞速膨胀,⽹络流量越来越⼤,⽹络信息对⼈们⽣活的影响也越来越深远,然⽽⽹络中P2P等应⽤正在⼤量的消耗⽹络的带宽资源,从⽽影响了关键业务的正常展开。
因此,通过对⽹络中的各种业务流量进⾏分析,建⽴合适的预测模型就成为⽹络发展的必要。
通过分析,能及时的发现⽹络中的异常,从⽽使得⽹络管理更主动,为⽹络的持续⾼性能运⾏提供主要的保障,为规划、设计⽹络提供科学依据。
本⽂⾸先介绍⽹络流量数据采集⽅法,通过分析他们的优缺点让读者对⽹络数据采集技术有⼀个初步的了解。
然后本⽂介绍了两种基于不同技术的⽹络流分类⽅法: 深度数据包检测技术(DPI)和深度/动态流检测技术(DFI)。
在DPI中,主要介绍AC状态机模式匹配算法实现多关键字的快速匹配。
⽽DFI是基于流特征向量的分类⽅法,本⽂主要介绍分析了朴素贝叶斯⽅法。
在特征选择⽅⾯,介绍了运⽤相关度和快速的过滤器选择⽅法(FCBF)来对特征进⾏筛选,得出有利于分类的特征⼦集,同时还可以去掉不相关或冗余特征,增加分类的准确性。
最后,本⽂介绍了如何把⽹络流量分析的结果应⽤到⼊侵检测中,以发现⽹络中的异常。
⽬录摘要 (1)⼀、⽹络流量分析概述 (3)1.1⽹络流量分析背景 (3)1.2⽹络流量分析定义 (3)1.3⽹络流量分析⽬的 (4)1.4⽹络流量分析意义 (5)⼆、⽹络流量采集 (6)2.1 ⽹络流 (6)2.2 ⽹络流的特性 (6)2.3 ⽹络流量采集介绍 (6)2.4 主流⽹络流量采集技术 (7)2.4.1 基于⽹络流量全镜像的采集技术 (7)2.4.2 基于SNMP的流量采集技术。
(7)2.4.3 基于 Netflow/sFlow的流量采集技术。
(8)2.4.4 基于⼲路中桥接设备的采集技术 (9)2.4 ⽹络流量采集技术的对⽐ (10)三、⽹络流量分析 (11)3.1 基于DPI的⽹络流量分析技术 (11)3.1.1 DPI提出的背景 (11)3.1.2 DPI技术研究 (11)3.1.3 AC⾃动机算法 (13)3.1.4 DPI总结 (15)3.2 基于DFI的⽹络流量分析技术 (16)3.2.1 DFI的提出 (16)3.2.2 基于DFI技术的⽅法的基本原理 (16)3.2.3朴素贝叶斯分类器 (16)3.2.4改进贝叶斯—FCBF(A Fast Correlation-Based Fliter): (17)3.2.5其他应⽤DFI技术的模型 (18)3.3 DPI和DFI的对⽐: (19)四、⽹络流量分析之应⽤:⼊侵检测 (20)4.1⼊侵检测的基本定义以及⽅法 (20)4.2⽹络流量在异常检测系统中的应⽤ (21)4.2.1 特征参数的选取 (21)4.2.2特征参数变化的提取 (21)4.2.3.⽹络流量异常的判断 (22)五、全⽂总结 (23)参考⽂献 (24)⼀、⽹络流量分析概述1.1⽹络流量分析背景随着⽹络应⽤⽇趋复杂化,⽹络流量不断增长并且呈现多样化,如何更好的满⾜⽤户对各类Internet业务服务质量越来越精细的要求,这是⽬前⾯临的关键问题。
自相似网络流量预测研究
( . t n l b rtr o aall& Ditiue rcsig。 h o fC mp tr Nain l iest fD fn e 1 Nai a oaoyfrP rl o La e sr tdP o esn S o l o u e 。 t a v ri o ee s b c o o Un y Teh oo y c n lg ,Ch n s a Hu a 4 0 7 Chn ; J u n l fHu a iv ri C a g h Hu a 4 0 8 Chn ) a g h , n n 1 0 3, ia 2,o r a n n Un est h n s a, n n o y, 1 0 2, i a Absr c : c ntsud e n newo k ta fc h v h wn t ts l—i lr i e y p p a ,a he c r c e ta t Re e t iso t r r fi a e s o ha efsmia s v r o ulr nd t ha a tr
ta f r d c in fo t e f l so efsmi rmo ei g,p r me e o u ig a d p ro ma c r d c i n r fi p e it r m h i d fs l i l d l c o e — a n a a t rc mp t n e f r n e p e it .An n o
i e wo k ta fc p e ito n n t r r fi r d c in.Th s p p r a ay e n u i a e n lz d a d s mm a ie he r s a c e u t f s l— i i r ne wo k rz d t e e r h r s ls o efsm l t r a
自相似网络流量预测模型的研究
信息科学科技创新导报 Science and Technology Innovation Herald148DOI:10.16660/ki.1674-098X.2018.13.148自相似网络流量预测模型的研究①耿传鑫 刘立士(沈阳理工大学 辽宁沈阳 110159)摘 要:针对网络规模的不断扩大、体系结构的不断复杂和网络拥塞日益严重的问题,本文研究了网络流量的自相似特性,根据网络流量的自相似特性引出了网络流量的可预测性,由网络流量的可预测性提出了两类预测模型,通过对比分析这两类网络预测模型,选择了一种统计模型对自相似流量进行仿真验证。
该模型以统计学为基础,通过对已知流量加权求和,得到预测流量,证明了自相似流量的可预测性。
关键词:拥塞控制 自相似 流量预测中图分类号:TP393 文献标识码:A 文章编号:1674-098X(2018)05(a)-0148-02①作者简介:耿传鑫(1993,7—),男,汉族,河南新乡人,硕士研,研究方向:无线通信技术及应用。
刘立士(1973,1—),男,汉族,辽宁沈阳人,硕士,副教授,研究方向:无线通信。
随着网络业务的种类和数量的不断变大,网络中存在的网络拥塞问题越来越普遍并且越来越严重,故针对网络拥塞的预防及管理机制的研究备受人们的重视。
大量学者通过研究证明,网络业务流量呈现出自相似性[1],同时自相特性又具有可预测的性质,那么通过预测模型对自相似流量进行预测,已预测的流量数据提前对网络进行相关处理,就可以达到提前监控流量的目的,这将为控制网络的拥塞起着至关重要的作用。
1 网络流量的自相似性及业务模型传统的网络业务模型,如泊松模型,只能表现出短相关性,致使理论与实际之间存在较大偏差,故在业务流量控制、控制拥塞等方面存在缺陷,所以,以传统模型来评估自相似业务已不再适用。
而网络流量的自相似是指随机过程的统计特性始终保持不变,也就是尺度不变的特性,表现为网络流量的局部特征和整体特征相似的情况。
校园网络流量自相似性分析与研究
中图 分类号: P9 T 33
校 园 网络 流 量 自相似 性 分 析 与研 究
张 浩 ,吴 敏
( 东华大学 a .计算机科学与技术学院 ;b 信 息办 ,上海 2 12 ) . 06 0
摘
要 :对于校 园网等小规模 的局域 网, 过计算 网络流量 自相似值 的方法无法有效 检测 网络异常流量 。针对该 问题 , 通 在分析校 园网络流
[ sr clF rtec mp sn t r n te mal cl lc l ran t r,h b oma t fccn n t ed t tdr hl y cluaig Abtat o h a u ewoka doh rs lsae o a ae ewok tean r l ri a o ee e i t b ac l n — a b c g y t
第3 8卷 第 8期
V0 . 1 38 NO8 .
计
算
机
工
程
21 0 2年 4月
Aprl i 201 2
Co u e gi e i mp t rEn ne rng
・网络 与通 信 ・
文章编号: o0-48 o2 8 帅7—0 10—32( l) — 3 _ 文献 2 0 _3 标识码:A
ZHA N G H ao . U M i W n“
(.n tue f mp tr cec dT cn lg ; .nomainO c, n h aU iesy S a g a 2 12 , hn ) a Istt Co ue in e n eh oo y b Ifr t f e Do g u nv ri , h n h i 0 6 0 C ia i o S a o i t
A na s a 1K e e r n O l- i ia i ‘ l l nd 1 s a c n SeIs ・ r - ‘ y s 1 … ・ l ‘ m ’  ̄ 0 fC k fi fc _ a pusNe wo Tr m t r a
网络流量自相似性影响因素的研究
摘
要: 网络 流 量 特 征 是 分 析 和研 究 网络 性 能 、 划 网络 建设 的 基 础 。 由 于 自相 似 模 型 能 够 更 加 真 实 规
地 描 述 网络传 输 的特 性 , 过 生 成 自 似 性 的流 量 进 行 仿 真 研 究 。 出将 业 务 源 流 量 自相 似 性 与 网络 传 输 通 相 提
文 章 编 号 :0 3 19 2 0 )2 12—0 10 —6 9 (0 8 0 —0 2 3
网 络 流 量 自相 似 性 影 响 因 素 的 研 究
王
( . 南 大 学 软件 学 院 , 南 长 沙 1湖 湖
维 徐 红 云 一,
400 ) 10 1
4 0 8 ;. 国 联通 有 限 公 司 湖 南 分 公 司 , 南 长 沙 1 0 22 中 湖
维普资讯
第 2 7卷 第 2期 2008年 6月
计 算
技
术
与 自 动
化
Vo . 7。 . 1 2 No 2
Co pu i c o o y a m tng Te hn l g nd Aut oma in to
J n.2 00 8 u
已经逐 渐被 接受 。但 是 , 于 网络 流量 自相 似性 的 对
产生 原 因一直 没 有 定 论 。有 的研 究 认 为 网 络 流 量
new o k sa e,whi CP r t c l a ha ges l— sm i rt fnew o k ta fci d r cl ih a ptv e wo k t t t r t t lT e p o o o n c n ef i l iyo t r r fi n ie tyw t da ie n t r sa e,w h c c n c a ih a n tei n t hes l— sm i rt fs u c r fi . o lmi a et ef i l iy o r eta fc a o
网络业务流的自相似性
网络业务流的自相似性曹书生【摘要】对通信网络的大量研究表明,网络业务本质是自相似的(相关函数上表现为长相关特性).网络业务的统计自相似性主要是指在不同时间尺度上观测到的业务流量序列具有相同的统计特性.讨论了当前网络业务流的特性;分析了现有的自相似业务流模型.为在线测量网络中的高速业务流,根据实测时间序列数据建立合适模型提供了参考.【期刊名称】《现代电子技术》【年(卷),期】2007(030)016【总页数】3页(P152-154)【关键词】网络业务流;自相似;业务流模型;长相关;特性【作者】曹书生【作者单位】南京邮电大学,通信与信息工程学院,江苏,南京,210003【正文语种】中文【中图分类】TP3931 引言网络业务本质是统计自相似的。
主要表现为业务量的突发不仅在某些时间点上存在(幅度的突发),还在多个时间尺度上存在(时间的突发),时间的突发主要表现在长相关性[1]。
因而,在网络业务模型的描述中,采用了自相似性(self-similar)[2]或称为长相关性 (long-range-dependent,LRD)这一概念描述实测到的网络业务过程中表现出的性质成为热点。
本文根据对当前网络业务流量现状和现有业务流量模型的分析,阐述了网络流量的自相似特性。
综述了典型的自相似业务流模型。
2 自相似性网络通信量在很宽时间尺度上存在突发性。
直观上,突发性可以看着是时间轴上形成的点的聚集,可以用自相似性来近似的描述。
考察一个协方差平稳(又称为广义平稳)统计过程X=(Xn,n=1,2,3,…),也就是说,该过程的数学期望μ=E(Xn)常数,方差σ2=E[(Xn-μ)2]为有限值,自相关函数r(k)=E[(Xn-μ)(Xn+k-μ)]/σ,k=1,2,3…仅与有关。
其中Xn可理解为第n单位时间里到达的网络业务实体数目。
假定X的自相关函数如式(1)所示:r(m)(k)=r(k)~k-β当k→∞(1)其中,a为正常数;对于每一个m=1,2,3…令表示一个新的序列,其中代表长度为m 的聚集过程。
网络流量自相似性的影响因素
节到兆字节或更 大的千兆字节 ) 波动 . 应用层是 产生 I 层聚集流量显示 自相似行为 的根源 . I '
笔者采用 Cx的结构模型从应用层和用户行 为因素的角度解 释 了 自相似现 象的产生原 因 , o 由于 网络 的复杂性 和动态 性, 自相似流量的产生也有 可能在传输过程 中受 网络协议 的影 响 . 于 自相 似性产 生于流 量 的源端还 是体现 在 网络 连接 对
中, 是流量 内在 的特性还是网络协议相互作用 的结果 , 一直 引起人们 的关注 . 文献[ ] 9 中提 出无 限方 差的重尾分 布产生 的高 可变性是 网络 流量 自相似现象的可能原因 . 文献 [0 对 同一瓶颈链路 的多个 自相似 T P对话 流进行 累加 , 到的流量和仍 1] C 得
÷ 收稿 日期 :08 6 8 20 —0 —0
作者简介 : 龙剑友(95 , , 17 一)男 湖南郴州人 , 吉首大学商学 院讲师 , 主要从 事管理学研究
第4 期
龙 剑友 , : 等 网络流量 自相似性的影 响因素
3 9
是自 相似流 , 说明 T P C 拥塞控制机制本身就可 以成为 出现 流量 自 相似 的决定 因素 , 高可变性不是 网络出现 自 相似现 象的唯
以 一 些 随 机过 程 随机 到 达 , 交 换 信 息 过 程 间 具 有 持 续 时 间 或 会 话 长 度 , 可 理 解 为 用 户 的 “ 考 时 间 ”从 开 始 到 会 话 结 在 也 思 ,
校园网流量自相似特性的研究
的 f m流量 生成 方法 。 B ( ) ors 法 1N r 方 o
组 到 达 数 目进 行 研 究 。利 用 方 差 一时 间 曲线 和 R S图方 法 对 实 际 流 量 数 据 进 行 测 量 、 析 和 预 测 , 实 校 园 网 流 量 具 有 / 分 证 典 型 的 自相 似性 。 ・ [ 献标识码 ] 文 A [ 章 编 号 ]6 153 (06 0. 4.4 文 17.30 20 )50 1 0 0
自相似 性是 指一 个 随机过 程 在各 个 时间规模 上具有相 同 的统计 特 性 。 自相 似性 的存 在 给 网络
性 能带来 一些 意 想不 到 的 影 响 。 自相似 性 业 务 在 下 ,交 换 机 内 缓 冲 区 长 度 分 布 为 次 指 数 ( e ul n 或幂 函数分 布 ( o e —L w w i la ) b i P w r a )而 不 是 负指数 分 布 。 直 接 影 响 网 络 的设 计 、 制 和 管 它 控
一
2 自相 似 流 量 对 网 络 性 能 的 影 响 及 流 量 发 生 模 型
2 1 自相似 流量 对 网络 性能 的 影响 .
个 f m过程 B t , B () 由于 B t )一B t ( +s ()= s 意 H,
味着 f m具 有 “ 限斜 率” If i lp ) 其 自相 B 无 (ni t s e 。 ne o 似 程度 Hus指 数 H同 时规定 了 网络 流量 的 尺度 r t
基于用户带宽的网络流量仿真的研究
=
÷ ~b 且当x < 0 时, 使x = 0
矿
( 4 )
2 . 2 仿 真模 型 的系统 设计
述 和设 计 。如 图 2所 示 。
用户数据 传输请 求
\
’
其中b ≥ , 1< < 2 。当 O / =1 . 5 , k =1 , b =5时 , 使用式 ( 4 ) 得到
2 . 2 . 1 时 间粒 度 和 速 度 单 位 的 确 定
停止发送数据的时 间 7 1 o , 发 送数 据的速 率 S 。对 于每个 O N / O F F源 , 其O N / O F F周 期 的持 续 时间均 服从 独 立 的重 尾分 布 。 P a r e t o 分布是最简单的重尾分布 , 其 分 布 函 数 为 ] :
出自相似性 。因此 , 以秒 级时 间粒度 的用户带 宽网络流 量仿真
研 究 对 网 络 服 务 管 理 具 有 十 分 重 要 的意 义 。
目前 网络 出 口的传输 速度 多为 1 0 Mb p s至 1 0 0 0 Mb p s , 而用 户接入网络的带宽通常也为 1 M b p s 至1 0 Mb p s , 普通 用户访问 网 络时的大多数据传输请求都在 0 . 3 Mb以上 。因此 , 仿真模 型 的
对 网 络 出 口流 量 的 影 响 。而 用 户 带 宽 管 理 是 网络 管 理 的重 要 问
D
寻1 0
5
l l l l
0 0 5 0 1 0 0
。
1 5 0
题, 基于用户带宽 的网络 流量 管理方式是 目前 网络服务 管理 的
主要方式 。因此 , 在上述 O N / O F F模 型的基 础上 , 提 出一种基于 控制用户 带宽的网络流量仿 真模型 , 该模 型可 以完 成 以下二个 基本要求 : ( 1 )可 以调节用户的网络数据传输请求 ; ( 2 )可以控制用户的 网络 流量带 宽 , 并 且根据 网络 出 口是
网络IP流量的自相似性分析与研究
【 关键词】 网络流量; 自相似; 重尾分布; 特性
0 前 言
目 前, 局域网和广域 网的流量特 征已经发生 了显著 的变化 , 泊松 模型不再能充分反 映当前 网络流量 的复杂性[ 1 ] 。复杂 的网络流量需要 用非传统 的建模及分 析方 法来研究。 自从 L e l a n d 。 T a q q u 和 Wi l s o n 等 人首次提 出将 自 相似性作为 网络流量研究 的重要考虑 因素 . 引发了对 网络 自相似性 的大量研究目 。 尽管存在大量呈现 自 相似特性 的随机模型 . 但 目前通过和真 实业 务 流量数据比较认为 . 对 比传统业务流模 型的静态建模特 征 . 自相似 业务流模 型的建模方式是动态 的. 主要有以下几类 3 . 1 O N/ O F F模型 用O N / O F F 模 型的叠加产 生的 自相似 可 以解 释产生 自 相 似的一 部分原 因 , 若 文件大小符合 重尾 分布 。 则对应 的文件传输均导 致链路 层 的自相似性 , 而与所用的传输协议等无关。 它根据 自 相似性 的本质 . 可 以更有针对性地在网络 的特定层处理 自相 似问题
精确二 阶 自 相 似过 程 , 并称 = 1 — 届 , 2 为其 自相似参数 ,又称 为 H u r s t H ( 0 . 5 , 1 ) 。 分形布 朗运动带有高斯性 , 对于非负的信号 , 也就是非高 参数 , 是 描述网络 自 相性 特性 的唯一参数 。 日的取值范 围是 ( 1 / 2 , 1 ) , H 斯信 号. 它不能很好 的进行分析 越大 . 过程 自 相 似程度越 高 3 . 3 多分 型小波模型
【 摘 要】 网络流量特征是分析和研 究网络性能 、 规 划网络 建设的基础。 随着 网络 的普及 以及新应用的 出现 . 网络 的突发 业务 流量急剧增
网络流量分析
网络流量分析概述摘要Internet自60年代出现以来发展迅猛,网络规模飞速膨胀,网络流量越来越大,网络信息对人们生活的影响也越来越深远,然而网络中P2P等应用正在大量的消耗网络的带宽资源,从而影响了关键业务的正常展开。
因此,通过对网络中的各种业务流量进行分析,建立合适的预测模型就成为网络发展的必要。
通过分析,能及时的发现网络中的异常,从而使得网络管理更主动,为网络的持续高性能运行提供主要的保障,为规划、设计网络提供科学依据。
本文首先介绍网络流量数据采集方法,通过分析他们的优缺点让读者对网络数据采集技术有一个初步的了解。
然后本文介绍了两种基于不同技术的网络流分类方法: 深度数据包检测技术(DPI)和深度/动态流检测技术(DFI)。
在DPI中,主要介绍AC状态机模式匹配算法实现多关键字的快速匹配。
而DFI是基于流特征向量的分类方法,本文主要介绍分析了朴素贝叶斯方法。
在特征选择方面,介绍了运用相关度和快速的过滤器选择方法(FCBF)来对特征进行筛选,得出有利于分类的特征子集,同时还可以去掉不相关或冗余特征,增加分类的准确性。
最后,本文介绍了如何把网络流量分析的结果应用到入侵检测中,以发现网络中的异常。
目录摘要 (1)一、网络流量分析概述 (3)1.1网络流量分析背景 (3)1.2网络流量分析定义 (3)1.3网络流量分析目的 (4)1.4网络流量分析意义 (5)二、网络流量采集 (6)2.1 网络流 (6)2.2 网络流的特性 (6)2.3 网络流量采集介绍 (6)2.4 主流网络流量采集技术 (7)2.4.1 基于网络流量全镜像的采集技术 (7)2.4.2 基于SNMP的流量采集技术。
(7)2.4.3 基于 Netflow/sFlow的流量采集技术。
(8)2.4.4 基于干路中桥接设备的采集技术 (9)2.4 网络流量采集技术的对比 (10)三、网络流量分析 (11)3.1 基于DPI的网络流量分析技术 (11)3.1.1 DPI提出的背景 (11)3.1.2 DPI技术研究 (11)3.1.3 AC自动机算法 (13)3.1.4 DPI总结 (15)3.2 基于DFI的网络流量分析技术 (16)3.2.1 DFI的提出 (16)3.2.2 基于DFI技术的方法的基本原理 (16)3.2.3朴素贝叶斯分类器 (16)3.2.4改进贝叶斯—FCBF(A Fast Correlation-Based Fliter): (17)3.2.5其他应用DFI技术的模型 (18)3.3 DPI和DFI的对比: (19)四、网络流量分析之应用:入侵检测 (20)4.1入侵检测的基本定义以及方法 (20)4.2网络流量在异常检测系统中的应用 (21)4.2.1 特征参数的选取 (21)4.2.2特征参数变化的提取 (21)4.2.3.网络流量异常的判断 (22)五、全文总结 (23)参考文献 (24)一、网络流量分析概述1.1网络流量分析背景随着网络应用日趋复杂化,网络流量不断增长并且呈现多样化,如何更好的满足用户对各类Internet业务服务质量越来越精细的要求,这是目前面临的关键问题。
分数阶Fourier变换域中网络流量的自相似特性分析
分数 阶 F o u r i e r变换域 中网络流量 的 自相似特性分析
郭通 ,兰 巨龙 ,黄 万伟 ,张 震
( 国家数 字交换 系 统工程 技 术研 究中心 ,河 南 郑 州 4 5 0 0 0 2 )
摘
要 :通过分析 网络流量数据在 F r F T域 的统计特性发现 ,实际 网络流量在 F r F T域 满足 自相似性 ,进一步地 ,
( Na t i o n a l Di g i t a l S w i t c h i n g S y s t e m E n g i n e e r i n g &T e c h n o l o g i c a l R e s e a r c h C e n t e r , Z h e n g z h o u 4 5 0 0 0 2 , C h na i )
p u t a t i o n a l c o mp l e x i t y ha t n e x i s t i n g c o mmo n me t h o d s . T h e o v e r a l l r o b u s t n e s s o f a d a p t i v e e s t i ma t o r i s mo r e s a t i s f a c t o r y
l a r i t y f e a t u r e . F u r t h e r , Hu r s t p a r a me t e r e s t i ma t i o n me t h o d s b a s e d o n mo d i i f e d e n s e mb l e e mp i ic r a l mo d e d e c o mp o s i -
t i o n - d e t r e n d e d l f u c t u a t i o n a n a l y s i s ( ME E MD — DF e s t i ma t o r wi t h we i g h t e d l e a s t s q u re a r e g r e s s i o n( WL S R )
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
条件3-对X进行堆叠,堆叠产生的时间序列为
X(m)=(Xk(m):k=1,2,3 …),其中
2021/3/7
Xk(m)
=1/m(Xkm-m+1+
…+Xkm),k=1,
2,
3,
…
12
自相似的数学描述
自相似(Exactly second order) self-similar
X(m)的自相关函数r(m)满足:r(m)(k)=r(k),对所 有m=1, 2, … (k=1, 2, 3, …)
时间尺度—几十毫秒、秒、分钟、小时
2021/3/7
6
2021/3/7
7
2021/3/7
8
2021/3/7
9
2021/3/7
10
自相似的数学描述
数学定义
假设前提—平稳随机过程,即统计特性(均 值、方差、相关等)不随时间推移而变化。 一阶平稳(均值为常数),二阶平稳(均值 和方差为常数,任意两时间点之间的协方差 只取决于时间间隔,又称之为广义平稳)
关于网络流量自相似特性的研究
马皓 北大网络实验室
2002年10月31日
2021/3/7
1
提纲
问题提出 自相似的数学描述 产生自相似的原因 自相似对网络性能的影响 国内相关工作 可能的研究方向
2021/3/7
2
问题提出
研究起源
Will Leland, Murad Taqqu, Walter Willinger, and Daniel Wilson, On the Self-Similar Nature of Ethernet Traffic (Extended Version), IEEE/ACM Transactions on Networking, February 1994.(Bellcore 510 citations)
J. Beran, R. Sherman, M. S. Taqqu, and W. Willinger, "Long-Range Dependence in Variable-Bit-Rate Video Traffic", IEEE Transactions on Communications, February/March/April, 1995. (193 citations)
时间t与过去时间t-s,若s足够大,则t与t-s时的业务量 是不相关的,即仅考虑s较小时业务到达间的相关性, 称之为短时相关Short Range Dependence—SRD模型
2021/3/7
5
自相似的数学描述
网络流量模型
时间序列,表示每单位时间到达的字节数或 数据包数量
自相似的物理描述
网络流量在很宽的时间尺度内存在突发现象, “Burst”
自相关函Xt+k-μ)]/E[(Xt-μ)2]
2021/3/7
11
自相似的数学描述
自相似
条件1—针对一个平稳随机过程
X=(Xt: t=0,1,2,3…)
条件2—其自相关函数满足r(k) ~ k-βL1(k),当 k→∞,其中0<β<1,L1是慢变函数,即对所 有 x > 0 , limt→∞L1(tx)/L1(t) = 1 ( 常 见 的 慢 变 函 数,如L1(t)=常数,L1(t)=㏒(t))
2021/3/7
3
问题提出
意义
开拓了全新的研究领域,经典的理论分析依据(如泊 松过程和马尔可夫模型),不在适合网络流量的分析 和建模。
“…..the (r)evolution of the Internet is impacting the world of mathematics in the small as well as in the large -- both on how mathematics is done, and, for understanding the network itself, on what sort of mathematics is done --- and why this, in turn, makes Internet engineering a gold mine for new, exciting and challenging research opportunities in the mathematical sciences.” by Walter Willinger and Vern Paxson in “Where Mathematics meets the Internet”
渐进自相似(Asymptotically second order) self-
similar
X(m)的自相关函数r(m)满足: r(m)(1)→21-β-1,当m→∞ r(m)(k)→1/2δ2(k2-β),当m→∞ (k=2, 3, …)
δ2 表 示 一 个 算 子 符 , 其 作 用 于 函 数 f(k) 表 示
2021/3/7 “Goodbye Poisson” & “Hello Fractal” !
4
问题提出
什么是自相似? 为什么研究自相似? 产生自相似的原因?
泊松过程—随机变量(单位时间呼叫到达的次数)是独 立的、且服从相似分布,即
P[Xk=n]=e-λ△t(λ△t)n/n! (n≥0)
马尔可夫模型—对过去具有有限记忆,即在已经知道 “现在”的条件下,其“将来”不依赖于“过去”
δ2(f(k))=f(k+1)-2f(k)+f(k-1)
2021/3/7
13
自相似的数学描述
自相似参数H
H=1-β/2 r(k)~k-(2-2H)L1(k),当k→∞
渐进自相似(asymptotically self-similar)
r(k)=1/2[(k+1)2H-2k2H+(k-1)2H]
Vern Paxson, Sally Floyd, Wide-Area Traffic: The Failure of Poisson Modeling, IEEE/ACM Transactions on Networking,3(3), June 1995. (Lawrence Berkeley Lab. 408 citations, FTP & Telnet)