蚁群优化神经网络的网络流量混沌预测
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[2-3] [1]
力， 在网络流量预测中得到了广泛的应用 [5-6]。尤其 是 BP 神经网络可以寻找一种非线性函数来逼近嵌入 空间吸引子轨迹状态的映射关系， 使其在网络流量 预测方面有特定的优势， 但是 BP 神经网络初始的权 值和阈值是随机选取的， 倘若这些参数的位置选择 不当， 则会导致网络的收敛速度慢， 陷入局部最优值[7]。 目前， 克服上述缺点的一种方法是采用遗传算法 （GA） 、 粒子群算法 （PSO） 优化的 BP 神经网络， 弥补随机选 择 BP 神经网络初始连接权值和阈值存在的缺陷， 防 止 BP 神经网络在训练时陷入局部极小值， 在一定程 度上优化了 BP 神经网络的预测性能 [8-9]。蚁群算法 （ACO） 是一种源于大自然中生物世界的新仿生类算 法， 由意大利学者 Dorigo M 等首先提出， 它吸收了蚂 蚁的行为特性， 通过其内在的搜索机制， 求解一系列
， 这些方法简单， 容易实现， 基于线性建
模。然而， 现代网络流量受到多种因素影响， 具有多 尺度、 自相似性、 突发性、 混沌性， 线性预测方法并不 能保证网络流量预测的精确性， 在实际应用中受限[4]。 近年来， 随着人工神经网络 （ Artificial Neural Network， ANN） 发展， 其具有结构简单和优良的非线性预测能
模型 （ACO-BPNN） 。对网络流量时间序列进行重构， 将 BPNN 参数作为蚂蚁的位置向量， 通过蚁群信息交流 和相互协作找到 BPNN 最优参数， 建立网络流量最优预测模型， 并采用实测网络流量数据进行有效性验证。结 果表明， ACO-BPNN 能够准确刻画网络流量变化特性， 提高网络流量的预测准确性。 关键词： 网络流量； 蚁群优化算法； BP 神经网络； 混沌预测 文献标识码： A 中图分类号： TP391 doi： 10.3778/j.issn.1002-8331.1207-0348
基金项目： 四川省教育厅项目 （No.11ZA166） ； 绵阳师范学院 2011 校级学科群建设项目 （No.2011C05） 。 作者简介： 吴文铁 （1977—） ， 男， 讲师， 主要研究方向为人工智能及其应用； 宋曰聪 （1964—） ， 男， 教授， 主要研究领域为决策分析， 数据挖掘； 李敏 （1975—） ， 男， 博士生， 讲师， 主要研究物联网技术。 收稿日期： 2012-07-23 修回日期： 2012-10-31 文章编号： 1002-8331 （2012） 34-009隐含层和输出层 初始的阈值非常敏感。倘若这些参数设置不合理，
输入层 隐含层 输出层
会导致网络收敛速度很慢和陷入局部最优。因此本 研究将蚁群算法和 BP 神经网络相结合， 利用蚁群算 法来优化 BP 神经网络初始的权值和阈值， 提高 BP 神 经网络的收敛速度， 减小 BP 算法陷入局部最优的可 能性。
Computer Engineering and Applications 计算机工程与应用
2012， 48 （34）
97
蚁群优化神经网络的网络流量混沌预测
吴文铁， 宋曰聪， 李 敏 WU Wentie, SONG Yuecong, LI Min
绵阳师范学院 数学与计算机科学学院， 四川 绵阳 621000 Department of Mathematics and Computer Science, Mianyang Normal University, Mianyang, Sichuan 621000, China WU Wentie, SONG Yuecong, LI Min. Chaotic prediction of network traffic based on neural network optimized by ant colony optimization algorithm. Computer Engineering and Applications, 2012, 48 （34） ： 97-101. Abstract：In order to improve the prediction accuracy of network traffic, this paper proposes a network traffic prediction model based on neural network optimized by ant colony optimization algorithm （ACO-BPNN） . The data of network traffic are reconstructed by chaotic theory. The parameters of BPNN are considered the position vector of ants. The optimal parameters are found by ant colony optimization algorithm. The optimal model for network traffic is built and the performance of mode are tested by network traffic data. The simulation results show that ACO-PBNN can describe the change rule of network traffic accurately and can improve prediction accuracy. Key words： network traffic; ant colony optimization algorithm; BP neural network; chaotic prediction 摘 要： 为了网络流量预测准确性， 提出一种蚁群算法 （ACO） 优化 BP 神经网络 （BPNN） 的网络流量混沌预测
α j (t + 1) = α j (t) + ηh j (1 - h j) å ω'jk ( y k - o k )
k=1 m
1.2
BP 神经网络
BP 神经网络是一种多层前馈神经网络， 三层 BP
网络的拓扑结构如图 1 所示， 包括输入层、 输出层和 一个隐含层， 各神经元与下一层所有的神经元连接， 同层神经元之间无连接[12]。
（4）
（4） 权值更新。
ωij (t + 1) = ωij (t) + η[(1 - β)D(t) + βD(t - 1)]
' ' ωij (t + 1) = ωij (t) + η[(1 - β)D'(t) + βD'(t - 1)]
（5） （6）
式中， η 为学习速率，β 为动量因子。 （5） 阈值更新。根据网络输出 o k 和期望输出 y k 之间的误差更新 a j b k 。
98
2012， 48 （34）
Computer Engineering and Applications 计算机工程与应用
的组合优化问题， 在旅行商问题、 分配问题、 调度问 题中取得了显著成效 。 为了进一步对 BP 神经网络结构进行优化， 将蚁 群优化算法 （Ant Colony Optimization， ACO） 用于优 化 BP 神经网络， 利用其良好的鲁棒性， 全局寻优以及 正反馈的性能， 将蚁群优化算法和 BP 神经网络进行 结合， 提出一种蚁群算法优化神经网络的网络流量 混沌预测模型 （ACO-BPNN） ， 并通过具体网络流量 数据对模型性能进行分析。
æ n ö h j = f ç å ωij xi - α j ÷ j = 1 2 l （3） èi=1 ø xi 为第 i 个输入节点变量。 式中， f 为隐含层激励函数，
1 相空间重构和 BP 神经网络 1.1 相空间重构
相空间重构把具有混沌特性的时间序列重构成 为一种低阶非线性动力学系统， 从而近似恢复系统 的混沌吸引子[12]。 设观测到的混沌时间序列为： { x(t)}; t = 1 2 n ， 其中 n 表示样本数。根据 Takens 定理， 可以通过选 定合适的τ和 m 将混沌时间序列时间重构为：
设蚁群规模为 N， 将蚁群随机分布在解空间， 然
吴文铁， 宋曰聪， 李 敏： 蚁群优化神经网络的网络流量混沌预测
2012， 48 （34）
99
后根据蚂蚁所在初始位置的分布情况， 按照 BP 神经 网络参数范围确定蚂蚁 i 的初始信息素大小：
Dτ (i) = exp( - f ( xi))
'
每个位置向量对应于 BP 神经网络的初始连接权值和 阈值。 步骤 4 训练样本输入到 BP 神经网络进行学习 和训练， 当达到设定的精度时， 就得到网络训练输出 值， 并以训练误差平方和作为蚂蚁个体的适应度值， 然后通过式 （9） 计算各只蚂蚁的信息素浓度。 步骤 5 随机抽取 p 只蚂蚁， 根据每只蚂蚁所在位 置的信息素浓度大小 ， 找出最优蚂蚁的位置设为 Xbest， 把它作为目标个体 Xobj。 步骤 6 种群中非最优蚂蚁按式 （12） 向目标蚂蚁 位置移动进行全局搜索。 步骤 7 最优蚂蚁的根据式 （13） 在其邻域内进行 精细的局部搜索。 步骤 8 按式 （14） 更新每只蚂蚁的信息素浓度。 步骤 9 将 ACO 得到的最优蚂蚁位置分解， 得到 BP 神经网络的最优初始连接权值和阈值。
X n = ( x n x n + τ x n + (m - 1)τ )
（1）
（3） 输出层输出 o k 计算。
o k = å h j ω'jk - b k k = 1 2 m
j=1 l
从式 （1） 可知， 相空间重构结果的优劣由τ和 m 决 定。根据 Takens 定理， 对于无限长、 无噪声的混沌时 间序列， τ可以任意选择， 即与 m 没有关联， 但实际时 间序列不可避免地带有噪音且不能保证序列长度足 够长， 因此实际应用中τ的选取对相空间重构的质量 有着重大的影响， τ和 m 相互关联， 因此应该同时选择。
图 1 三层 BP 神经网络
BP 神经网络的基本原理是采用梯度下降法调整 权值和阈值使得网络的实际输出值和期望输出值的 均方误差值最小。标准的 BP 神经网络算法在修正权 值时没有考虑以前时刻的梯度方向， 从而使学习过 程常常发生振荡， 收敛缓慢， 因此采用一种改进的 BP
2.1
初始化蚁群位置和信息素
[10]
学习算法， 通过引入动量项来减小学习过程的振荡 趋势， 改善收敛性。 定义目标函数为：
p p J = 1 å å ( y k - o k )2 2 p = 1k = 1 p N m
（2）
p
式中， o k 为输出节点 k 在样本 p 作用时的输出，y k 为 在样本 p 作用时输出节点 k 的目标值， m 为输出变量 的维数， N 为训练样本个数。 BP 神经网络的训练过程包括以下步骤： （1） 网络初始化。确定网络输入层节点数 n， 隐 含层结点数 l， 输出层结点数 m， 输入层与隐含层、 隐 含层与输出层神经元之间的连接权值 ωij ， ω'jk ， 隐含层 阈值 α = [α1 α 2 αl ] ， 输出层阈值 b = [b1 b 2 b m] 。 （2） 隐含层输出 h j 计算。
随着网络技术迅速发展和网络规模日趋庞大， 网络信息流动日益频繁， 网络管理任务越来越繁重， 网络流量控制是网络管理和拥塞控制的基础， 网络 流量的建模和预测可提高网络性能和服务质量， 因 此成为当前研究的热点 。 网络流量预测问题备受国内外学者关注， 并进 行了大量而深入研究， 取得不错的效果。当前， 传统 网络流量预测方法主要有回归分析、 趋势外推和时 间序列等
x1 x2 i ωij j ω′ jk
（7） （8）
b k (t + 1) = b k (t) + ( y k - o k )
（6） 判断算法是否迭代结束， 若没有结束， 则返 回步骤 （2） 。
k y1
…
… …
xn
2
yk
蚁群算法优化 BP 神经网络参数
BP 神经网络对于输入层与隐含层、 隐含层与输
力， 在网络流量预测中得到了广泛的应用 [5-6]。尤其 是 BP 神经网络可以寻找一种非线性函数来逼近嵌入 空间吸引子轨迹状态的映射关系， 使其在网络流量 预测方面有特定的优势， 但是 BP 神经网络初始的权 值和阈值是随机选取的， 倘若这些参数的位置选择 不当， 则会导致网络的收敛速度慢， 陷入局部最优值[7]。 目前， 克服上述缺点的一种方法是采用遗传算法 （GA） 、 粒子群算法 （PSO） 优化的 BP 神经网络， 弥补随机选 择 BP 神经网络初始连接权值和阈值存在的缺陷， 防 止 BP 神经网络在训练时陷入局部极小值， 在一定程 度上优化了 BP 神经网络的预测性能 [8-9]。蚁群算法 （ACO） 是一种源于大自然中生物世界的新仿生类算 法， 由意大利学者 Dorigo M 等首先提出， 它吸收了蚂 蚁的行为特性， 通过其内在的搜索机制， 求解一系列
， 这些方法简单， 容易实现， 基于线性建
模。然而， 现代网络流量受到多种因素影响， 具有多 尺度、 自相似性、 突发性、 混沌性， 线性预测方法并不 能保证网络流量预测的精确性， 在实际应用中受限[4]。 近年来， 随着人工神经网络 （ Artificial Neural Network， ANN） 发展， 其具有结构简单和优良的非线性预测能
模型 （ACO-BPNN） 。对网络流量时间序列进行重构， 将 BPNN 参数作为蚂蚁的位置向量， 通过蚁群信息交流 和相互协作找到 BPNN 最优参数， 建立网络流量最优预测模型， 并采用实测网络流量数据进行有效性验证。结 果表明， ACO-BPNN 能够准确刻画网络流量变化特性， 提高网络流量的预测准确性。 关键词： 网络流量； 蚁群优化算法； BP 神经网络； 混沌预测 文献标识码： A 中图分类号： TP391 doi： 10.3778/j.issn.1002-8331.1207-0348
基金项目： 四川省教育厅项目 （No.11ZA166） ； 绵阳师范学院 2011 校级学科群建设项目 （No.2011C05） 。 作者简介： 吴文铁 （1977—） ， 男， 讲师， 主要研究方向为人工智能及其应用； 宋曰聪 （1964—） ， 男， 教授， 主要研究领域为决策分析， 数据挖掘； 李敏 （1975—） ， 男， 博士生， 讲师， 主要研究物联网技术。 收稿日期： 2012-07-23 修回日期： 2012-10-31 文章编号： 1002-8331 （2012） 34-009隐含层和输出层 初始的阈值非常敏感。倘若这些参数设置不合理，
输入层 隐含层 输出层
会导致网络收敛速度很慢和陷入局部最优。因此本 研究将蚁群算法和 BP 神经网络相结合， 利用蚁群算 法来优化 BP 神经网络初始的权值和阈值， 提高 BP 神 经网络的收敛速度， 减小 BP 算法陷入局部最优的可 能性。
Computer Engineering and Applications 计算机工程与应用
2012， 48 （34）
97
蚁群优化神经网络的网络流量混沌预测
吴文铁， 宋曰聪， 李 敏 WU Wentie, SONG Yuecong, LI Min
绵阳师范学院 数学与计算机科学学院， 四川 绵阳 621000 Department of Mathematics and Computer Science, Mianyang Normal University, Mianyang, Sichuan 621000, China WU Wentie, SONG Yuecong, LI Min. Chaotic prediction of network traffic based on neural network optimized by ant colony optimization algorithm. Computer Engineering and Applications, 2012, 48 （34） ： 97-101. Abstract：In order to improve the prediction accuracy of network traffic, this paper proposes a network traffic prediction model based on neural network optimized by ant colony optimization algorithm （ACO-BPNN） . The data of network traffic are reconstructed by chaotic theory. The parameters of BPNN are considered the position vector of ants. The optimal parameters are found by ant colony optimization algorithm. The optimal model for network traffic is built and the performance of mode are tested by network traffic data. The simulation results show that ACO-PBNN can describe the change rule of network traffic accurately and can improve prediction accuracy. Key words： network traffic; ant colony optimization algorithm; BP neural network; chaotic prediction 摘 要： 为了网络流量预测准确性， 提出一种蚁群算法 （ACO） 优化 BP 神经网络 （BPNN） 的网络流量混沌预测
α j (t + 1) = α j (t) + ηh j (1 - h j) å ω'jk ( y k - o k )
k=1 m
1.2
BP 神经网络
BP 神经网络是一种多层前馈神经网络， 三层 BP
网络的拓扑结构如图 1 所示， 包括输入层、 输出层和 一个隐含层， 各神经元与下一层所有的神经元连接， 同层神经元之间无连接[12]。
（4）
（4） 权值更新。
ωij (t + 1) = ωij (t) + η[(1 - β)D(t) + βD(t - 1)]
' ' ωij (t + 1) = ωij (t) + η[(1 - β)D'(t) + βD'(t - 1)]
（5） （6）
式中， η 为学习速率，β 为动量因子。 （5） 阈值更新。根据网络输出 o k 和期望输出 y k 之间的误差更新 a j b k 。
98
2012， 48 （34）
Computer Engineering and Applications 计算机工程与应用
的组合优化问题， 在旅行商问题、 分配问题、 调度问 题中取得了显著成效 。 为了进一步对 BP 神经网络结构进行优化， 将蚁 群优化算法 （Ant Colony Optimization， ACO） 用于优 化 BP 神经网络， 利用其良好的鲁棒性， 全局寻优以及 正反馈的性能， 将蚁群优化算法和 BP 神经网络进行 结合， 提出一种蚁群算法优化神经网络的网络流量 混沌预测模型 （ACO-BPNN） ， 并通过具体网络流量 数据对模型性能进行分析。
æ n ö h j = f ç å ωij xi - α j ÷ j = 1 2 l （3） èi=1 ø xi 为第 i 个输入节点变量。 式中， f 为隐含层激励函数，
1 相空间重构和 BP 神经网络 1.1 相空间重构
相空间重构把具有混沌特性的时间序列重构成 为一种低阶非线性动力学系统， 从而近似恢复系统 的混沌吸引子[12]。 设观测到的混沌时间序列为： { x(t)}; t = 1 2 n ， 其中 n 表示样本数。根据 Takens 定理， 可以通过选 定合适的τ和 m 将混沌时间序列时间重构为：
设蚁群规模为 N， 将蚁群随机分布在解空间， 然
吴文铁， 宋曰聪， 李 敏： 蚁群优化神经网络的网络流量混沌预测
2012， 48 （34）
99
后根据蚂蚁所在初始位置的分布情况， 按照 BP 神经 网络参数范围确定蚂蚁 i 的初始信息素大小：
Dτ (i) = exp( - f ( xi))
'
每个位置向量对应于 BP 神经网络的初始连接权值和 阈值。 步骤 4 训练样本输入到 BP 神经网络进行学习 和训练， 当达到设定的精度时， 就得到网络训练输出 值， 并以训练误差平方和作为蚂蚁个体的适应度值， 然后通过式 （9） 计算各只蚂蚁的信息素浓度。 步骤 5 随机抽取 p 只蚂蚁， 根据每只蚂蚁所在位 置的信息素浓度大小 ， 找出最优蚂蚁的位置设为 Xbest， 把它作为目标个体 Xobj。 步骤 6 种群中非最优蚂蚁按式 （12） 向目标蚂蚁 位置移动进行全局搜索。 步骤 7 最优蚂蚁的根据式 （13） 在其邻域内进行 精细的局部搜索。 步骤 8 按式 （14） 更新每只蚂蚁的信息素浓度。 步骤 9 将 ACO 得到的最优蚂蚁位置分解， 得到 BP 神经网络的最优初始连接权值和阈值。
X n = ( x n x n + τ x n + (m - 1)τ )
（1）
（3） 输出层输出 o k 计算。
o k = å h j ω'jk - b k k = 1 2 m
j=1 l
从式 （1） 可知， 相空间重构结果的优劣由τ和 m 决 定。根据 Takens 定理， 对于无限长、 无噪声的混沌时 间序列， τ可以任意选择， 即与 m 没有关联， 但实际时 间序列不可避免地带有噪音且不能保证序列长度足 够长， 因此实际应用中τ的选取对相空间重构的质量 有着重大的影响， τ和 m 相互关联， 因此应该同时选择。
图 1 三层 BP 神经网络
BP 神经网络的基本原理是采用梯度下降法调整 权值和阈值使得网络的实际输出值和期望输出值的 均方误差值最小。标准的 BP 神经网络算法在修正权 值时没有考虑以前时刻的梯度方向， 从而使学习过 程常常发生振荡， 收敛缓慢， 因此采用一种改进的 BP
2.1
初始化蚁群位置和信息素
[10]
学习算法， 通过引入动量项来减小学习过程的振荡 趋势， 改善收敛性。 定义目标函数为：
p p J = 1 å å ( y k - o k )2 2 p = 1k = 1 p N m
（2）
p
式中， o k 为输出节点 k 在样本 p 作用时的输出，y k 为 在样本 p 作用时输出节点 k 的目标值， m 为输出变量 的维数， N 为训练样本个数。 BP 神经网络的训练过程包括以下步骤： （1） 网络初始化。确定网络输入层节点数 n， 隐 含层结点数 l， 输出层结点数 m， 输入层与隐含层、 隐 含层与输出层神经元之间的连接权值 ωij ， ω'jk ， 隐含层 阈值 α = [α1 α 2 αl ] ， 输出层阈值 b = [b1 b 2 b m] 。 （2） 隐含层输出 h j 计算。
随着网络技术迅速发展和网络规模日趋庞大， 网络信息流动日益频繁， 网络管理任务越来越繁重， 网络流量控制是网络管理和拥塞控制的基础， 网络 流量的建模和预测可提高网络性能和服务质量， 因 此成为当前研究的热点 。 网络流量预测问题备受国内外学者关注， 并进 行了大量而深入研究， 取得不错的效果。当前， 传统 网络流量预测方法主要有回归分析、 趋势外推和时 间序列等
x1 x2 i ωij j ω′ jk
（7） （8）
b k (t + 1) = b k (t) + ( y k - o k )
（6） 判断算法是否迭代结束， 若没有结束， 则返 回步骤 （2） 。
k y1
…
… …
xn
2
yk
蚁群算法优化 BP 神经网络参数
BP 神经网络对于输入层与隐含层、 隐含层与输