基于粒子群优化算法的神经网络在
基于粒子群优化的BP神经网络
基于粒子群优化的ＢＰ神经网络【摘要】人工神经网络的优化学习是其研究中的一个重要课题。
将粒子群优化算法用于BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。
【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。
但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。
粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。
由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。
由于它具有并行计算的特点，而且可以提高计算速度。
因此，可以用粒子群优化算法来优化BP网络。
一、BP神经网络及其算法BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。
图1 拓扑结构图BP算法的执行步骤如下：(1)对各层权系数置一个较小Wij的非零随机数。
(2)输入一个样本X=(X1，X2，…，x n)，以及对应期望输出) Y=(y1，y2，…，yn)。
(3)计算各层的输出。
对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid 函数，即f(x)=1/(1-epx(-x))。
(4)求各层的学习误差dki。
对于输出层，有，k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。
对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。
(5)修正权系数Wij。
Wij (t+1)=Wij-η•dki•Xk-1j。
基于粒子群算法的RBF神经网络的优化方法
体最 好 位 置 。设 群体 中的微 粒 数 为 ｓ 群 体 中所有 ， 微粒 所 经历过 的最 好位 置 为 ，称 为全 局最 好位 置 。
５ ２
李
林
李建 兵等 ： 基于粒 子群算 法 的 Ｒ Ｆ神经 网络 的优化方 法 Ｂ
Ｖ１３Ｎ ． ｏ１ ｏ １
网络 的函数 逼 近能 力 具有 很 大 的影 响 ，不恰 当地 选取 会使 网络 收敛 慢 ， 至会 造 成 网 络发 散［ 目 甚 ２ １ 。
收 稿 日期 ： ０ ０ Ｏ —１ ２ １一 １ ２
找 到的最 优解 ， 逐代 搜索 ， 直到最 后得 到最优 解 。
设 ＸＦ（ 置， …・ ・ ） 为粒 子 ｉ 当前 位置 ； 的
山东 电力高等 专科学 校学 报
第１ ３卷 第 １ 期
Ｊ ｕ ｎ ｌ ｆＳ ａ ｄ ｎ ｅ ｔｉ ｏ ｒＣ ｌ ｇ ｏ ｒ ａ ｈ ｎ ｏ ｇＥｌｃｒｃＰ ｗｅ ｏｌ ｅ ｏ ｅ
５ ｌ
基于粒 子群算 法的 Ｒ Ｆ神经 网络 的优化方法 Ｂ
Ｏｐ ｉ ｚ ｔｏ ｐｒ ａ ｈ Ｂａ ｅ ｎ Ｐａ ｔｃ ｅ Ｓ ｒ ｆ ｒＲＢＦ Ｎｅ ａ ｔ ｒ ｔｍｉａ ｉ ｎ Ａｐ ｏ ｃ ｓ ｄ ｏ ｒｉ ｌ ｗａ ｍ ｏ ｕｒ ｌＮｅｗｏ ｋ
李 林 李建 兵 牛鹏超
西 南交通 大学 电气工 程 学院 四川 成都 ６ ０ １ １ ３ ０
【 摘要 】 文用 粒子群 算 法来优 化 Ｒ 经 网络 的中心值 和连 接权值 ， 之具 有 更强 的非 线性 本 Ｂ Ｆ神 使
逼近 能力 ， 并将优 化 后 的 Ｒ Ｂ Ｆ神经 网络 和未 经优 化 的 Ｒ 经 网络用 于 非线 性 函数 的逼 近 ， Ｂ Ｆ神 实例 证 明优化 后 的 Ｒ Ｂ Ｆ神经 网络 比未经 优 化 的 Ｒ Ｂ Ｆ神经 网络具 有更 强 的非 线性 函数 的逼 近 能 力。
粒子群优化算法在计算机神经网络中的应用
研究者发现通过对导函数进行求解 因为这种算法具 有全 局优化 的特 点， 所 以被广泛 的用于 函数 优化 优化 问题 带了新的解决办法 ， 但是这种求导 的解决方法也有一个很大 的 和计算 机神经 网络等领 域 中。 目前 ， 国 内对 于粒子群优 化算法 的 也可以解 决优 化问题。 研 究 尚处于发展 阶段 ， 今后还有 很多工 作要逐步 展开 。 本文将针 缺 陷 就 是 导 函数 只 能 对 一 些 简 单 的 并 且 满 足 一 定 条 件 的 问 题 进 对 于复杂 问题 的优化就 需要 悍匪很大 的精 力和时 间， 因 对 现有 的研 究， 对粒子群优化算法 的产生和发展 以及其在神经 网 行优 化， 此 ， 实 际 运 用 并 不 是 很理 想 。 络 中的应用进行 论述 ， 同时对粒 子群 优化算法 的未来发展趋 势进 行 展望 。 ． 就在研 究者 走投无路 的时候， 数值 算法应运而 生。 所 谓数值
ｎｅｕｒ ａｌ ｎｅ ｔ ｗ ｏｒ ｋ
Ｄｉ ｎ ｇ Ｌ ｉ ｎ ｇ ， Ｆ ａ ｎ Ｐｉ ｎ ｇ ， Ｗｅ ｎ Ｂｉ ｎ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ，Ｈ ｕ ｂ ｅ ｉ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ． ４ ２ １ ０ ０ ９ ）
粒子群优 化算 法在计算机神经网络 中的应用
丁 玲 ， 范 平 ， 闻 彬 （ 湖北科技 学院计 算机 科学与技 术学院 ４ ２ １ ０ ０ ９ ）
摘要 ： 粒子群优化算法 是一种新型 的计算技术 ， 具有全局优化 的优势， 因而被广泛 的应用于优化 函数和计算机神经 网络 中。 本
粒子群优化的神经网络在故障诊断中的应用
关 键 词 齿 轮 箱 故 障 诊 断 神 经 网络 粒 子 群 优 化
中 图分 类 号 Ｔ ３ ＨＩ ２
本文 建立 了 以齿轮 箱振 动信 号 的时频域 特 征为
引 言
齿 轮箱 故 障诊 断 是一个 非 常复杂 的 问题 。由 于 齿 轮 箱 内齿 轮 、 承 、 等 受 安装 位 置 、 轴 轴 运行 工 况 等 复 杂 因素 的影 响 ， 故障 与征兆 问 的关 系不很 明确 ， 其 是 非线 性映 射关 系 。 Ｐ神 经 网络 模 型具 有较强 的 自 Ｂ 学习、 自适 应 、 想 记忆 及 非 线性 模 式 识 别能 力 ， 联 特 别 适用 于多 故 障、 多征 兆这类 复杂模 式 的识 别 ， 因而 在 齿 轮故 障诊 断方 面得 到广泛应 用 。神 经 网络 通过 对 故 障 实例 和 诊 断经 验 的训 练 学 习 ， 用分 布 在 神 经 网络 内部 的联 结权 表 达 所 学 习 的故 障诊 断 知识 ， 具 有对 故 障的联 想记忆 、 式匹 配和 相似 归纳 等能 力 ， 模 可 实现故 障 与征兆 之 间复杂 的非线 性映 射关 系 。
种 基 于生 物进 化 过 程 的随 机搜 索 的全 局优 化 方 法 ，
避免了 Ｂ Ｐ算 法 陷入 局部 最 优 解 ， 又没 有 遗 传 算 法
的 交叉 和 变异 等 复 杂操 作 过 程 ， 以搜 索 到最 优 结 可 果， 而不 是停 留在 局部 最优处 Ｌ 。 ２ ］
国 家 自然 科 学 基 金 资 助 项 目 （ 号 ；０ ７ ２ ４ 。 编 ５５５１） 收 稿 日期 ：０ ５０—２ 修 改 稿 收 到 日期 ；０ ５０— ９ ２０ —７１ ； ２ ０—９１ 。 图 １ 齿轮箱诊断的 Ｂ Ｐ网 络结 构 图
基于粒子群优化算法的神经网络在油品质量预测中的应用
Ｔ ｅａｖ ｔ ｅｏ Ｓ ｈｔｉｉ ｅ ｙｔ ｏｅａ ｄｔ ａｈｅｅ ｏｅ ｉ ｅｒｔ ｇＰ Ｏ ａｄＮ （ ｅｒｌ ｅ ｏｋ Ｗ ｈ ｄａ ａ ｆ Ｏ ｉ ｔａ ｔｓ ａ ｏ ｐ ｒｔ ａ ｃ ｉ ． ｍ ｄｌ ｎ ｇａ ｎ Ｓ Ｎ ｎｕａ ｎｔ ｒ） ａ ｎ ｇ Ｐ ｓ ｓ ｅｎ ｏ ｖ Ａ ｔ ｉ ｎ ｗ ｓ
粒子 群优化算 法 （ａｉｅ ｗｒ ｐｍｚ ｉ ， Ｓ ） ｐｒｃ ａ ｏｔ ｉｔｎ ＰＯ 目前 ｔｌ ｓ ｍ ｉ ａ ｏ 已经演化成为一种简单实用的优化计算方法 。ＰＯ算法 概念 Ｓ 简单 ， 易实现 ， 具有深 刻的智能 背景 ， 于科 学研 究 容 并且 适合 和工程应用 ， 前 国内对 ＰＯ算法 的研 究不 是很 多 ， 目 Ｓ 特别 是
基 于粒 子群 优 化 算 法 的神经 网络在 油 品质 量预 测 中的应 用
李 方方 赵 英 凯 贾玉莹 ， ， （． １ 南京 工业 大学 自动化 学 院 ， 苏 南京 ２００ ； 江 １０９ ２ ．南京 工业 大 学 信 息科 学与工程 学 院， 苏 南京 ２００ ） 江 １０９
（ｉ ｎｆｎ ｌ １０ ＠ １３ ｃｎ） １ａ ｇ ｇ０ ６ ４ ６ ．ｏ ｆ ａ
Ａｂｔ ｃ：Ｐ Ｏ（ ａｔｌ Ｓ ａｎ ｏ ｔ ｚｔ ｎ ａ ｏｉ ｍ ｉ ａ ｋｎ ｆｓ ｃａｔ ｌｂｌｏ ｔ ｚｔ ｎ ｂ ｅ ｎ Ｓａｎ ｓｒ ｔ Ｓ ｐ ｒｃｅ Ｗ ｌｌ ｐｉ ａｉ ） ｌ ｒｈ ｓ ｉｄ ｏ ｔ ｈｓｃ ｇ ａ ｐｉ ａｏ ａ ｄ ｏ Ｗ ｌｌ ａ ｉ ＇ ｍｉ ｏ ｇ ｔ ｏ ｉ ｏ ｍｉ ｉ ｓ ＇
ｉｔｌ ｇ ｎ ｅ ｎｅ ｌ ｅ ｃ ．Ｔ ｒ ｕ ｈ ｔｅ ｉ ｔ ｒｃ ｉｎ ｏ ａ ｉｌ ｓ Ｓ ｅ ｒ ｈ ｓｔ ｅｓ ｌ ｔ ｎ ｓ ａ ｅ ｉ ｔｌ ｇ ｎ ｙａ ｄ ｆｎ ｓ ｏ ｔ ｈ ｅ ｔ ｏ ｕ ｏ ． ｉ ｈ ｏ ｇ ｈ ｎ ｅａ ｔ ｆｐ ｒ ｃ ｅ ，Ｐ Ｏ ｓ ａ ｃ ｅ ｏｕ ｉ ｐ ｃ ｎｅｌ ｅ ｔ ｎ ｄ ｕ ｅ ｂ ｓ ｌｔ ｎ ｏ ｔ ｈ ｏ ｉ ｌ ｉ ｔ ｓ ｉ
基于改进粒子群优化算法的神经网络设计
（ ．西北 工业 大学 自动化 学 院 ， １ 西安 ７０７ ； ． １０ ２ ２ 陕西工 业职 业技术 学 院 工业 中心 ，陕西 成 阳 ７２０ ） １００ 摘 要 ：借鉴 分层递 阶 结构原 理和 蚁群 算 法的思 想 ， 出了一种基 于信 息素 的粒子 群算 法并 用来优 化 前 向神 经 提
Ｋｅ ｒ ｓ ｐ ｒｉｌ ｗ ｒ ｏ ｔ ｚ ｔ ｎ；ａ ｔ ｏ ｏ ｙ ｏ ｔ ｚ ｔ ｎ；ｐ ｅ ｏ ｎ ；ｎ ｕ ａ ｅｗｏｋ ｄ ｓｇ ｙ ｗｏ ｄ ： ａｔ ｅ ｓ ａ ｍ ｐ ｉ ａｉ ｃ ｍｉ ｏ ｎ ｌ ｎ ｐ ｉ ａ ｉ ｃ ｍｉ ｏ ｈ ｒ ｍｏ ｅ ｅ ｒ ｎ ｔ ｒ ｅ ｉｎ ｌ
网络 的结 构和权 值 。通过 在控 制基 因中释 放信 息 素进行 粒子 控制 基 因的更新 ， 实现 了粒子 间信 息的 共享 。粒子
群的 惯性权 重采 用指 数 曲线 衰减 的形 式 ， 每代 最差 粒子 的 速度 随机 加 入 干扰 ， 给 克服 了标 准 粒子 群 算 法在 寻优 时 出现 的 粒子早 熟现 象。仿 真 结果表 明该 算 法能 快速确 定神 经 网络的 结构和 权值 ， 现 出良好 的收敛 性 能。 表 关 键词 ：粒 子群 算法 ； 群算 法 ； 息素 ； 经 网络设 计 蚁 信 神
中图分 类号 ：Ｔ １ ３ Ｐ８ 文献标 志码 ：Ａ 文 章编 号 ：１０ ．６ ５ ２０ ） １３ ｉｎ ｏ ｅ ｄ ｆｒ ｒ ｅ ｒｌｎ ｔ ｒ ｓｇ ｆｆｅ ｏ ｗａ ｄ ｎ ｕ ａ ｅｗｏ ｋ
１ １ ・ １ ・ １ ● ’
粒子群优化 （ ａｔｌ ｓａｍ ｏｔ ｚｒ Ｐ Ｏ） 一种新 兴 的 ｐｒｃｅ ｗ ｒ ｐｉ ｅ，Ｓ 是 ｉ ｍｉ
基于群智能方法 的进 化优化技术 ． ， ２ 其模 拟鸟群 和鱼 群等人 Ｊ
基于粒子群优化算法的BP神经网络在图像识别中的应用
（） １
第 Ｐ个输入训练样本输 出层第 ｋ 个神经元的输出信
息 为
ｑ
＝
从输入到输 出的任 意非线性 映射。假设输入层、 隐
含层和输 出层的单元个数分别 为 ｎ ｑ ｍ， 、 、 利用该 网 络可实现 ｎ 维输入 向量 Ｘ＝（ － ） 到 ｍ维输 － ， 。
维普资讯
第２ ５卷第 ４期 ２０ ０ ６年 ｌ ２月
武
汉
丁
业
学
院
学
报
Ｖｏ ＿ ５ ｏ ４ ｌ２ Ｎ ．
Ｄｅ ２ ｏ ｃ． Ｏ ６
Ｊｕ ｎ ｌ ｏ Ｗｕ ａ Ｐ ｌｔｃ ｎｃ Ｕ ｉｅｓｔ ｏ ｒａ ｆ ｈｎ ｏｙｅ ｈ ｉ ｎｖ ｒｉ ｙ
经 验 和认 知 的影 响 ， 同时 也会 受 到 整 体 社会 行 为 的
应值 ， 若当前适应值更优 ， 则令 当前适应值为该微 粒历史最好适应值 ， 并保存该微粒 的位置为其个体
历史最好位置；比较群体所有微粒 的当前适应值 和 群体历史最好适应值 ， 若当前 适应值更优 ， 则令当 前适应值为历史全局最好适应值 ， 并保存历史全局
２ 粒子群优化算法 （ Ｓ Ｐ Ｏ）
２ １ 粒子群 优化 算 法思 想 ．
粒子群优化 算法 （ ａｉｅＳ ａ ｐ ｍｚ ｉ ， Ｐｒｃ ｗｒ Ｏ ｔ ｉ ｔ ｎ ｔｌ ｍ ｉ ａｏ
权值 、 加速 系数 、 最大允许 迭代次数或适应值 误差 限、 各微粒的初始位置和初始速度等。 ２２ ３ 前向计算 神经 网络直至输 出， ．． 并按预定准
０ 引 言
模式识别是近 ３ Ｏ年来迅速发展起来 的新兴学 科， 主要 目的是研究如何用机器来模拟人的学习、 识 别和思维能力。其中基于视觉图像的模式识别技术 广泛应用于工业 、 商业、 农业、 军事、 医学等领域¨ 。 Ｊ 人工神经网络中的 Ｂ 神经网络从仿生学的途 Ｐ 径模拟了人脑的智 能行为如信息处理、 存储及检索 功能 ， 结构简单 ， 易实现 ， 具有抗干扰能力强 、 自适 能 应学习以及能把识别处理和若干预处理融为一体来 完成等优点 ， 因此在模式识别 中应用非常广泛。传
基于粒子群优化的小波神经网络及其在齿轮箱故障诊断中的应用
＝ １２３ … ， ， ， ， Ⅳ
ＥⅣ ＝ ∑ （ ） （） Ｄ一
基金项 目：国家 自然科学基金资助（ 目编号 ：０ ７２ ４ 项 ５ ５５ １ ）
（） ６
收稿 日 ： ０６— ５～ ９ 修改稿收到 日 ： ０ ０ — ４ 期 ２０ ０ ２ 期 ２ ６— ８ ２ ０ 第一作者 毛鸿伟 男 ， 硕士 ， ８ 年 １ 月生 １ １ ９ １
关键词 ：粒子群算法 ， 小波神经 网络 ， 故障诊断
中图分类号 ：Ｔ Ｄ Ｕ ２ ． Ｈ ２；２ ６ ８＋１ 文献标 识码 ：Ａ
小 波 神 经 网络 （ ｖｌｔ ｅｒｌ ｅ ｏｋ 是 小 波 理 Ｗａｅ ｕａ Ｎ ｔ ｒ） ｅＮ ｗ
论与神经 网络理论 相结合 的产物 ， 它既具有神经 网络 的学 习能力 、 泛化 能力及 非 线 性 映 射能 力 ， 又具 有 小 波 变换 的多尺 度 时频 分 析 手段 和 良好 的 逼 近 特 性 ， 有 具 广 阔的应 用前景 ¨ 。 由于 小波 神 经 网 络 没有 专 门 的 训 Ｊ 练方法 ， 其常规学习训练算法一般为梯度下降算法 ， 因 而网络 具 有训 练 时 间 较 长且 易 陷入 局 部 极 小值 的 缺点 。 粒 子 群 优 化 算 法 （ ａｉ ｅ Ｓ ａ ｐ ｍｚｔｎ Ｐｒｃ ｗ ｒ Ｏ ｔ ｉ ｉ ， ｔｌ ｍ ｉ ａｏ Ｐ Ｏ 是 由 Ｅ ｅ ａ 博士与 Ｋ ｎｅｙ Ｓ） ｂｒ ｒ ｈｔ ｅｎｄ 博士提出的一种新 的全局优化进化算法。该算法源于对鸟类 捕食行为的 模拟 ， 是一类新兴 的随机全局优化技术 ， 其最 主要特点 是简单 、 收敛速 度快 ， 并具有较 好 的全局 与局 部收敛 能力 。 本 文提 出一种 基 于粒 子群 算 法 优 化 的多 输 入 多输 出小波神经网络学 习训练算法 ， 并用于齿轮箱 的故 障 诊断。实验结果表 明， 使用粒 子群优化算 法训 练的小 波神经网络不仅迭代次数少 ， 而且收敛精度也得到 了 较大 的提 高 。这 说 明 Ｐ Ｏ算 法 适 合 训 练 小 波 神 经 网 Ｓ 络， 且优化后的小波神经网络具有很 好的信号 分类能 力， 能有效地用于故障诊断类问题 。
基于粒子群优化的高维小波神经网络及其应用
第２ ７卷第 ３期
２ ０ １ ３年 ９月
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｓ ｈ ａ ｎ ｘ ｉ Ｎ ｏ ｒ ｍａ ｌ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ
Ｎａ ｔ ｕ ｒ ｌ ａ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｅｄ ｉ ｔ ｉ ｏ ｎ
Ｖｏ １ ． ２ ７ Ｎ ｏ ． ３
Ｓ ｅ ｐ ｔ ．２ ０１ ３
文章编 号 ： １ ０ ０ ９ － ４ ４ ９ ０（ ２ ０ １ ３ ） ０ ３ － ０ ０ ０ ６ － ０ ５
基 于 粒 子 群 优 化 的 高维 小 波神 经 网络 及 其 应 用
张碧夏 ， 邢进生
（ 山西师范大学数学 与计算 机科学学 院，山西 临汾 ０ ４ １ ０ ０ ４ ） 摘 要： 本文提 出一种粒子群优化小波神 经 网络 的新 方法． 先采 用基 于梯度 下降 的误 差 反传算法 调整
化， 符强等 ２ 利用人工神经网络预测 了热连轧参数 ， 王秀梅等 利用人工神经 网络预报热连轧机组轧制
压力 ．
针对生产热连轧产品的复杂工业过程 ， 所建 的神经网络模型具有输入变量维数高的特点， 使得模型在 实际 应用 中的 收敛 速度 和预测 精 度 不能 满 足 要 求 ． 万百 五 提 出 了逐 步 扩 大 样 本学 习算 法 ， 邢 进 生等
基金项 目：山西软科学基金资助项 目（ ２ ０ １ １ ４１ ０ ０ ３ ３ ０ － ３ ） ． 作者简介 ：张碧夏 （ １ ９ ８ ９ 一） ， 女， 山西宁武 人 ， 山西师范大学数 学与计算 机科学学院硕 士研究生 ， 主要从 事智能计算 方面 的 研究． 通讯作者 ： 邢进生 （ １ ９ ６ ４ 一） ， 男， 山西 太原人 ， 山西 师范大学数学与计算机科学学 院教授 ， 博士， 主要从事智 能控制 、 数据挖 掘、 人工神经 网络 、 技术转移理论及应用等方 面的研 究．
基于粒子群优化算法的神经网络钻削参数优化
Ｋｅ ｗｏ ｄ ｐ ｒｉ ｌ ｗａ ｍ ’ｐ ｉ ｚ ｔｏ ｌ ｏ ｉｈ ｎ ｕ ａ ｅ ｗｏ ｋ ； ａ ａ ｔｒ ｏ ｔｍｉａｉ ｎ ｙ ｒ ｓ： ａ ｔ ｅ ｓ ｒ ｏ ｔ ｃ ｍｉａ ｉｎ ａ ｇ ｒｔ ｍ； ｅ ｒ ｎ ｔ ｒ ｓ ｐ ｒ ｍｅ ｅ ｐ ｉ ｚ ｔｏ ｌ
１ 引言 ． ｝ ＋ ） ）｝ ＋ ） ， １＝ ＋， １ ； （） ２ 其 中： 为 惯 性 权值 ， 常 随进 化 代 数 从 ０ ｗ 通 ． 性 递 减 至 ０４ｄ １２ ９线 ．，＝ … 兑 现 代 化 生 产 来 说 ，无 论 是 数 控 机 床 （ Ｎ 、 机 械 加 工 中 心 Ｃ Ｃ） （ ） 柔 性 制 造 系统 （ ＭＳ 、 算 机 集 成 制 造 系 统 （ ［ ） 工 艺 参 数 ｎｎ为 解 空 间 的 维 数 ， 自变量 个 数， ＭＣ 、 Ｆ ）计 ＣＭＳ ， ， 即 ｄ为 ｎ维 中 的第 ｄ维 ．为 当 前进 化 ｔ
优 化 是 一 个 至 关 重 要 的 问题 。 现 代 的 数 控 加 工 工 艺 系 统 ， 果 不 搞 代 数 ， ｌ ， 种 群 规模 ， 对 如 ｉ ～ ＳＳ为 ＝２ 和 ｒ为 分 布 于 【，］ 间 的 随 机 数 ． 和 Ｃ ２ Ｏ１ 之 ｃ 。 ２ 通 。设 定 位 移 上 限 控 制 粒 子位 移 工 艺参 数 优化 ， 搞 科 学 制 定 工 艺 规程 。 从 “ 验 判 断 ” 向 “ 学 定 为 位 移 变 化 的 限 定 因子 ， 常取 为 ２ 不 不 经 转 科 量 分析 ”则 提 高 数 控 加 工 工 艺水 平 便 难 于 实 现 ， 产 效 率 的提 高受 到 不 致 过 大 。Ｐ ０ 算 法 主要 计 算 步 骤 为 ： ） 始 化 ， 定 位 移 因 子 Ｃ ｃ ， 生 Ｓ （初 １ 设 和 影 响 ， 而 缺 乏 市 场 竞 争力 。 机 械加 工过 程 中 ， 品 质 量 和成 本直 接 惯 性 权 值 Ｗ最 大 进 化 代 数 ７ ， 当前 进 化 代 数 置 为 ｔ 定 义 空 间 从 在 产 ， 舾 ．将 ， 在 与加 工 的 各项 参 数 有 关 ， 而 加 工 参 数 的 优 化 选 择 至 关 重 要 ， 接 影 中 随 机 产 生 Ｓ个 粒 子 ｌ２ … 组 成 初 始 种 群 ｘ ｔ 随 机 产 生 各 粒 子 故 直 … （； ） ｐ （ （评 ）２ ｔ（ ）３ 响着 企 业 的效 益 。 在 现代 机 械 制 造 业 中 ， 多 参 数 需 要 操 作 人 员 一 次 初 始位 移 变化 ， … …ｐ 组 成 位 移 变 化 矩 阵 Ｖｔ； ） 价 种 群 Ｘ（ ； ） 许
基于粒子群优化的深度神经网络分类算法
基于粒子群优化的深度神经网络分类算法董晴;宋威【摘要】针对神经网络分类算法中节点函数不可导,分类精度不够高等问题,提出了一种基于粒子群优化(PSO)算法的深度神经网络分类算法.使用深度学习中的自动编码机,结合PSO算法优化权值,利用自动编码机对输入样本数据进行编解码,为提高网络分类精度,以编码机本身的误差函数和Softmax分类器的代价函数加权求和共同作为PSO算法的评价函数,使编码后的数据更加适应分类器.实验结果证明:与其他传统的神经网络相比,在邮件分类问题上,此分类算法有更高的分类精度.%Aiming at problem that classification precision of neural network algorithm is not very high and node function doesn't have derivate,a new classification algorithm of deep neural network based on particle swarm optimization(PSO) is e autoencoder of deep study,and combined with PSO algorithm to optimize the weight,coder and decoder for input sample data using autoencoder.In order to improve the classification precision of network,take the error function of autoencoder and cost function of softmax classifier weight sum as evaluation function of PSO algorithm in common,making coded data more adapter to the classifier.The experimental results show that compared with other traditional neural network,the classification algorithm has higher classification precision on Email classification.【期刊名称】《传感器与微系统》【年(卷),期】2017(036)009【总页数】5页(P143-146,150)【关键词】深度神经网络;自动编码机;粒子群优化算法;分类【作者】董晴;宋威【作者单位】江南大学物联网工程学院,江苏无锡214122;江南大学物联网工程学院,江苏无锡214122【正文语种】中文【中图分类】TP183近年来，神经网络的研究一直受到学者们的关注，如感知机[1]，反向传播(back propogation,BP)神经网络[2]，径向基函数(radial basis function,RBF)神经网络及其各种改进算法[3～5]等。
基于粒子群算法的神经网络在水资源评价中的应用
２１ ０ ０年 ６月
成
Ｊ ＵＲＮＡ ＯＦａ印 Ｏ Ｌ
都
信
息
工
程
学
院
学
报
Ｖ＿ ． ５ Ｎｏ． ０ ２ １ ３
ＵＮＩ ＥＲ Ｉ ＯＦＩ Ｏ Ｍ Ａ Ｏ ＴＥ Ｈ Ｖ Ｓ ＴＹ ＮＦ Ｒ ＴＩ Ｎ Ｃ ＮＯＩ ￣ Ｙ Ａ
Ｊｎ Ｏ０ ｕ ．２ １
文章编号 ：１７ ．７ ２ ２ １ ）３０ １ —４ ６ １１４ （０ ０ ０ ．３ ７０
ｆ 叫’ ＋＇ Ｃ‘ ｏ ） ｒ’ ‘ ｏ ｚ） 铲 ／’１ Ｐ — ＋ ２ｃ （ — １ （ ２Ｐ
Ｐ Ｏ优化 确定 Ａ Ｎ 的权值 和 阈值 的过程 可 以表述 为 ： Ｓ Ｎ
（） １给定 Ａ 的权值和阈值 的取值范 围 ［ ｍ ， Ｉ Ｐ Ｐ
界。
］Ｐ ， ｍ 、 ｍ唧分别为 Ｐ
的取值范 围下界和上
收 稿 日期 ：０ ９ １—０ 修 订 日期 ：０ ００ ．５ ２０ ．０２ ； ２ １—３０
前面 ４ 种方法由于评价指标受人为确定权重或混用边界值和均值问题 的影响 ， 评价结果 的客观性和可 比性较差 ，
而后 面 ２种 方法 已被公认 为 较好 的机 器学 习 方法 ， 能有效避 免 人为 干扰 ， 到客 观 的结果 。但 是 ， ＮＮ在 训 练过 得 Ａ 程 中容 易收敛 到 局部 最小 ， Ｓ 而 ＶＭ 由于需 要 求解 二次 规 划 问题 会使 其 求 解 速度 随核 函数 矩 阵 的维 数增 加 呈指 数下 降 。 粒子群算 法 （ ａｔｌＳ ｒ Ｏｐｉ ｚｔ ｎ Ｐ ０） １ ９ Ｐｒｉｅ ｗａｍ ｔ ａｉ ， Ｓ 是 ９ ５年 由美 国社 会 心 理学 家 Ｋｅｎｄ 电 气 工程 师 Ｅ— ｃ ｍｉ ｏ ｎｅｙ和 ｂｒａｔ 出的一种仿 生优 化算 法 ， ｅｈｒ提 由于其在 许 多 优化 问题 中表 现 出优 良的性 能 ， 多研 究者 纷 纷 尝试 将 其 应 用 许
基于粒子群优化算法的神经网络架构搜索与参数优化方法研究
基于粒子群优化算法的神经网络架构搜索与参数优化方法
研究
近年来，神经网络在深度学习领域取得了巨大的成功。
然而，设计一个有效的神经网络架构仍然是一个具有挑战性的问题。
传统的人工设计方法需要大量的经验和时间，而且很难找到最佳的架构。
为了解决这个问题，研究人员提出了一种基于粒子群优化算法的神经网络架构搜索与参数优化方法。
粒子群优化算法是一种模仿鸟群寻找食物的行为而发展起来的优化算法。
它通过不断地迭代搜索空间中的解空间，从而找到最佳的解。
在这个方法中，每个粒子代表一个神经网络架构。
每个粒子都有一个位置和速度，位置表示当前的网络架构，速度表示网络架构的变化方向。
粒子群中的每个粒子根据当前的位置和速度更新自己的位置，并根据一个评价函数计算其适应度。
适应度高的粒子将会被保留下来，并作为下一次迭代的起点。
为了进一步优化神经网络的性能，该方法还引入了参数优化。
在每次更新粒子位置之前，通过使用梯度下降算法对神经网络的参数进行优化。
这样可以在搜索过程中同时优化网络架构和参数，从而得到更好的结果。
通过在多个数据集上的实验证明，基于粒子群优化算法的神经网络架构搜索与参数优化方法相比于传统的方法具有更高的准
确性和更快的收敛速度。
该方法能够自动地搜索到最佳的网络架构和参数，在各种任务中都取得了良好的结果。
总之，基于粒子群优化算法的神经网络架构搜索与参数优化方法为神经网络的设计提供了一种新的思路。
它能够自动地找到最佳的架构和参数，并在各种任务中取得优秀的性能。
这一方法的研究为深度学习的发展提供了新的方向，有望在未来得到更广泛的应用。
基于粒子群优化的神经网络在教学质量评价中的应用
无 锡 职 业 技 术 学 院 学 报
Ｊｕ ｎｌｏ ｘ Ｉｓｉ ｔ ｆＴ ｃ ｎ ｌｇ ｏ ｒ ａ ｆＷｕ ｉ ｎｔｔ ｅｏ ｅ ｈ ｏｏｙ ｕ
Ｖｏ ． ． １７ Ｎｏ ６ Ｄｅ ． ２ ８ ｅ ００
基于粒子群优化的神经网络在教学质量评价中的应用
ｄ ＝Ｗ× ＋ ｌ ｌ×（ 耐一 ｄ ）＋ Ｐ ×ｒ Ｐ
本文提 出了一种将粒 子群优化 算法 （ Ｓ 训 练 的神 Ｐ Ｏ） 经 网络用于高 校教 师教 学质 量综 合评 价的方 法 ， Ｐ Ｏ 将 Ｓ 与神经 网络结合 ， Ｐ Ｏ算法 来优化神经 网络的连接权 用 Ｓ 值与 阈值 ，可以较好 地克服 Ｂ Ｐ神经 网络 的固有缺 陷 ， 与
Ａｂｓｒ ｃ ： ｔ ａ ｔ Ａｐｐ ｉａｉｎ ｏ ｅ ｒ ｌ ｅｗｏｋ ｂａ ｅ ｎ ｐ ｒｉｌ ｗａｍ ｐｔｍｉａｉｎ ａ ｇ ｒｔｍ ｏ ｅ ｃ ｉ ｇ ｕ ｌｔ ｖ ｕａｉｎ ｉ ｌｃ ｔ ｆｎ ｕ ａ ｎ ｔ ｒ ｓ ｄ ｏ ａ ｔｃｅ ｓ ｒ ｏ ｉ ｚ ｔｏ ｌｏ ｉｈ ｆ ｒｔ ａ ｈ ｎ ｑ ａ ｉ ｅ ａ ｔｏ ｓ ｏ ｙ ｌ
ｇ ｎｅａ ｉａｉｎ ｔ ｎ ｔａ ｔｏ ａ ｌ ｏ ｉ ｅ ｒｌｚ ｔ ｈａ ｒ ｄｉ ｎ ｌＢＰ ａｇ ｒｔ ． ｏ ｉ ｈｍ Ｋｅ ｏ ｄｓ ＰＳ ｙ Ｗ ｒ ： Ｏ；ＢＰ ｎ ｕ ａ ｅｗｏｒ ；ｅ ｃ ｉ ｕ ｌｔ ｖ ｌ ｔｏ ｅ ｒ ｌｎ ｔ ｋｓ ｔａ ｈｎｇ ｑ ａ ｉ ｅ ａｕａｉｎ ｙ
ｐ ｏ ｏ ｅ ｎ ｔ ｅ ｐ ｐ ｒ ｈ ｔ ｏ ｓ ｓｎ ｕ ａ ｅｗｏ ｋ ｂ ｓ ｄ ｏ ａｔ ｌ ｗ ｒ ａ ｇ ｒｔ ｍ ｏ ｉｅ ｔ ｅ ｉ ｆ ｅ ｃｎ ａ ｔｒ ｆ ｒ ｐ ｓ ｄ ｉ ｈ ａ ｅ ．Ｔ ｅ ｍｅｈ ｄ ｕ ｅ ｅ ｒｌｎ ｔ ｒ ａ ｅ ｎ ｐ ｒ ｃｅ ｓ ａ ｍ ｏｉ ｉ ｌ ｈ ｔ ｃ ｍｂ ｎ ｈ ｎ ｕ ｎ ｉ ｇ ｆｃｏ ｓ ｏ ｏ ｌ ｔａ ｈ ｎ ｕ ｌ ｙｗｉ ｅ ｒｓ ｌ ｏ ｖ ｕ ｔ ｎ ｈ ｌｏ ｔ ｍ ａ ｅ ｕ ｅｔ ｅ ｎ ｍｂ ｒｏ ａ ｎｎ ｎ ｒ ｒ ｂ ｉｕ ｌ ｎ ａ ｅｔｒ ｅ ｃ ｉ ｇ ｑ ａｉ ｔ ｔ ｅ ｕｔ ｆｅ ａ ａｉ ．Ｔ ｅａ ｇ ｒ ｈ ｃ ｎ ｒ ｄ ｃ ｈ ｕ ｅ ｆｔ ｉ ｉ ｇａ ｄ ｅ ｒ ｖ ｏ ｓｙ ａ ｄ ｈ ｓｂ ｔ ｔ ｈｈ ｌ ｏ ｉ ｒ ｏ ｏ ｅ
基于粒子群优化算法的Elman神经网络凝汽器真空模型
Ａ ｂ ｔ ａ ｔ Ａ ｎａ ｉａ ｅ ｕ ｒ ｎ ｕ ａ ｎｅ ｗ ｏ ｋ， ．ｅ， ｍ ａ ｕｒ ｌｎｅ ｗ ｏｒ ｈａ ｅ ｎ ｕ ｅ ｏ ｐｒ ｄ ｃ ｓｒ ｃ ： ｄｙ ｍ ｃ ｌｒ ｃ ｒ ｅ ｔ ｎｅ ｒ ｌ ｔ ｒ ｉ Ｅｌ ｎ ｎｅ ａ ｔ ｋ， ｓ ｂ ｅ ｓ ｄ ｔ ｅ ｉ ｔ ｖ ｃ ｍ ｎ ｔ ｏｎ ｎ ｅ ｔ ｏ ｈ ｃ ｌ ｕ ａ ｉ ｎ ｒ ａ ｘ ｍ ｐｌ ｉ ｈｏ ｓ ｔ ｔ ｔ ａ ｄ ｍ ｅ ｈ ａ ｍ ｏｒ ａ ｕｕ ｉ ｈｅ ｃ ｄｅ ｓ ｒ． ｈｒ ｕｇ ａ ｃ ｌ ｔｏｎ ｉ ｅ ｌｅ ａ ｅ。ｔ ｓ ｗ ｈａ ｈｅ ｓ ｉ ｔ ｏｄ ｃ ｎ ｅ
汽 器真 空预 测模 型 。
［ 关 键 词］ 凝 汽 ； 空 ； 经 网络 ； 子群 优化 算 法 ； 真 真 神 粒 仿
２ ［ 中图分 类 号］ ＴＫ ２６
［ 文献标 识码 ］ ［ 章 编 号］ 文
Ａ
１ ０ — ３ ６４（ １ ０ ００ ０２ ３ ２０ ０） ４ ０７— ０ ５
Ｚ Ａ ＮＧ ａ 。 Ｕ ｉｎ。 ＡＮＧ ａ ｃ ｅ ｇ Ｈ Ｈ ｉＰ Ｊａ ＺＨ Ｘｉｏ ｈ ｎ
Ｃｏｌｇｅｏ ｗｅ ｇｎ ｅ ｉｇ， ｎｉｇ Ｎｏ ｍａ ｉｅ ｓｔ Ｎａ ｊ ０ ４ Ｊａ ｇｓ ｒ ｖｎｃ ， ＲＣ ｌ ｆＰｏ ｒＥｎ ｉｅ ｒｎ Ｎａ ｊｎ ｒ ｌＵｎ ｖ ｒｉｙ， ｎｉ ２１ ０ ２， ｉｎ ｕ Ｐ ｏ ｉ ｅ Ｐ ｅ ｎｇ
基 于 粒 子 群 优 化 算 法 的 Ｅｌ ａ 神 经 网 络 ｍ ｎ
凝 汽 器 真 空 模 型
张 海 ， 浦 健 ， 啸 澄 张
南京 师 范大 学动 力 工程 学 院 ， 苏 南京 ２ ０ ４ 江 １０ ２ ［ 摘 要］ 将 一种 动 态递 归 网络— — Ｅ ｍａ ｌ ｎ神 经 网络 应 用到 凝 汽 器 真 空预 测 。通 过 实例 计 算 ， 表
基于粒子群优化算法的神经网络在配电网线损计算中的应用
应函数根据优化 目标定义。Ｐ Ｏ随机初始化一群粒 Ｓ 子 ， 中第 ｉ 粒 子 在 ｎ维 解 空 间 的位 置 表 示 为 其 个
１ 粒子群优化算 法
粒 子 群 优 化 算 法 的 提 出受 鸟 群 觅 食 行 为 的 启 发 ， 用 于解决 优 化 问题 。算 法采 用 速 度 一 位 置 搜 并 索模 型 。每个 粒 子代 表 解 空 间 的一 个 候 选 解 ， 的 解
优 劣 程度 由适 应 函数 决 定 。 速 度 ＝（ ∞…， ） 定粒 子 在 搜 索 空 间单 位 迭 代 次 数 的位 移 ， 决 适
程 快速 计算 线损 。但 是 不 同的配 电网需 采用 不 同形 式 的 回归 方 法 。 近 年来 随 着 神 经 网 络 （ Ｎ 的 不 Ａ Ｎ） 断 发展 ， 出了基 于 神 经 网 络模 型 计 算 配 电 网线 损 提 的方 法 。文献 ［ 先用 分 群 算 法 将 样 本 数 据 分 类 ， ２］ 再用 Ｂ Ｐ型 神 经 网 络 映 射 （ 和 ） 个 群 的样 本 数 拟 各 据 ， 后计 算 配 电网线损 ； 然 文献 ［ ］ 用 函数 型 神 经 ３采 网络 ， 将输 人 特征参 数 映射 到高 维空 间 ， 用无 隐层 的 单 层 网络精 确 地拟 和特 征 参 数 与 线 损 之 间 的 关 系 ，
特 征参 数数 据 为基 础 ， 到 回归 方程 ， 后用 回归 方 得 而
复 杂关 系 ， 此 基 础计 算 配 电 网线 损 。 通过 实 验 证 在 明， Ｂ 与 Ｐ算法 比较 ， 传 算 法训 练 的神 经 网络在 提 遗 高误 差 精 度 的 同 时 可 以加 快 训 练 的 收 敛 速 度 。但 是 ， 传算法 复 杂 的遗 传 操作 如选 择 、 遗 复制 、 交叉 、 变 异 使神 经 网络 的训练 时 间随 问题 的规模 及 复杂 程度
基于粒子群算法的BP神经网络优化技术
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ｃｉ Ｓ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ，Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ Ｌｉ ｇ ｏ ｎ ｇ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ，Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ １ １ ０ １ ５ ９ ，Ｃ ｈｉ ｎ ａ ） Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ： Ａｉ ｍｉ ｎ ｇ ａ ｔ ｔ ｈ ｅ ｐ ｒ ｏ ｂ ｌ ｅ ｍｓ ｔ ｈ ａ ｔ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ＢＰ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗｏ ｒ ｋ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｉ ｓ ｉ ｎ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ ，ｈ ａ ｓ ｓ ｌ ｏ ｗ ｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ａ ｎ ｄ ｉ ｓ ｅ ａ ｓ ｙ ｔ ｏ ｆ ａ ｌ ｌ ｉ ｎ ｔ ｏ ｌ ｏ ｃ ａ ｌ ｍｉ ｎ ｉ ｍｕ ｍ ｖ ａ ｌ ｕ ｅ ，ａ ｍｅ ｔ ｈ ｏ ｄ ｗｈ ｉ ｃ ｈ ｗａ ｓ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｉ ｍｐ ｒ ｏ ｖ ｅ ｄ Ｐ Ｓ Ｏ ｏ ｐ ｔ ｉ ｍｉ ｚ ｉ ｎ ｇ ｔ ｈ ｅ Ｂ Ｐ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗｏ ｒ ｋ ｗａ ｓ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ．Ｂｙ
ｓ ｈ ｏ ｗ ｔ ｈ ａ ｔ ｔ ｈ ｅ ｏ ｐ ｔ ｉ ｍｉ ｚ ｅ ｄ Ｂ Ｐ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗｏ ｒ ｋ ｓ ｏ ｌ ｖ ｅ ｓ ｔ ｈ ｅ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｏ ｆ ｅ ａ ｓ ｉ ｌ ｙ ｔ ｒ ａ ｐ ｐ ｉ ｎ ｇ ｉ ｎ ｔ ｏ ｌ ｏ ｃ ａ ｌ ｍｉ ｎ ｉ ｍｕ ｍ． Ａｔ ｔ ｈ ｅ ｓ ａ ｍｅ ｔ ｉ ｍｅ ，ｔ ｈ ｅ ｍｅ ｔ ｈ ｏ ｄ ｉ ｍｐ ｒ ｏ ｖ ｅ ｓ ｔ ｈ ｅ ｓ ｐ ｅ ｅ ｄ ａ ｎ ｄ ｓ ｔ ａ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆ ｔ ｈ ｅ ｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ｏ ｆ ｔ ｈ ｅ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ．
基于粒子群算法的神经网络在污水处理优化中的应用
目前 ， 多数 城 市 生 活污 水 处 理 厂采 用 序 批式 大
活性 污 泥法 （ Ｂ 处 理 工 艺 ， Ｓ Ｒ） 它是 一 种 应 用 最 广泛 的废 水 好氧 生化 处理 技术 ， 基本 流 程包 括一 沉池 、 其 曝气 池 、 沉 池 、 泥 回流 及 剩 余 污 泥 排 放 几 个 系 二 污 统 ＿ ．为 了便 于对 污 泥 排 放 量进 行 定 量 控 制 ， 定 ５ Ｊ 规
系统 ， 以满足 实 时处理 要化 控制 ， 们选 用 径 向基 函 数 （ Ｂ ） 经 网 络 我 Ｒ Ｆ神 对活 性 污泥 法 的污水 处理 过 程建 立 数 学模 型 ．进行
由于 神经 网络 是 个 高 效 并 行 的 非 线 性 动 态 处 理 系
从 曝 气池 直接 排 泥 ， 且 假 设 进 水 流量 按 正 弦 规 律 并
变化 ． １ ２ 神经 网络 的 设计 ． 由于 神经 网络 是个 高效 并行 的 非线性 动 态处理
模型 困难 ， 行费 用较 高， 不 能够达 到实 时控 制效 运 且 果等 现 状 ， 们首 先 运 用 径 向 基 函数 （ Ｂ ， ａ ｉ 我 Ｒ Ｆ ｒｄ ｌ ａ ｂｓ ｎ ｔ ｎ 神经 网络 对 污 水 处理 过 程建 立 模 型 ， ａｉ ｆ ｃｉ ） ｓｕ ｏ
（ ＫＭ ２ ０ １ （１ ０ ０） ０ ３ 】１ ４ ． ０
理效 率， 降低能 源 消耗 ， 出 了基 于粒 子群 算法 的污 水 处 理神 经 网络 优化 模 型， 提 并与遗 传算 法 神 经
网络 优化模 型进行 了仿 真及 测试 比较 ， 果证 明 了本文提 出方 法的优 越性 及有 效性 ． 结
基于粒子群算法优化LVQ神经网络的应用研究
Ｌ Ｖ Ｑ 神 经 网 络 由输 入 层 、 竞 争 层 和 线性 输 出
层组 成 ， 如 图 １所 示 。输 入 层 有 Ｎ个 神 经 元 接受 输入 向量 ， 与 竞 争 层 之 间 完 全 连 接 。竞 争 层 有 Ｍ
学 习 向量 量 化 （ Ｌ ｅ ａ ｎｉ ｒ ｎ ｇ Ｖ ｅ ｃ ｔ ｏ ｒ Ｑ ｕ ａ ｎ ｔ ｉ ｚ ａ ｔ ｉ ｏ ｎ ，
收 稿 日期 ： ２ ０ １ ３— ０ ６—２ ０
乳腺 癌 为女性 最 常见 的癌症 ， 发病率 呈 逐年 上
Ｌ Ｖ Ｑ）神 经 网 络 由 Ｓ Ｏ Ｍ（ Ｓ ｅ ｌ ｆ － ｏ ｒ ｇ ａ ｎ ｉ ｚ ｉ ｎ ｇ ｆ ｅ ａ ｔ ｕ ｒ ｅ Ｍａ ｐ ） 自组织 特征 映射 网络 演化 而 来 。在 网络 学 习
升趋 势 。传统 诊 断手段 主 要依据 病 灶 医学影 像 ， 专
些 学者 利用 遗传算 法 优化 Ｌ Ｖ Ｑ 的初始 权 值解 决
这 一 问题 ， 并成 功 应 用 于超 高频 射 频 识 别 、 声 学 底
质 分类 、 故 障诊 断 等 领 域 Ｊ 。本 文 在 此 基 础 上 ，
提 出使 用粒 子 群 算 法 优 化 Ｌ Ｖ Ｑ神经网络 ， 并 将 其
家凭 经验 进行 判 断 。如何快 速诊 断 乳腺 癌 的类型 ， 对于 及 时采取 正 确 的医 疗措 施是பைடு நூலகம்至关 重 要 的。 近
过程 中通 过导 师信 号预 先设 定输入 样本 类别 ， 具 有
很强 的分 类特性 ， 被 广 泛应 用 于模 式 识 别 、 分 类 和
年来 利用 分类 算法 、 神 经 网络等人 工 智能 技术 辅助
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于粒子群优化算法的神经网络在农药定量构效关系建模中的应用张丽平 俞欢军3 陈德钊 胡上序(浙江大学化工系,杭州310027)摘 要 神经网络模型能有效模拟非线性输入输出关系,但其常规训练算法为BP 或其它梯度算法,导致训练时间较长且易陷入局部极小点。
本实验探讨用粒子群优化算法训练神经网络,并应用到苯乙酰胺类农药的定量构效关系建模中,对未知化合物的活性进行预测来指导新药的设计和合成。
仿真结果表明,粒子群优化算法训练的神经网络不仅收敛速度明显加快,而且其预报精度也得到了较大的提高。
关键词 粒子群优化算法,神经网络,定量构效关系 2004201204收稿;2004207225接受本文系国家自然科学基金资助项目(N o.20276063)1 引 言药物定量构效关系(QS AR )是研究药物生理活性和药物分子结构参数间的量变规律并建立相应的数学模型,进而研究药物的作用机理,从而用于预测未知化合物的生物活性,探讨药物的作用机理,指导新药的设计和合成,在药物和农药的研究与设计中已经显示出广阔的应用前景1。
以往QS AR 的建模方法大多基于统计原理,局限于线性模型,只进行简单的非线性处理,由此所建立的模型很难契合实际构效关系,并且其处理过程都比较繁琐2。
神经网络通过学习将构效关系知识隐式分布在网络之中,适用于高度非线性体系。
在药物QS AR 中采用神经网络(NN )始于20世纪80年代末3,此后得到迅速的发展,目前已发展为除多重线性回归和多元数据分析之外的第3种方法4。
通常多层前传网络采用BP 算法,通过误差反传,按梯度下降的方向调整权值。
其缺点是可能陷入局部极小点,且对高维输入收敛速度非常缓慢。
粒子群优化算法(particle swarm optimization ,PS O )是K ennedy 等5源于对鸟群、鱼群和人类社会行为的研究而发展的一种新的进化型寻优技术。
PS O 已成为进化寻优算法研究的热点,其最主要特点是简单、收敛速度快,且所需领域知识少。
本实验拟将该方法初始化前传神经网络为苯乙酰胺类农药建立良好适用的QS AR 模型。
2 苯乙酰胺类农药的Q SAR 问题苯乙酰胺类化合物是除草农药,其除草活性与其分子结构密切相关。
所有的N 2(12甲基212苯乙基)苯乙酰胺都可用相应的羧酸酰胺通过霍夫曼反应生成。
N 2(12甲基212苯乙基)苯乙酰胺的基本结构式为:其中X 为Me 、F 、Cl 、OMe 、CF 3和Br 等,Y 为Me 、Cl 、F 和Br 等,由不同的X 和Y 取代基可构成不同的化合物。
常用以下7个理化参数描述化合物的分子组成和结构:log P 、log 2P (疏水性参数及其平方项)、σ(电性效应参数)、E s (T aft 立体参数)、MR (摩尔折射度),1χ、2χ(分子连接性指数)。
于是这类化合物的QS AR 就转化为上述理化参数与除草活性间的关系。
为研究这种关系,选用具有代表性的50个化合物,他们的活性值取自文献1,见表1。
第32卷2004年12月分析化学(FE NXI H UAX UE ) 研究报告Chinese Journal of Analytical Chemistry 第12期1590～1594表1 苯乙酰胺类化合物分子结构参数与除草活性值T able1 S tructural parameters and anti2scipusjuncoides activity of N2phenylacetamides序号N o.自变量Independent variableslog PσMR E s1χ2χlog2P因变量Dependent variable活性Activity1 1.12-0.349.240.007.31 5.59 1.254 5.8520.70-0.11 4.510.78 6.93 5.170.490 5.683 1.270.069.620.277.42 5.70 1.613 5.7240.54-0.4411.460.697.43 5.480.292 6.075 1.12-0.249.240.007.31 5.65 1.254 5.896 1.270.209.620.277.41 5.77 1.613 6.007 1.270.069.620.277.42 5.70 1.662 5.5880.850.29 4.89 1.057.03 5.280.722 5.449 1.420.4610.000.547.52 5.81 2.016 5.65100.69-0.0411.840.967.53 5.590.476 5.4611 1.270.169.620.277.41 5.76 1.613 5.5712 1.420.6010.000.547.51 5.88 2.016 5.65130.690.1011.840.967.52 5.630.476 5.4214 1.270.069.620.277.41 5.76 1.613 5.1815 1.420.4610.000.547.51 5.88 2.016 5.4116 1.12-0.249.240.007.31 5.65 1.254 5.79170.70-0.01 4.510.78 6.92 5.230.490 5.9218 1.270.169.620.277.41 5.75 1.613 6.10190.54-0.3411.460.697.42 5.530.292 5.7920 1.12-0.149.240.007.30 5.71 1.254 5.8221 1.270.309.620.277.40 5.83 1.613 6.2222 1.440.368.61-1.167.39 5.66 2.074 5.7323 1.420.1612.470.087.80 6.27 2.016 4.64240.94-0.3116.060.038.00 5.800.884 4.32 250.700.17 4.510.78 6.92 5.200.490 6.47 260.850.57 4.89 1.057.02 5.310.722 6.5727 1.270.209.620.277.41 5.76 1.613 6.49280.850.43 4.89 1.057.02 5.340.7227.0429 1.420.6010.000.547.51 5.87 2.016 6.71300.690.1011.840.967.52 5.650.476 6.5331 1.270.309.620.277.40 5.83 1.613 6.3832 1.420.7410.000.547.51 5.94 2.016 6.9533 1.570.6212.850.357.90 6.32 2.465 6.47340.56-0.349.240.007.31 5.640.314 5.82 350.70-0.11 4.510.78 6.92 5.220.490 6.0136 1.270.069.620.277.41 5.75 1.613 6.22370.54-0.4411.460.697.42 5.530.292 5.82 380.56-0.249.240.007.30 5.700.314 5.8939 1.270.209.620.277.40 5.82 1.613 5.92400.70-0.11 4.510.78 6.92 5.190.490 6.25 410.850.29 4.89 1.057.02 5.310.7227.05 420.12-0.21 6.73 1.477.03 5.080.014 6.44 430.70-0.01 4.510.78 6.91 5.260.490 6.50 440.850.43 4.89 1.057.02 5.370.722 6.3945 1.270.069.620.277.41 5.76 1.613 6.68460.850.29 4.89 1.057.02 5.340.722 6.6347 1.420.4610.000.547.51 5.87 2.016 6.9148 1.270.169.620.277.40 5.82 1.613 6.8449 1.000.297.740.867.41 5.79 1.000 6.6050 1.570.6012.850.357.90 6.39 2.465 6.49 1951第12期张丽平等:基于粒子群优化算法的神经网络在农药定量构效关系建模中的应用 3 前传神经网络3.1 网络结构网络有7个输入端和1个输出端,分别与7个理化参数和1个活性值相对应。
根据经验规则,网络中权重总数应等于或小于样本容量,所得数学模型才比较稳定6。
由此,在本实验中隐层结点为5比较合适,网络结构为72521,共46个权值。
3.2 样本使用由于各变量表示样本的各种性质,往往使用不同的度量单位,其观测值也可能相差十分悬殊。
这样绝对值大的变量其影响可能盖过绝对值小的变量,使后者应有的作用得不到反映。
为了确保各变量在分析中的地位相同,故对输入端的7个变量实施极差标准化。
为避免偶然性,采用交叉验证法,将50个样品构成10个组合,每组均有45个样品作训练用,另外5个样品作预报用,因此每个样品有9次作训练用,1次作预报用。
3.3 过拟合控制为了避免训练网络时出现过拟合,实验使用测试集监控训练的过程,即由训练所得数学模型计算预报误差,如果测试集的训练误差曲线显著上升,并且预报误差和训练误差为可接受的大小,则训练终止。
实验表明,该方法可以有效地降低过拟合程度。
3.4 初始化前传神经网络的PSO 算法与其他进化寻优算法相类似,PS O 算法也将通过个体间的协作与竞争,实现多维空间中最优解的搜索。
PS O 方法首先生成初始种群,即在可行解空间中随机初始化一群粒子,每个粒子都为寻优问题的一个可行解,并用某个函数计算出相应的适应值以确定是否达到寻优目标。
每个粒子将在解空间中运动,并由一个矢量决定其运动方向和位移。
通常粒子将追随当前的最优粒子而动,并经逐代搜索最后得到最优解。
在每一代中,粒子将跟踪两个极值,一为粒子本身迄今找到的最优解,代表该粒子自身对寻优方向的认知水平;另一为全种群迄今找到的最优解,代表社会认知水平。
设第i 个粒子位置为x i =(x i 1,x i 2,……x in )T ,其位移为v i =(v i 1,v i 2,……v in )T 。
它的个体最优值点为p i =(p i 1,p i 2,……p in )T ,种群的全局最优值点为p g =(p g 1,p g 2,……p gn )T 。