拉格朗日神经网络解决非凸优化问题

２神经 网络模型
２ ． １光 滑 非 凸优 化 问题
人 工 神 经 网 络 其 实 是 将 优 化 问 题 的 目 标
函数对应于 网络 的某种Leabharlann Baidu能量 函数 ，将 网络状态
转 变 的 过 程 看 成 是 问题 的求 解 过 程 ，过 程 中 轨
当 目标 函 数 非 凸 时 ，适 用 于 凸 函 数 优 化
非 凸优 化 问 题 ， 并 给 出 了 初 始 点 的 范 围 ，克 服
Ｂ （ ｘ ， ） 表示 以 为中心半径为 Ｒ的 区域。 对传 统 的拉 格 朗 日神 经 网络模 型进行 修
正 ， 考 虑 如 下 的 优化 问 题 ：
图 ２ ：ｘ ｌ 和 ｘ ２ 的 轨 迹 图
ｉ ｍｉ
工 （ ， Ａ ， ） ＝， （ ） 十 ＾ （ ） ＋ ｇ （ ） ＋ ｃ Ｉ ｈ （ ） ｌ
第二部分，针对光滑非 凸优化 问题 ，介绍 了增
广 拉 格 朗 日神 经 网 络 模 型 ，并 讨 论 了凸 化 处 理 和 相 关 理 论 ；第 三 部 分 ，描 述 了非 光 滑 非 凸 目
滑逼近技术 ，就是用带参数 的光滑 函数来近似
ｄ ￣
＝ －
Ｖ
ｘ
Ｌ （ ｘ ， ， ） ＝一 ｖ ｆ （ 删
一 （ Ａ ＋ ｃ ｆ
ｃ ） ） 一
｝ ） ）
非光 滑 函数 。 定义 ３ ：经过光 滑处理 的函数ｆ （ ｘ ． ｃ ｏ ） Ｅ 应 的增 广 拉 格 朗 日函数 为 ：
以使 优 化 问 题 满 足 局 部 凸 性 ； 加 快 网 络 轨 迹 的
厶 （ ， ， ） ＝ ， （ ， ＋ ＾ （ ） ＋ ｇ （ ） ＋ ÷ ｃ Ｉ （ ） ｌ
其 中 Ａ∈Ｒ ， ∈Ｒ 是 拉 格 朗 日 乘
效性及正确性 。
Ｓ ＝Ｓ１ ｎ Ｓ ２ 。
定义 １ ： 设
一 Ｒ是 非 光 滑 连 续 函数 ，
若 函 数 ，（・ ， ∞ ） 满 足 条件 ：对 于 任 意 给定 的
∞ ＞ ０ ，， （・ ， ∞ ） 在 连 续 可 微 ，并 且 对 于 任 意
给定的Ｘ Ｅ Ｒ ， ｆ （ ｘ ， ・ ） 在 （ 即 【 ｏ ， ＋ ） ） 可微，
１ ∽ ｅ ｃ ｔ ｔ ｏ ｛
了初始条件缺失的的限制 ，易实现 ，同时对于
非 凸 且 非 光 滑 的 情 形 ，给 出 了光 滑 化 的 处 理 方
这里 ，Ｃ 是标量 ，１ ． Ｉ 代表欧几里得范式 。 若ｘ 是优化 问题 的最 小点 ，则 ｈ （ ｘ ） ＝ ０ ，因此
的一些条件并不适用于非凸优化问题。因此对 于本文研究的非凸 目标函数，初始点的设定如
下 ： 存 在 ∈Ｒ 和Ｒ ＞ ０ ， 满足 ｉ ∈ｉ ｎ ｔ （ Ｓ １ ） ， Ｉ （ ， Ｒ） ，其 中 ｉ ｎ ｔ （ Ｓ ） 表示集合 Ｓ 的 内部 ，
迹 的转移趋于 能量极 小值方 向，从而对应 的稳
对 于 求 取 目标 函数 的 最 小 值 并 无 影 响 。
法，进而应用拉格朗 日神经 网络求解 问题 。
本 论 文 组 织 结 构 如 下 ： 第 一 部 分 ， 介 绍 了 本 文 需 要 解 决 的 优 化 问题 和 光 滑 逼 近 技 术 ；
定义 ２ ：增广拉格 朗日函数：
粤： ｖ （ ， 五 ， ） ＝ ＾ （ （ ｒ ） ） ． ！ ｝ ＝ 工 （ ‘ ， ） ＝ ｇ （ （ ｆ ） ）
上 述 增 广 拉 格 朗 日神 经 网 络 模 型 中 参 数 Ｃ
１预备知识
本 文 考 虑 如下 的优 化 问题 ：
作用：凸化 目标函数 ，当参数 ｃ足够大时，可
网络天地 ・ Ｎ ｅ ｔ ｗｏ ｒ ｋ Ｗｏ ｒ ｌ ｄ
拉格 朗 日神经 网络解决非 凸优化 问题
文／ 许治健 喻听 马崇 胡 悦
ｓ＝ ｛ ｘ ∈ Ｒ ： ｇ （ ） ０ ｝ ， ＝ ｛ ∈ Ｒ ： ＾ （ ） ＝ ｏ ｝ ， 显然，
本 文介 绍 了应 用拉格 朗 日神 经 网 络 模 型 解 决 目 标 函数 非 凸 的 优 化 问题。针 对 带有 等 式和 不等 式约 束的 非 凸优 化 问题 ，基 于拉 格朗 Ｅ ｌ 乘 子理论 构造 了神 经 网络 模 型 。 而 且 对 于 目标 函 数 非 凸 且 非光 滑 的情形 ，采 用光 滑逼 近技 术将非光滑 函数转化 为光滑函数 ， 进 而求 出满足 约束条件 的可行解 。 最后给 出两个 实例 验证 理论 的有
其 中 ∈Ｒ ， ∈Ｒ 是拉格朗 日乘 子。
对 应 的神 经 网 络 模 型 如 下 ：
图３ ：ｘ 。 和 Ｘ ２ 的轨 迹 图
标函数的光滑化处理和相应 的神经 网络模型 ； 第 四部分 ，给 出两个仿真实例验证 了本文所提
出的 神 经 网 络 模 型 的正 确 性 和 有 效 性 。
定 点就 是 优 化 问题 局 部 或整 体 最优 解 。基 于 拉
格 朗 日 乘 子 理 论 ，Ｚ ｈ ａ ｎ ｇ和 Ｃ ｏ ｎ ｓ ｔ ａ ｎ ｔ ｉ ｎ ｉ ｄ ｅ ｓ提 Ｓ ｌ
出了拉格 朗 日神经 网络解 决非线性规 划问题 ， 这种方法通过把 约束整 合到一个修 正函数 中来 处理约 束，避 免了计 算上的困难。然而应用拉 格 朗 日神经网络解决的优化 问题多为光滑和凸 优 化问题，本文介绍 了拉格朗 日神经网络解决
对于任意 Ｘ Ｅ
ｌ ｉ ｍ
一
．
的有关 系式
ｆ（ ｚ ， ｃ ｏ ） ＝＿ 厂 （ ） 且
｛ ２ ｉ ｍ ， ０ Ｖ ， ｈ ｚ （ 引 ， 则 称 ： Ｒ
为ｆ 的光滑函数 。
图１ ：ｘ １ 和ｘ ２ 的轨 迹 图
【 关键词 】拉格 朗日乘子 非凸 神 经 网络