一类非光滑非凸优化问题的神经网络方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为了降低网络模 型 的 复 杂 度，文 献 ［１２～１６］提 出 了 一 些 一层递归神经网络。Ｇｏｕ等人 提 ［１４］ 出了一种解决线性等式约 束的伪凸优化的一层递归神经网络，并证明了在等式约束条件 下，解轨迹能 在 有 限 时 间 收 敛 到 可 行 域 中。基 于 惩 罚 函 数 方 法，Ｌｉｕ等人［１５］提出了一种新的一层递归神经网络来解决线性 等式约束 的 伪 凸 最 优 化 问 题。 为 解 决 线 性 规 划 问 题，Ｌｉｕ等 人［１６］早期同样提出一种基于次梯度的神经网络，证明了该神 经网络定义域内是全局收敛的。国内有关神经网络解决最优 化的研究可参考文献［１７～１９］。传统的神经网络模型解决工 程优问题大多要求求解适当的罚函数，而这个参数在某些目标 函数下是难以计算的，这为网络执行计算带来困难。本文结合 传统的递归神经网络模型，提出新的一种解决带等式约束和不
Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｏｖｅｌｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｓｏｌｖｅｎｏｎｓｍｏｏｔｈｎｏｎｃｏｎｖｅｘｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓｗｉｔｈｅｑｕａｌｉｔｙａｎｄ ｉｎｅｑｕａｌｉｔｙｃｏｎｓｔｒａｉｎｔｓ．Ｉｔｐｒｏｖｅｄｔｈａｔｗｈｅｎｔｈｅｏｂｊｅｃｔｉｖｅｆｕｎｃｔｉｏｎｈａｄａｌｏｗｅｒｂｏｕｎｄ，ｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｎｖｅｒｇｅｄｔｏａｆｅａｓｉｂｌｅ ｄｏｍａｉｎｉｎａｆｉｎｉｔｅｔｉｍｅ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｓｏｌｕｔｉｏｎｔｒａｊｅｃｔｏｒｙｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｎｖｅｒｇｅｄｔｏｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｓｅｔｏｆｔｈｅｃｏｒｒｅ ｓｐｏｎｄｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ，ｗｈｉｃｈｆｉｎａｌｌｙｃｏｎｖｅｒｇｅｄｔｏｃｒｉｔｉｃａｌｐｏｉｎｔｓｅｔｏｆｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ．Ｃｏｍｐａｒｉｎｇｗｉｔｈｔｒａｄｉ ｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｗｈｉｃｈｂａｓｅｄｏｎｐｅｎａｌｔｙｆｕｎｃｔｉｏｎ，ｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｄｉｄｎｏｔｎｅｅｄｔｏｃａｌｃｕｌａｔｅａｎｙｐｅｎａｌｔｙｐａｒａｍｅ ｔｅｒｓ．Ｆｉｎａｌｌｙ，ｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｏｄｅｌｉｓｖｅｒｉｆｉｅｄｂｙｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓ． Ｋｅｙｗｏｒｄｓ：ｎｅｕｒａｌｎｅｔｗｏｒｋ；ｎｏｎｃｏｎｖｅｘｎｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎ；ｌｉｍｉｔｅｄｔｉｍｅｃｏｎｖｅｒｇｅｎｃｅ
第 ３６卷第 ９期 ２０１９年 ９月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ．３６Ｎｏ．９ Ｓｅｐ．２０１９
一类非光滑非凸优化问题的神经网络方法
喻 昕，陈昭蓉
（广西大学 计算机与电子信息学院，南宁 ５３０００４）
摘 要：提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有 下界时，神经网络的解轨迹在有限时间收敛到可行域。同时，神经网络的平衡点集与优化问题的关键点集一致， 且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同，提出的模型无须计算罚 因子。最后，通过仿真实验验证了所提出模型的有效性。 关键词：神经网络；非凸非光滑优化；有限时间收敛 中图分类号：ＴＰ１８３ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）０９００３２５７５０４ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０３．０１５０
０ 引言
１９８６年，Ｔａｎｋ等人［１］介绍了模拟神经网络方法解决限制 性最优化问题，并在文献［２］中得到更进一步的阐述。其核心 思想是利用动力学神经网络同时模拟目标函数与约束函数，并 利用神经网络的模拟与并行处理能力计算问题的最优解。文 献［１］提出了 递 归 神 经 网 络 解 决 线 性 规 划 问 题，在 此 基 础 上， Ｋｅｎｎｅｄｙ等人［２］对文献［１］中的神经网络进行改进，通过构建 一个有限的惩罚参数的神经网络来解决非线性规划问 题。 Ｚｈａｎｇ等人［３］在早期惩罚参数研究的基础上，提出了一种基于 Ｌａｇｒａｎｇｅ乘子法 的 递 归 神 经 网 络 以 解 决 非 线 性 凸 优 化 问 题。 Ｌａｇｒａｎｇｅ神经网络模型中有两种神经元，即变量神经元和 Ｌａ ｇｒａｎｇｅ神经元。其中，变量神经元负责寻找目标函数的最小点 以及提供解决问题的平衡点；而拉格朗日神经元负责将动态轨 迹快速地引入可行域。有关 Ｌａｇｒａｎｇｅ神经网络的详细研究请 参考文献［４～６］。在 最 优 化 问 题 的 研 究 发 展 中，早 期 的 神 经 网络模型均为光滑非线性规划问题而设计，为了解决非光滑非 线性规划问题，Ｆｏｒｔｉ等人［７］提出了一种 ＧＮＰＣ神经网络模型， ＧＮＰＣ是基于 ＮＰＣ的一个微分包含形式的梯度系统，其目标 函数和约束函数不需要是光滑的而仅仅是正则函数即可。为 了使非光滑规划更具普遍性，文献［８，９］提出了一些基于惩罚 函数和次梯度的递归神经网络解决非光滑凸与非光滑非凸规 划Biblioteka Baidu题。神经网络的收敛行为，包括全局收敛和局部收敛。如 果规划问题的目标函数的定义域中任意的初始点的解轨迹收 敛于最优解（或近似最优解），则该神经网络模型是全局收敛
Ｎｅｕｒａｌｎｅｔｗｏｒｋｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｆｏｒｃｌａｓｓｏｆ ｎｏｎｃｏｎｖｅｘｎｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ
ＹｕＸｉｎ，ＣｈｅｎＺｈａｏｒｏｎｇ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ＆ ＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎ，ＧｕａｎｇｘｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ５３０００４，Ｃｈｉｎａ）
的，如文献［１０］的神经网络模型，在满足一些条件的情况下是 全局收敛。然而，如果限制条件是初始状态的解必须从可行域 中选取，则其收敛是局部的。基于惩罚参数和函数的神经网络 模型，其解集在很大程度上是非全局收敛的，因为此类神经网 络模型，其可行域上发现的一个内部点通常是一个特殊域包含 的可行域的中心，因此，为了保证收敛，初始解集必须在可行域 范围内部选取，并且惩罚参数必须保证足够大。再者，惩罚函 数神经网络模型的有效性依赖于确定的或非确定的惩罚参数， 而确定性惩罚参数在实际应用是很难估算的。为解决这个问 题，Ｃｈｅｎｇ等人 ［１１］提 出 了 一 种 新 的 解 决 非 光 滑 凸 优 化 的 递 归 神经网络，文献 ［１１］所 提 出 的 神 经 网 络 在 解 决 带 约 束 的 非 光 滑凸规划问题的同时，不需要任何的 惩 罚 参 数。然 而，文 献 ［１１］提出的神经网络的结构却异常复杂。
Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｏｖｅｌｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｓｏｌｖｅｎｏｎｓｍｏｏｔｈｎｏｎｃｏｎｖｅｘｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓｗｉｔｈｅｑｕａｌｉｔｙａｎｄ ｉｎｅｑｕａｌｉｔｙｃｏｎｓｔｒａｉｎｔｓ．Ｉｔｐｒｏｖｅｄｔｈａｔｗｈｅｎｔｈｅｏｂｊｅｃｔｉｖｅｆｕｎｃｔｉｏｎｈａｄａｌｏｗｅｒｂｏｕｎｄ，ｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｎｖｅｒｇｅｄｔｏａｆｅａｓｉｂｌｅ ｄｏｍａｉｎｉｎａｆｉｎｉｔｅｔｉｍｅ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｓｏｌｕｔｉｏｎｔｒａｊｅｃｔｏｒｙｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｎｖｅｒｇｅｄｔｏｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｓｅｔｏｆｔｈｅｃｏｒｒｅ ｓｐｏｎｄｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ，ｗｈｉｃｈｆｉｎａｌｌｙｃｏｎｖｅｒｇｅｄｔｏｃｒｉｔｉｃａｌｐｏｉｎｔｓｅｔｏｆｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ．Ｃｏｍｐａｒｉｎｇｗｉｔｈｔｒａｄｉ ｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｗｈｉｃｈｂａｓｅｄｏｎｐｅｎａｌｔｙｆｕｎｃｔｉｏｎ，ｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｄｉｄｎｏｔｎｅｅｄｔｏｃａｌｃｕｌａｔｅａｎｙｐｅｎａｌｔｙｐａｒａｍｅ ｔｅｒｓ．Ｆｉｎａｌｌｙ，ｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｏｄｅｌｉｓｖｅｒｉｆｉｅｄｂｙｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓ． Ｋｅｙｗｏｒｄｓ：ｎｅｕｒａｌｎｅｔｗｏｒｋ；ｎｏｎｃｏｎｖｅｘｎｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎ；ｌｉｍｉｔｅｄｔｉｍｅｃｏｎｖｅｒｇｅｎｃｅ
第 ３６卷第 ９期 ２０１９年 ９月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ．３６Ｎｏ．９ Ｓｅｐ．２０１９
一类非光滑非凸优化问题的神经网络方法
喻 昕，陈昭蓉
（广西大学 计算机与电子信息学院，南宁 ５３０００４）
摘 要：提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有 下界时，神经网络的解轨迹在有限时间收敛到可行域。同时，神经网络的平衡点集与优化问题的关键点集一致， 且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同，提出的模型无须计算罚 因子。最后，通过仿真实验验证了所提出模型的有效性。 关键词：神经网络；非凸非光滑优化；有限时间收敛 中图分类号：ＴＰ１８３ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）０９００３２５７５０４ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０３．０１５０
０ 引言
１９８６年，Ｔａｎｋ等人［１］介绍了模拟神经网络方法解决限制 性最优化问题，并在文献［２］中得到更进一步的阐述。其核心 思想是利用动力学神经网络同时模拟目标函数与约束函数，并 利用神经网络的模拟与并行处理能力计算问题的最优解。文 献［１］提出了 递 归 神 经 网 络 解 决 线 性 规 划 问 题，在 此 基 础 上， Ｋｅｎｎｅｄｙ等人［２］对文献［１］中的神经网络进行改进，通过构建 一个有限的惩罚参数的神经网络来解决非线性规划问 题。 Ｚｈａｎｇ等人［３］在早期惩罚参数研究的基础上，提出了一种基于 Ｌａｇｒａｎｇｅ乘子法 的 递 归 神 经 网 络 以 解 决 非 线 性 凸 优 化 问 题。 Ｌａｇｒａｎｇｅ神经网络模型中有两种神经元，即变量神经元和 Ｌａ ｇｒａｎｇｅ神经元。其中，变量神经元负责寻找目标函数的最小点 以及提供解决问题的平衡点；而拉格朗日神经元负责将动态轨 迹快速地引入可行域。有关 Ｌａｇｒａｎｇｅ神经网络的详细研究请 参考文献［４～６］。在 最 优 化 问 题 的 研 究 发 展 中，早 期 的 神 经 网络模型均为光滑非线性规划问题而设计，为了解决非光滑非 线性规划问题，Ｆｏｒｔｉ等人［７］提出了一种 ＧＮＰＣ神经网络模型， ＧＮＰＣ是基于 ＮＰＣ的一个微分包含形式的梯度系统，其目标 函数和约束函数不需要是光滑的而仅仅是正则函数即可。为 了使非光滑规划更具普遍性，文献［８，９］提出了一些基于惩罚 函数和次梯度的递归神经网络解决非光滑凸与非光滑非凸规 划Biblioteka Baidu题。神经网络的收敛行为，包括全局收敛和局部收敛。如 果规划问题的目标函数的定义域中任意的初始点的解轨迹收 敛于最优解（或近似最优解），则该神经网络模型是全局收敛
Ｎｅｕｒａｌｎｅｔｗｏｒｋｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｆｏｒｃｌａｓｓｏｆ ｎｏｎｃｏｎｖｅｘｎｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ
ＹｕＸｉｎ，ＣｈｅｎＺｈａｏｒｏｎｇ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ＆ ＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎ，ＧｕａｎｇｘｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ５３０００４，Ｃｈｉｎａ）
的，如文献［１０］的神经网络模型，在满足一些条件的情况下是 全局收敛。然而，如果限制条件是初始状态的解必须从可行域 中选取，则其收敛是局部的。基于惩罚参数和函数的神经网络 模型，其解集在很大程度上是非全局收敛的，因为此类神经网 络模型，其可行域上发现的一个内部点通常是一个特殊域包含 的可行域的中心，因此，为了保证收敛，初始解集必须在可行域 范围内部选取，并且惩罚参数必须保证足够大。再者，惩罚函 数神经网络模型的有效性依赖于确定的或非确定的惩罚参数， 而确定性惩罚参数在实际应用是很难估算的。为解决这个问 题，Ｃｈｅｎｇ等人 ［１１］提 出 了 一 种 新 的 解 决 非 光 滑 凸 优 化 的 递 归 神经网络，文献 ［１１］所 提 出 的 神 经 网 络 在 解 决 带 约 束 的 非 光 滑凸规划问题的同时，不需要任何的 惩 罚 参 数。然 而，文 献 ［１１］提出的神经网络的结构却异常复杂。