带正则项pi-sigma神经网络梯度学习算法研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 相关研究
早期的前馈神经网络只含有求和神经元，在处理复杂 非线性问题时效率很低，因此引入了具有求积神经元的高阶 神 经 网 络。Y.Shin 于 1991 年 提 出 Pi-Sigma 神 经 网 络（PiSigmaNeural Network，简称 PSNN）学习算法 [8-9]；2007 年，
近年来流行的正则化方法在网络结构稀疏化方面具有突 出的优势。稀疏优化最直观的是零范数的形式，不过很明显
零范数是不连续且非凸的，是一个 NP 难问题 [5]。1 范数（亦 称 Lasso）作为零范数的最优凸近似，较零范数容易求解， 但在利用梯度下降算法时，梯度形式难以表达，因此在收敛 性分析时难以克服 [6]。最近流行的 L1/2 正则化方法在稀疏效 果方面具有很好的表现 [7]，因此，本文中考虑在目标函数中 引入 L1/2 正则项，以期达到网络结构稀疏优化的目的。为克 服上述问题，本文拟采用磨光技术，引入光滑化函数，在克 服学习过程震荡的同时，保证网络的收敛性，使得 Pi-siama 神经网络在结构简化的前提下能够有效提高其学习效率。
带正则项 Pi-sigma 神经网络梯度学习算法研究
张岩庆 范钦伟 贺兴时 （西安工程大学，陕西 西安 710048）
摘 要：Pi-sigma 神经网络是一种高了网络的泛化性能。然而，Pi-sigma 神经网络结构相当复杂，对网络学习提出了更高的要求。笔者通过引入光 滑化 L1/2 正则项，建立一种新的带稀疏约束的 Pi-sigma 神经网络，从而克服了学习过程中的震荡现象，提升了网络的学 习效率，最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果，验证了该算法的有效性。
作者简介：张岩庆 (1993—)，女，甘肃民勤人，硕士研究生。研究方向：神经网络。
— 38 —
2020 年第 1 期
信息与电脑 China Computer & Communication
算法语言
在张超等人 [10] 的研究中，批处理梯度算法被应用在三层的 PSNN 训练中，并给出了相应的收敛性结论；2008 年 1 月， 熊焱 [11] 给出了 PSNN 带正则项的梯度算法的收敛性；2011 年 11 月，喻昕分析了 PSNN 乘子法随机单点在线梯度算法，利 用乘子法来克服因初始权值选取不当而导致的收敛速度过慢 的问题 [12]；2012 年 6 月，邓飞等人 [13] 分析了几种不同的高阶 神经网络，分析各自算法的收敛性、单调性等理论性问题。
Zhang Yanqing, Fan Qinwei, He Xingshi
(Xi’an Polytechnic University, Xi’an Shaanxi 710048, China)
Abstract: Pi-sigma neural network is a kind of high-order neural network. The introduction of quadrature nodes in the network structure enhances the network’s nonlinear mapping ability and effectively improves the generalization performance of the network.However, that structure of the Pi-sigma neural network is quite complex, and a higher requirement is put forward for the network study.In this paper, by introducing a smoothing L1/2 regular term, a new Pi-sigma neural network with sparse constraints is established,which overcomes the oscillation phenomenon in the learning process,the learning efficiency of the network is improved. Finally,computer simulation experiments are used to compare the learning effects of several network algorithms with different regular terms, which verifies the effectiveness of the algorithm.
关键词：Pi-sigma 神经网络；正则项；梯度学习算法 中图分类号：TP18 文献标识码：A 文章编号：1003-9767（2020）01-038-04
Research on Pi-sigma Neural Network Gradient Learning Algorithm with Regular Terms
笔者通过引入光滑化l12正则项建立一种新的带稀疏约束的pisigma神经网络从而克服了学习过程中的震荡现象提升了网络的学习效率最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果验证了该算法的有效性
算法语言
信息与电脑 China Computer & Communication
2020 年第 1 期
Key words: Pi-sigma Neural Network; regularization; Gradient learning algorithm
0 引言
神经网络在模式识别、图像处理、信号分析等诸多方面 有着重要的应用 [1-2]。神经网络在模式识别、图像处理、信号 分析等诸多方面有着重要的应用 [1-2]。Pi-Sigma 神经网络 (PiSigma Neural Network，简称 PSNN) 是前馈神经网络的一种， 是一种含有求积神经元的高阶神经网络，具有更强的非线性 映射能力，有效克服了传统神经网络学习速度慢、泛化能力 差的缺点 。 [3-4] 但当面对高维数据时，需要增加更多的求积 节点来满足精度和泛化能能力的需求，求积节点的增加使得 Pi-Sigma 神经网络的结构更加复杂，严重影响了网络的学习 效率，制约了其应用。因此，在保证网络精度和泛化能力的 同时，网络结构的稀疏优化显得尤为重要。
早期的前馈神经网络只含有求和神经元，在处理复杂 非线性问题时效率很低，因此引入了具有求积神经元的高阶 神 经 网 络。Y.Shin 于 1991 年 提 出 Pi-Sigma 神 经 网 络（PiSigmaNeural Network，简称 PSNN）学习算法 [8-9]；2007 年，
近年来流行的正则化方法在网络结构稀疏化方面具有突 出的优势。稀疏优化最直观的是零范数的形式，不过很明显
零范数是不连续且非凸的，是一个 NP 难问题 [5]。1 范数（亦 称 Lasso）作为零范数的最优凸近似，较零范数容易求解， 但在利用梯度下降算法时，梯度形式难以表达，因此在收敛 性分析时难以克服 [6]。最近流行的 L1/2 正则化方法在稀疏效 果方面具有很好的表现 [7]，因此，本文中考虑在目标函数中 引入 L1/2 正则项，以期达到网络结构稀疏优化的目的。为克 服上述问题，本文拟采用磨光技术，引入光滑化函数，在克 服学习过程震荡的同时，保证网络的收敛性，使得 Pi-siama 神经网络在结构简化的前提下能够有效提高其学习效率。
带正则项 Pi-sigma 神经网络梯度学习算法研究
张岩庆 范钦伟 贺兴时 （西安工程大学，陕西 西安 710048）
摘 要：Pi-sigma 神经网络是一种高了网络的泛化性能。然而，Pi-sigma 神经网络结构相当复杂，对网络学习提出了更高的要求。笔者通过引入光 滑化 L1/2 正则项，建立一种新的带稀疏约束的 Pi-sigma 神经网络，从而克服了学习过程中的震荡现象，提升了网络的学 习效率，最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果，验证了该算法的有效性。
作者简介：张岩庆 (1993—)，女，甘肃民勤人，硕士研究生。研究方向：神经网络。
— 38 —
2020 年第 1 期
信息与电脑 China Computer & Communication
算法语言
在张超等人 [10] 的研究中，批处理梯度算法被应用在三层的 PSNN 训练中，并给出了相应的收敛性结论；2008 年 1 月， 熊焱 [11] 给出了 PSNN 带正则项的梯度算法的收敛性；2011 年 11 月，喻昕分析了 PSNN 乘子法随机单点在线梯度算法，利 用乘子法来克服因初始权值选取不当而导致的收敛速度过慢 的问题 [12]；2012 年 6 月，邓飞等人 [13] 分析了几种不同的高阶 神经网络，分析各自算法的收敛性、单调性等理论性问题。
Zhang Yanqing, Fan Qinwei, He Xingshi
(Xi’an Polytechnic University, Xi’an Shaanxi 710048, China)
Abstract: Pi-sigma neural network is a kind of high-order neural network. The introduction of quadrature nodes in the network structure enhances the network’s nonlinear mapping ability and effectively improves the generalization performance of the network.However, that structure of the Pi-sigma neural network is quite complex, and a higher requirement is put forward for the network study.In this paper, by introducing a smoothing L1/2 regular term, a new Pi-sigma neural network with sparse constraints is established,which overcomes the oscillation phenomenon in the learning process,the learning efficiency of the network is improved. Finally,computer simulation experiments are used to compare the learning effects of several network algorithms with different regular terms, which verifies the effectiveness of the algorithm.
关键词：Pi-sigma 神经网络；正则项；梯度学习算法 中图分类号：TP18 文献标识码：A 文章编号：1003-9767（2020）01-038-04
Research on Pi-sigma Neural Network Gradient Learning Algorithm with Regular Terms
笔者通过引入光滑化l12正则项建立一种新的带稀疏约束的pisigma神经网络从而克服了学习过程中的震荡现象提升了网络的学习效率最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果验证了该算法的有效性
算法语言
信息与电脑 China Computer & Communication
2020 年第 1 期
Key words: Pi-sigma Neural Network; regularization; Gradient learning algorithm
0 引言
神经网络在模式识别、图像处理、信号分析等诸多方面 有着重要的应用 [1-2]。神经网络在模式识别、图像处理、信号 分析等诸多方面有着重要的应用 [1-2]。Pi-Sigma 神经网络 (PiSigma Neural Network，简称 PSNN) 是前馈神经网络的一种， 是一种含有求积神经元的高阶神经网络，具有更强的非线性 映射能力，有效克服了传统神经网络学习速度慢、泛化能力 差的缺点 。 [3-4] 但当面对高维数据时，需要增加更多的求积 节点来满足精度和泛化能能力的需求，求积节点的增加使得 Pi-Sigma 神经网络的结构更加复杂，严重影响了网络的学习 效率，制约了其应用。因此，在保证网络精度和泛化能力的 同时，网络结构的稀疏优化显得尤为重要。