基于低秩正则化的神经网络学习方法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018年4月计算机工程与设计A pr.2018
第 39卷第 4 期 COMPUTERENGINEERINGANDDESIGN Vol. 39 No. 4
基于低秩正则化的神经网络学习方法
陈嫒嫒，刘光灿
(南京信息工程大学江苏省大数据分析技术重点实验室，江苏南京210044)
摘要：针对神经网络参数过多容易导致过拟合这一问题！结合神经网络学习与低秩学习的基本思想，提出一种低秩正则 化神经网络，每层的权值矩阵被约束为低秩的，降低网络的有效参数规模，达到防止过拟合的效果。由于低秩约束的存 在，低秩正则化神经网络的学习过程不能直接利用传统B P算法来完成，因此，提出一种扩展的B P算法，用于求解含低秩 约束的神经网络学习问题。实验结果表明，所提方法在分类精度、收敛速度以及预测精度上优于对比方法。
关键词：神经网络；低秩矩阵因子分解；反向传播算法；正则化；数据分类与回归
中图法分类号：TP18 文献标识号：A文章编号：1000-7024 (2018) 04-1034-05
doi： 10. 16208/.. issnl000-7024. 2018. 04. 024
Neural network learning method based on low-rank regularization
CHEN Ai-ai，LIU Guang-can
(Jiangsu Key Laboratory of Big Data Analysis Technology,Nanjing University of
Information Science and Technology,Nanjing 210044，China)
Abstract：To eliminate the over-fitting phenomenon arising from the gigantic nature of the parametric space of neural networks，a low-rank regularized neural network was proposed，which combined the ideas of neural network learning and low-rank learly，the weight matrices in each layer of the proposed low-rank regularized neural network were constrained to be low-rank.In this way，the amount of network parameters was significantly reduced and thus effectively suppressed the over-fitting phenomenon.Due to the low-rank constraints，the traditional back-propagation (BP)algorithm could not be directly used to train the low-rank r egularized neuml network.An extended BP algorithm was proposed for training the neuml networks containing low-rank constraints.Experimental results show that the proposed method is better than the competing methods>in terms of classification accuracy，convergence rate and prediction accuracy.
Key words：neural networks；low-rank matrix factorization；back-propagation；regularization；data classification and regression
3引言
现有神经网络学习方法19'仍存在若干缺陷。其主要缺 陷之一就是会出现学习速度慢，参数过多，容易导致“过 拟合’’现象，而且网络参数过多也会给计算成本和存储都 带来很大的困难。针对过拟合问题，众多研究者已经提出 了一些有效的方法，比如正则化神经网络算法[10]、Drop o u t11'、数据集扩增等。
本文结合神经网络学习与低秩学习的基本思想，提出 了一种称为低秩正则化神经网络的方法。其基本思想是将 原来的每层高维权值矩阵因式分解为两个低维矩阵之积，即：限定每层的高维权值矩阵是低秩的。通过这种低秩约 束，网络的有效参数规模被大大降低，从而达到既防止过 拟合，又能降低存储与计算开销的效果。由于低秩约束的 存在，低秩正则化神经网络的学习过程不能直接利用传统 back-propagation(BP)算法来完成。因此，本文也提出了 一种扩展的B P算法，用于求解含低秩约束的神经网络学 习问题。
文献&2]也提出过将原来的高维权值矩阵因式分解为两个低维矩阵之积，但他们的低维矩阵是通过对原高维 矩阵进行奇异值分解所得到的，也就是说，低秩约束并没 有严格嵌人到神经网络的学习过程中。而本文方法把低秩
收稿日期：2017-02-22#修订日期：2017-05-10
基金项目：国家自然科学基金优秀青年基金项目（61622305);国家自然科学基金青年基金项目（61502238);江苏省自然科学基金杰出青 年基金项目（BK20160040)
作者简介：陈嫒嫒（1992-），女，江苏扬州人，硕士研究生，研究方向为神经网络、模式识别；刘光灿（1982 -），男，湖南邵阳人，博士，教授，硕士生导师，研究方向为模式识别、计算机视觉、图像处理。E-mail:yycmthgh@