机器学习随机优化方法的个体收敛性研究综述

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ＩＳＳＮ１００４９０３７，ＣＯＤＥＮＳＣＹＣＥ４
ＪｏｕｒｎａｌｏｆＤａｔａＡｃｑｕｉｓｉｔｉｏｎａｎｄＰｒｏｃｅｓｓｉｎｇＶｏ１．３２，Ｎｏ．１，Ｊａｎ．２０１７，ＰＰ．１７ —２５ＤＯＩ：１０．１６３３７／ｊ．１００４９０３７．２０１７．０１．００２
无法应用。本文对一阶随机梯度方法的研究现状及存在的问题进行综述，其中包括个体收敛速率、梯度
ቤተ መጻሕፍቲ ባይዱ
有偏情形以及非凸优化问题，并在此基础上指出了一些值得研究的问题。
关键词：机器学习；随机优化；个体收敛性；有偏梯度估计；非凸问题
ｈａｖｅｂｅｅｎｐｒｅｓｅｎｔｅｄｆｏｒｓｏｌｖｉｎｇｔｈｅｒｅｇｕｌａｒｉｚｅｄ１ＯＳＳｐｒｏｂｌｅｍｓ．Ｈｏｗｅｖｅｒ，ｍｏｓｔｏｆｔｈｅｍｏｎｌｙｄｉｓｃｕｓｓｔｈｅ
摘要：随机优化方法是求解大规模机器学习问题的主流方法，其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构。目前，正则化损失函数问题已得到了众多形式的随机优化算法，但绝大多数只是对迭代进行平均的输出方式讨论了收敛速率，甚至无法保证最为典型的稀疏结构。与之不同的是，个体解能很好保持稀疏性，其最优收敛速率已经作为ｏｐｅｎ问题被广泛探索。另外，随机优化普遍采用的梯度无偏假设往往不成立，加速方法收敛界中的偏差在有偏情形下会随迭代累积，从而
ｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ，２１０００７，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｏｎｅｏｆｔｈｅｓｔａｔｅ． — ｏｆ — — ｔｈｅ． — ａｒｔｍｅｔｈｏｄｓｆｏｒｓｏｌｖｉｎｇｌａｒｇｅ — ．ｓｃａｌｅｍａｃｈｉｎｅｌｅａｒｎｉｎｇｐｒｏｂｌｅｍｓ，ｗｈｅｒｅｔｈｅｆｏｃｕｓｉｓｏｎｗｈｅｔｈｅｒｏｒｎｏｔｔｈｅｏｐｔｉｍａｌｃｏｎｖｅｒｇｅｎｃｅｒａｔｅｉｓｄｅ — ｒｉｖｅｄａｎｄｔｈｅｌｅａｒｎｉｎｇｓｔｒｕｃｔｕｒｅｉｓｅｎｓｕｒｅｄ．Ｓｏｆａｒ，ｖａｒｉｏｕｓｋｉｎｄｓｏｆｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｓ
ｈｔｔｐ：／／ｓｊｃｊ．ｎｕａａ．ｅｄｕ．ｃｎＥ — ｍａｉｌ：ｓｊｃｊ＠ｎｕａａ．ｅｄｕ．ｃｎＴｅｌ／Ｆａｘ：＋８６ — ０２５－８４８９２７４２
◎ ２０１７ｂｙＪｏｕｒｎａｌｏｆＤａｔａＡｃｑｕｉｓｉｔｉｏｎａｎｄＰｒｏｃｅｓｓｉｎｇ
机器学习随机优化方法的个体收敛性研究综述
陶卿马坡张梦晗陶蔚。
（１．中国人民解放军陆军军官学院十一系，合肥，２３００３１；２．解放军理工大学指挥信息系统学院，南京，２１０００７）
ＴａｏＱｉｎｇ，ＭａＰｏ，ＺｈａｎｇＭｅｎｇｈａｎ，ＴａｏＷｅｉ。
（１．１１ｓｔＤｅｐａｒｔｍｅｎｔ，ＡｒｍｙＯｆｆｉｃｅｒＡｃａｄｅｍｙｏｆＰＬＡ，Ｈｅｆｅｉ，２３００３１，Ｃｈｉｎａ；２．ＣｏｌｌｅｇｅｏｆＣｏｍｍａｎｄＳｙｓｔｅｍ，ＴｈｅＰＩＡＵｎｉｖｅｒｓｉ
中图分类号：ＴＰ３９１文献标志码：Ａ
ＩｎｄｉｖｉｄｕａｌＣｏｎｖｅｒｇｅｎｃｅｏｆＳｔｏｃｈａｓｔｉｃＯｐｔｉｍｉｚａｔｉｏｎＭｅｔｈｏｄｓｉｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ