深度学习调研报告

视觉（图像分类、分割，计算摄影学），语音（语音识别）， 自然语言（文本理解） • 演绎（Ability to Act） 图像文字描述、语音合成、自动翻译、段落总结 • 迁移到其他领域，解决各种实际问题 • 所有的这些都可能是非常好的研究点，能够带来经济和学术双重 的利益。
应用领域
• 图像识别 • 自然语言处理 • 其他 生物学 农业 建筑 医疗 军事
深度学习调研报告
深度学习研究趋势
以深度学习为关键词的文章数量趋势
500 450 400 350 300 250 200
150 100
50 0 2006 2007 2008 2009 2010 2011 关键词：深度学习 2012 2013 2014 2015 2016
研究方向
• 优化Optimization • 泛化Generalization • 表达Representation • 应用Applications
https://www.zhihu.com/question/52469455
http://mlcenter.postech.ac.kr/files/attach/workshop_fall_2015/vuno_%EC%9D%B4%EC%98%88%ED%95%98_%EB%B0%95%EC%82%AC.pdf
2016期刊会议算法类文章分析
• 利用DL思想改进SVM核函数 • RBM模型+类别条件限制-> 提高泛化能力 • 矩阵2-范数池化CNN模型->补充能量信息 • ……
研究团队
• 学校 中国科技大学 北邮 哈工大 计算机、通信、ATCI、机械等 • 公司 Google、Facebook、Microsoft、IBM、Apple 百度、阿里巴巴、腾讯
1
0 自然语言 计算机视觉 2016 2015 2014 算法提升 其他
近年博/硕士论文数量统计
论文发表数量统计（2016年数据略缺失）
140 122 120
100
80 60 40 20 0 2016 2015 博士 2014 硕士 2013 58 64
10
17 6 2
16 0
12
2012-2006
• 提出若干应用方向的算法结合DL算法-> 一个实际应用 • 提出一个应用方向的算法结合不同DL模型-> 一个实际应用 • 提出一个应用方向的算法结合DL算法+算法不足加以改进 • 提出若干应用方向本身算法的创新+结合DL模型
近三年算法类博士论文分析
• 提出新的训练准则代替原有准则 • 将算法并行化 • 对由并行带来的性能降低进行优化 • 对DL基本网络进行算法融合改进 • 将新提出算法用DL思想进行深度改进 • 优化DL算法平台的分布式、多核加速等
其中，哈工大在2014年和2013年分别有一篇博士论文发表（中文信息抽取和语义挖掘）
以深度学习为博士课题的专业统计
输送博士论文的相关专业数量统计
9 8 7 6
5
4 3 2 1 0 计算机/软件 信息/通信 2016 2015 2014 控制工程 其他
其中，哈工大两篇博士论文出于计算机专业
2016博士论文研究内容分析
https://link.zhihu.com/?target=http%3A//www.deepgenomics.com/ https://link.zhihu.com/?target=http%3A//www.slideshare.net/ErikAndrejko/deep-learninginagriculture
研究方向——优化
• 实践 提高精度：随机梯度递减+各种技巧：动量、伪牛顿方法、自动步长 减少参数：深度网络压缩，将权值参数进行量化或者压缩存储 并行化分布式系统 避免overfiting /加速训练/产生初始参数 • 理论 目前凸优化比较清楚，非凸优化理论空缺（局部最优）
研ቤተ መጻሕፍቲ ባይዱ方向——泛化
• 实践 已知！Dropout/DropConnect/Data Agumentation 其他？博弈法避免过拟合/无标记样本辅助控制泛化误差
• 理论 如何能够从理论上分析深度学习模型的泛化能力
研究方向——表达
• 模型与要解决的问题之间的关系 • 实践 无监督学习：RBM/Sparse Coding/Auto-encoder 直觉设计模型：CNN/RNN/RL • 理论 心理学/神经学 几乎空白
研究方向——应用
• 识别（Recognition）
https://link.zhihu.com/?target=http%3A//static1.1.sqspcdn.com/static/f/702523/26357333/1435733758490/201507-Zhao.pdf%3Ftoken%3DjqwUi1OU3pCs4L5K9NTgjFY5VBQ%253D
存在难度
• 硬件投入，集群计算,数据获取,算法优化，数据调参技巧。每个都是深 坑，每个没有个几年积累都是不行的。如果LZ 是学生并且想进一步学 习，建议去找个有一定基础的靠谱实验室。如果是纯兴趣。不如就看 看paper得了，而且你基本很难复现PAPER中的结果。 • 语音识别，现在比较成熟的语音识别系统基本被大公司垄断，如百 度、搜狗、科大讯飞等，小公司受限于数据规模，难以发展，个人更 是很难玩。目前关于语音识别有两个基本问题需要解决，一、深层的 模型参数众多（动辄数十万上百万），如何较少参数或者加速训练都 值得研究；二、如果能够提供一个大型中文语料库，将必会造福国 人，功德无量。 • 此段参考作者：Deeper链接： https://www.zhihu.com/question/27608272/answer/114417627来源：知 乎著作权归作者所有，转载请联系作者获得授权。
论文调研
• 博硕论文 • 近年博/硕士论文数量统计 • 博士论文研究方向统计 • 以深度学习为博士课题的专业统计 • 2016博士论文研究内容分析 • 近三年算法类博士论文分析 • 2016期刊会议文章分析 以上数据来源于中国知网，以深度学习为关键词检索
博士论文研究方向统计
博士论文研究方向统计
10 9 8 7 6 5 4 3 2