深度学习的相关算法研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
������������
������������
复兴
深度学习的概念起源于人工神经网络的研究
BP方法的局限性
❖ 完深全度依结赖带构标的签新数发据展
❖ ➢考实虑际预问训题练中模大型部,分通数过据预是训无练标模签型的选择权重的初始值
❖ 学习➢效用率生不成高模,型特优别化对多于层大神数经据网络
深度信*念*
➢➢当通网过络最中大层化数模较型多似时然,来学学习习时多模间层型前过参向长数
❖ 贪婪算法
DBN
预训练
������������
������������
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
❖ 贪婪算法
Step1. 用训练样本������和一 个隐层������������创建一个限制玻 尔兹曼机(RBM)。 训练此RBM得到参数������������;
❖ 2013年4月,《麻省理工学院技术评论》将深度学习列为2013年 十大突破性技术之首
❖ 2013年6月微软对Windows Phone平台的必应语音搜索进行了更 新。语音识别和反馈的速度提高一倍,精确度提升15%
❖ 2014年3月Facebook的 Deepface项目使得人脸识别技术的识别 率达到 97.25%,准确率几乎可媲美人类
❖ 2012年6月,Google Brain项目用16000个CPU搭建深度学习平台, 在语音、图像识别领域获得重要进展
❖ 2012年12月,微软亚洲研究院在天津的一次活动中利用深度学习 技术进行全自动同声传译,效果良好
❖ 2013年1月,李彦宏宣布成立百度的第一个研究院 Institute of Deep Learning
RBM
用类似的方法训练第三个 RBM得到参数������������。
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
DBN
预训练后 进行微调
������������
➢ 缺乏发现数据中复杂结构的能力 ➢ 针对复杂分类问题其泛化能力受到
一定限制 ➢ Google的语音识别实验证明,面对
大数据,浅层结构算法经常处于严 重的欠拟合状态。
生物依据
面对复杂的感知数据,人类总能做出合理的判断
人类大脑的结构和信息处理机制
人类大脑的信息处理系统是一多层 并行系统,它利用逐层的方式对数 据进行特征提取,从低层到高层的 特征表示越来越抽象。抽象层面越 高,越能表现语义或者意图。
图 7 神经元连接与年份
9
深度学习成熟条件3——神经元个数Baidu Nhomakorabea增加(本质原因是 计算机硬件技术的飞速发展)
图 8 神经元个数与年份
10
好算法的出现: 2006年,Geoffrey Hinton在Science上发表了一篇名为《Reducing with
Dimensionality of Data with Neural Networks》的文章,从此,神经网络 (主要是深度学习)便有焕发了新的青春。
人类的认知过程
人类的认知过程是以深度的方式呈现的,层次化地 组织思想和概念:首先学习简单的概念,然后使用 学习到的简单概念表示抽象层面更高的概念。
面对浅层结构算法的局限性,并受大脑分层次处理信息和人类层次化 完成认知过程的启发,学者们一直致力于深度架构的研究
……
提取抽象水平 较高的特征
提取抽象水平 较低的特征
西安交通大学
数学与统计学院
张讲社 西安交通大学统计系
1 2 3 4
5
机器学习是使计算机具有人工智能的根本途径
传统的机器学习方法
浅层结构算法
最多含单个将原始信号转换到特定问题空间 特征的简单结构,只学习数据的单层表示。
浅层学习的局限性
➢ 在有限的样本和计算单元的情况下 对复杂函数的表示能力有限
固定������������,用������(������������|������)从先 前的RBM中抽取样本������������,并 作为新RBM的样本。
训练新RBM得到参数������������;
RBM
DBN
预训练
❖ 贪婪算法
Step3. 继续堆积隐层,并
������������ ������������
RBM
DBN
预训练
������������
������������
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
❖ 贪婪算法
Step2. 再堆积一个隐层, 用先前RBM的隐层和此隐 层构建一个新的RBM。
网
❖ 对➢初➢随值学着敏习层感数p,(的数经增据常卷多)陷而积,入神不坏局经是的部p局(极标部值签多极层小|网前网点数向出据现) 的……概率增2大006年
基于数据处理
网络模型
群方法训练 的网络模型
1965年
1979年
1986年
……
深度学习成熟条件1——数据集的增大
图 6 数据集与年份
8
深度学习成熟条件2——神经元之间的连接数增大(本质原因 是计算机硬件技术的飞速发展)
图 9 Geoffrey Hinton与他的学生在Science上发表文章
11
在学术界的研究现状及应用
子模型的选 取与建立
……
模型架 构及训 应 用
……
练方法
深度结构的 整体训练
语音和音频 信号处理
…… ……
图像识别 和检索
……
自然语言处理 和信息检索
在工业界的发展
❖ 2010年,美国国防部DARPA计划首次资助斯坦福大学、纽约大学 和NEC美国研究院开展深度学习研究
互联网界巨头进入深度学习领域
图 15 机器学习界的执牛耳者与互联网的大鳄的联姻
18
DBN
预训练
������������
������������
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
������������
复兴
深度学习的概念起源于人工神经网络的研究
BP方法的局限性
❖ 完深全度依结赖带构标的签新数发据展
❖ ➢考实虑际预问训题练中模大型部,分通数过据预是训无练标模签型的选择权重的初始值
❖ 学习➢效用率生不成高模,型特优别化对多于层大神数经据网络
深度信*念*
➢➢当通网过络最中大层化数模较型多似时然,来学学习习时多模间层型前过参向长数
❖ 贪婪算法
DBN
预训练
������������
������������
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
❖ 贪婪算法
Step1. 用训练样本������和一 个隐层������������创建一个限制玻 尔兹曼机(RBM)。 训练此RBM得到参数������������;
❖ 2013年4月,《麻省理工学院技术评论》将深度学习列为2013年 十大突破性技术之首
❖ 2013年6月微软对Windows Phone平台的必应语音搜索进行了更 新。语音识别和反馈的速度提高一倍,精确度提升15%
❖ 2014年3月Facebook的 Deepface项目使得人脸识别技术的识别 率达到 97.25%,准确率几乎可媲美人类
❖ 2012年6月,Google Brain项目用16000个CPU搭建深度学习平台, 在语音、图像识别领域获得重要进展
❖ 2012年12月,微软亚洲研究院在天津的一次活动中利用深度学习 技术进行全自动同声传译,效果良好
❖ 2013年1月,李彦宏宣布成立百度的第一个研究院 Institute of Deep Learning
RBM
用类似的方法训练第三个 RBM得到参数������������。
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
DBN
预训练后 进行微调
������������
➢ 缺乏发现数据中复杂结构的能力 ➢ 针对复杂分类问题其泛化能力受到
一定限制 ➢ Google的语音识别实验证明,面对
大数据,浅层结构算法经常处于严 重的欠拟合状态。
生物依据
面对复杂的感知数据,人类总能做出合理的判断
人类大脑的结构和信息处理机制
人类大脑的信息处理系统是一多层 并行系统,它利用逐层的方式对数 据进行特征提取,从低层到高层的 特征表示越来越抽象。抽象层面越 高,越能表现语义或者意图。
图 7 神经元连接与年份
9
深度学习成熟条件3——神经元个数Baidu Nhomakorabea增加(本质原因是 计算机硬件技术的飞速发展)
图 8 神经元个数与年份
10
好算法的出现: 2006年,Geoffrey Hinton在Science上发表了一篇名为《Reducing with
Dimensionality of Data with Neural Networks》的文章,从此,神经网络 (主要是深度学习)便有焕发了新的青春。
人类的认知过程
人类的认知过程是以深度的方式呈现的,层次化地 组织思想和概念:首先学习简单的概念,然后使用 学习到的简单概念表示抽象层面更高的概念。
面对浅层结构算法的局限性,并受大脑分层次处理信息和人类层次化 完成认知过程的启发,学者们一直致力于深度架构的研究
……
提取抽象水平 较高的特征
提取抽象水平 较低的特征
西安交通大学
数学与统计学院
张讲社 西安交通大学统计系
1 2 3 4
5
机器学习是使计算机具有人工智能的根本途径
传统的机器学习方法
浅层结构算法
最多含单个将原始信号转换到特定问题空间 特征的简单结构,只学习数据的单层表示。
浅层学习的局限性
➢ 在有限的样本和计算单元的情况下 对复杂函数的表示能力有限
固定������������,用������(������������|������)从先 前的RBM中抽取样本������������,并 作为新RBM的样本。
训练新RBM得到参数������������;
RBM
DBN
预训练
❖ 贪婪算法
Step3. 继续堆积隐层,并
������������ ������������
RBM
DBN
预训练
������������
������������
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])
❖ 贪婪算法
Step2. 再堆积一个隐层, 用先前RBM的隐层和此隐 层构建一个新的RBM。
网
❖ 对➢初➢随值学着敏习层感数p,(的数经增据常卷多)陷而积,入神不坏局经是的部p局(极标部值签多极层小|网前网点数向出据现) 的……概率增2大006年
基于数据处理
网络模型
群方法训练 的网络模型
1965年
1979年
1986年
……
深度学习成熟条件1——数据集的增大
图 6 数据集与年份
8
深度学习成熟条件2——神经元之间的连接数增大(本质原因 是计算机硬件技术的飞速发展)
图 9 Geoffrey Hinton与他的学生在Science上发表文章
11
在学术界的研究现状及应用
子模型的选 取与建立
……
模型架 构及训 应 用
……
练方法
深度结构的 整体训练
语音和音频 信号处理
…… ……
图像识别 和检索
……
自然语言处理 和信息检索
在工业界的发展
❖ 2010年,美国国防部DARPA计划首次资助斯坦福大学、纽约大学 和NEC美国研究院开展深度学习研究
互联网界巨头进入深度学习领域
图 15 机器学习界的执牛耳者与互联网的大鳄的联姻
18
DBN
预训练
������������
������������
������������
������������
������������ ������������
������
(Hinton et al.[2006], Bengio et al. [2007])