人工神经网络深度学习PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人工神经网络及其应用
第七讲 深度学习 主讲人：方涛
第七讲深度学习
主讲内容
§7.1 研究背景 §7.2 从BP网络看深度学习 §7.3 几种典型的深度学习模型 §7.4 开源深度学习框架 §7.5 深度学习的未来
§7.1 研究背景
2016年---人工智能 （AI）奠基60周年
约翰·麦卡锡（1927-2011） LISP之父—不走寻常路的常识逻辑学家
“监督学习的策略网络（Policy Network）”
通过13层全连接网络，反复训练围棋棋盘布局，调整参数， 以最佳概率预测落子选择（Move Picker），如何下棋子
“价值网络（Value Network）”
给定棋子位置，预测每一个棋手赢棋的可能，就是计算局面
wenku.baidu.com
§7.1 研究背景
专注于神经网络几十年， 1985年，提出Boltzmann机 1986年，提出受限Boltzmann机、BP算法 2006年，提出神经网络进行降维 开启了深度学习时代，并在随后的ImageNet图 片识别的比赛，取得了非常有说服力的结果 Geoffrey E. Hinton（74%->85%），震撼了学术界
JeffDean
在语音识别和图像识别等领域获得了巨大的成功
§7.1 研究背景
2012年11月，微软公开演示 全自动同声传译系统
深度学习,讲演者用英文演讲，后台的计算机一气呵成自动完 成语音识别、英中机器翻译和中文语音合成，效果非常流畅
§7.1 研究背景
2013年1月，百度创始人兼CEO李彦宏 高调宣布成立“深度学习研究所”
HOG
BOW……
DoG+Gabor
最大的问题？--人工设计
特征抽取非常费力，需要领域知识启发式提取
可变 形部 件模 型行 人检 测
§7.1 研究背景
待检测图像
行人模型
图像金字塔 适应目标尺度变化
局部滤波器变形 动态规划求解
§7.1 研究背景
人脑视觉系统如 何提取特征？
1981 年的诺贝尔医学奖，颁发给了 David Hubel 和 TorstenWiesel (JohnHopkins University)，以及 Roger Sperry。前两位的主要贡献，是 “发现了视觉系统的信息处理”：可视皮层是分级的： 这个发现激发了人们对于神经系统的进一步思考→ 神经-中枢-大脑的工作过程，”或许”是一个不断迭代、不断抽象的过程
加拿大多伦多大学教授
◆ Hinton, G. and Salakhutdinov, R. (2006). Reducing the dimensionality of data
with neural networks.Science, 313(5786):504–507. ◆ Hinton, G. E. (2002). Training products of experts by minimizing contrastive
主要设计者----位于伦敦Google旗下DeepMind公
司
大卫·席尔瓦 （David Silver）----剑桥大学计算 机科学学士，硕士，加拿大阿尔伯塔大学计算机科 学博士 黄士杰（Aja Huang），台湾交通大学计算机科学学 士，台湾师范大学计算机科学硕士和博士，加拿大 阿尔伯塔大学计算机科学博士后
1956年，约翰.麦卡锡召集了一次会议来讨论人工智能未来的发展 方向，开启了AI的发展 21世纪初，“深度学习”的出现，AI研究获得了长足的进步 没有大数据，没有“大计算”，就没有人工智能的今天！
§7.1 研究背景
Marvin Minsky— 人工智能之父和框架理论的创立者
MIT AI Lab 创始人之一 1970年获得图灵奖 美国工程院和美国科学院院士
divergence. Neural Comp., 14(8):1771–1800 ◆ Hinton, G. E., Dayan, P., Frey, B. J., and Neal, R. M. (1995). The wake-sleep
algorithm for unsupervised neural networks. Science, 268:1158– 1160
1969：Perceptron（感知器）---神经 网络的局限性（深度学习的前身）
在近60年的人工智能历史中，马文-明斯
基一直是一位闪耀着耀眼光彩的杰出的
人工智能权威，是当之无愧的人工智能
之父。（李德毅院士）
1927-2016
明斯基在1950年进入普林斯顿大学攻读数学系的博士研究生学位，比我晚一
年。我们很快意识到，我们两人都对人工智能很感兴趣。事实上，当时明斯
§7.1 研究背景
人脑视觉系统如 何提取特征？
关键在于抽象和迭代， 从原始信号开始进行 低级抽象，逐渐向高 级抽象迭代
从低层到高层的特征表示越来越抽象，生物视觉特征分层抽象的过程，就是 一个计算机建模过程
§7.1 研究背景
§7.1 研究背景
基已经对如何实现人工智能颇有想法了，这一点在之后他设计和建造的世界
上第一个神经网络模拟器Snare上得到了证实。
（ John McCarthy 人工智能先驱，LISP语言之父，图灵奖获得者）
§7.1 研究背景
2016年,阿尔法狗（AlphaGo）4 :1大胜围 棋9 段李世石高手， AI重大历史时刻
§7.1 研究背景
2012年6月,《纽约时报》披露了Google
Andrew Ng
Brain项目
斯坦福大学教授
用16000个CPU Core的并行计算平台训练一种称为“深度神
大规模计算机系统方 经网络”（DNN，Deep Neural Networks）的机器学习模型
面的世界顶尖专家
（内部共有10亿个节点)
（IDL，Institue of Deep Learning
§7.1 研究背景
机器学习解决目标识别与分类问题的思路
三个主要组成部分
中间的特征提取部分将很大程度上决定最终的 效果，如何提取特征？“巧妇难为无米之炊”
§7.1 研究背景
SIFT
Sift被认为是局部图像 特征描述子研究领域一 项里程碑式的工作，对 尺度、旋转以及一定视 角和光照变化等图像变 化都具有不变性，还 SIFT具有很强的可区分 性
第七讲 深度学习 主讲人：方涛
第七讲深度学习
主讲内容
§7.1 研究背景 §7.2 从BP网络看深度学习 §7.3 几种典型的深度学习模型 §7.4 开源深度学习框架 §7.5 深度学习的未来
§7.1 研究背景
2016年---人工智能 （AI）奠基60周年
约翰·麦卡锡（1927-2011） LISP之父—不走寻常路的常识逻辑学家
“监督学习的策略网络（Policy Network）”
通过13层全连接网络，反复训练围棋棋盘布局，调整参数， 以最佳概率预测落子选择（Move Picker），如何下棋子
“价值网络（Value Network）”
给定棋子位置，预测每一个棋手赢棋的可能，就是计算局面
wenku.baidu.com
§7.1 研究背景
专注于神经网络几十年， 1985年，提出Boltzmann机 1986年，提出受限Boltzmann机、BP算法 2006年，提出神经网络进行降维 开启了深度学习时代，并在随后的ImageNet图 片识别的比赛，取得了非常有说服力的结果 Geoffrey E. Hinton（74%->85%），震撼了学术界
JeffDean
在语音识别和图像识别等领域获得了巨大的成功
§7.1 研究背景
2012年11月，微软公开演示 全自动同声传译系统
深度学习,讲演者用英文演讲，后台的计算机一气呵成自动完 成语音识别、英中机器翻译和中文语音合成，效果非常流畅
§7.1 研究背景
2013年1月，百度创始人兼CEO李彦宏 高调宣布成立“深度学习研究所”
HOG
BOW……
DoG+Gabor
最大的问题？--人工设计
特征抽取非常费力，需要领域知识启发式提取
可变 形部 件模 型行 人检 测
§7.1 研究背景
待检测图像
行人模型
图像金字塔 适应目标尺度变化
局部滤波器变形 动态规划求解
§7.1 研究背景
人脑视觉系统如 何提取特征？
1981 年的诺贝尔医学奖，颁发给了 David Hubel 和 TorstenWiesel (JohnHopkins University)，以及 Roger Sperry。前两位的主要贡献，是 “发现了视觉系统的信息处理”：可视皮层是分级的： 这个发现激发了人们对于神经系统的进一步思考→ 神经-中枢-大脑的工作过程，”或许”是一个不断迭代、不断抽象的过程
加拿大多伦多大学教授
◆ Hinton, G. and Salakhutdinov, R. (2006). Reducing the dimensionality of data
with neural networks.Science, 313(5786):504–507. ◆ Hinton, G. E. (2002). Training products of experts by minimizing contrastive
主要设计者----位于伦敦Google旗下DeepMind公
司
大卫·席尔瓦 （David Silver）----剑桥大学计算 机科学学士，硕士，加拿大阿尔伯塔大学计算机科 学博士 黄士杰（Aja Huang），台湾交通大学计算机科学学 士，台湾师范大学计算机科学硕士和博士，加拿大 阿尔伯塔大学计算机科学博士后
1956年，约翰.麦卡锡召集了一次会议来讨论人工智能未来的发展 方向，开启了AI的发展 21世纪初，“深度学习”的出现，AI研究获得了长足的进步 没有大数据，没有“大计算”，就没有人工智能的今天！
§7.1 研究背景
Marvin Minsky— 人工智能之父和框架理论的创立者
MIT AI Lab 创始人之一 1970年获得图灵奖 美国工程院和美国科学院院士
divergence. Neural Comp., 14(8):1771–1800 ◆ Hinton, G. E., Dayan, P., Frey, B. J., and Neal, R. M. (1995). The wake-sleep
algorithm for unsupervised neural networks. Science, 268:1158– 1160
1969：Perceptron（感知器）---神经 网络的局限性（深度学习的前身）
在近60年的人工智能历史中，马文-明斯
基一直是一位闪耀着耀眼光彩的杰出的
人工智能权威，是当之无愧的人工智能
之父。（李德毅院士）
1927-2016
明斯基在1950年进入普林斯顿大学攻读数学系的博士研究生学位，比我晚一
年。我们很快意识到，我们两人都对人工智能很感兴趣。事实上，当时明斯
§7.1 研究背景
人脑视觉系统如 何提取特征？
关键在于抽象和迭代， 从原始信号开始进行 低级抽象，逐渐向高 级抽象迭代
从低层到高层的特征表示越来越抽象，生物视觉特征分层抽象的过程，就是 一个计算机建模过程
§7.1 研究背景
§7.1 研究背景
基已经对如何实现人工智能颇有想法了，这一点在之后他设计和建造的世界
上第一个神经网络模拟器Snare上得到了证实。
（ John McCarthy 人工智能先驱，LISP语言之父，图灵奖获得者）
§7.1 研究背景
2016年,阿尔法狗（AlphaGo）4 :1大胜围 棋9 段李世石高手， AI重大历史时刻
§7.1 研究背景
2012年6月,《纽约时报》披露了Google
Andrew Ng
Brain项目
斯坦福大学教授
用16000个CPU Core的并行计算平台训练一种称为“深度神
大规模计算机系统方 经网络”（DNN，Deep Neural Networks）的机器学习模型
面的世界顶尖专家
（内部共有10亿个节点)
（IDL，Institue of Deep Learning
§7.1 研究背景
机器学习解决目标识别与分类问题的思路
三个主要组成部分
中间的特征提取部分将很大程度上决定最终的 效果，如何提取特征？“巧妇难为无米之炊”
§7.1 研究背景
SIFT
Sift被认为是局部图像 特征描述子研究领域一 项里程碑式的工作，对 尺度、旋转以及一定视 角和光照变化等图像变 化都具有不变性，还 SIFT具有很强的可区分 性