深度学习在图像识别中的应用PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 80、90年代，提出BP算法、CNN； • 2006年，Hinton 提出了一种深度神经网络参数的训练算
法，在物体识别、图像分类、语音识别等领域取得了突破 性进展，开启了深度学习在学术界和工业界的浪潮。
10
人工神经网络与深度学习
• 深度学习的概念源于人工神经网络的研究，是机 器学习的分支；
• 机器学习的发展经历了浅层学习和深度学习两次 浪潮
5
图像识别的应用
• 在军事领域，无人机侦探，导弹精确打击， 军事目标锁定，雷达警戒系统等
• 在公共安全领域，机场安检，恐怖分子搜 查，公共交通安全，车牌定位，目标追踪 等，
• 在农业领域，物种识别，产品营养成分分 析，农作物病情分析等
• 在日常生活中，门禁系统的人脸识别、视 网膜扫描、指纹扫描等。
被引入很多领域。 • 知名高科技公司都在深度学习领域加大投入。
12
深度学习对图像识别的影响
• Google Brain项目，用16000个CPU Core 的并行计算平台，创建了一个深度神经网 络，仅通过YouTube视频学习到“猫”；
• 2012年Hinton用DNN技术在图像识别方面 取得惊人的成功，在著名的ImageNet问题 上将错误率从26％降低到了15％，并且输 入没有用到其他任何人工特征，仅仅是图 像的像素。
20
局部感受野
21
卷积
• 特征增强，降低噪声 • a1 = σ(b+w＊a0) • 卷积核 • 跨距
22
共享权重
• 隐层的参数个数和隐层的神经元个数无关，只和滤波器的大 小和滤波器种类的多少有关。
23
特征图（Feature Map）
• 提取不同的特征，需要多个滤波器。每种滤波器的参数不 一样，表示它提出输入图像的不同特征。这样每种滤波器 去卷积图像就得到对图像的不同特征的反映，我们称之为 Feature Map。
• 80年代末，Yann LeCun就作 为贝尔实验室的研究员提出了 卷积网络技术，并展示如何使 用它来大幅度提高手写识别能 力。
• 目前来看，在图像识别领域， CNNs已经成为一种高效的识 别方法
17
CNN的三个基本概念
• 局部感受野（local receptive fields） • 共享权重（shared weights） • 池化（pooling）
– 浅层学习，通常包含一层或两层的非线性特征变换， 可以看成是具有一层隐含层或者没有隐含层的结构。 大多数传统的机器学习和信号处理技术，都是利用浅 层结构的架构。例如高斯混合模型(GMMs)、支持向 量机(SVMs)等都是浅层结构。
– 深度学习，主要指超过三层的神经网络模型。
11
深度学习的现状
• 深度学习在语音识别、图像识别等领域摧枯拉朽。 • 国际会议、期刊等涌现大量深度学习的文章，CNN
• 视觉皮层存在两类相关的细胞，S细胞（Simple Cell）
和C（Complex Cell）细胞。S细胞在自身的感受野内最
大限度地对图像中类似边缘模式的刺激做出响应，而C
细胞具有更大的感受野，它可以对图像中产生刺激的模
式的空间位置进行精准地定位。
Fra Baidu bibliotek16
CNN概述
• 卷积神经网络已成为当前语音 分析和图像识别领域的研究热 点。
6
图像识别的常用方法
• 贝叶斯分类法 • 模板匹配法 • 核方法 • 集成学习方法 • 人工神经网络法（ANN）
7
2
8
人脑识别的过程
• 人脑是通过分级的、多层网络模型 来识别
• 减少数据量，保留物体的有用信息
9
ANN的发展史
• 1943年，Mcculloch和Pitts提出了神经元的数学模型，奠 定基础；
– 监督学习：卷积神经网络（Convolutional Neural
Nerwork, CNN）
14
3
15
CNN的由来
• 卷积神经网络（CNN）是人工神经网络的一种，是多层 感知机（MLP）的一个变种模型，它是从生物学概念中 演化而来的。
• Hubel和Wiesel早期对猫的视觉皮层的研究中得知在视 觉皮层存在一种细胞的复杂分布，这些细胞对于外界的 输入局部是很敏感的，它们被称为“感受野”（细胞）， 它们以某种方法来覆盖整个视觉域。这些细胞就像一些 滤波器一样，够更好地挖掘出自然图像中的目标的空间 关系信息。
4
图像识别
• 预处理，指将训练或者测试的图像进行一定的处 理，使得它更加清晰或者更加适合算法要求。常 见的预处理手段包括去噪处理、图像增强、归一 化。
• 特征提取。
– 分类器无法识别像素级别的浅层信号，只能识别高层 信号
– 从训练数据中提取“有用的”高层信号（特征）
• 识别分类，指算法通过一定的训练后，形成一个 分类标准，可以将测试集中的待识别图像归为某 一类的过程。。
• 1958年，Rosenblatt 提出了感知机模型，首次把人工神 经网络的研究从理论探讨付诸工程实践；
• 1969年，Minskyh《感知机》指出当前的网络只能应用于 简单的线性问题，却不能有效地应用于多层网络，低潮；
• 1982年，美国物理学家Hopfield博士提出了Hopfield模型 理论，他证明了在一定条件下，网络可以达到稳定的状态。 在他的影响下，神经网络得以复兴；
18
局部感受野
• 图像的空间联系是局部的，就像人通过局部的感受野去感 受外界图像一样，每个神经元只感受局部的图像区域，然 后在更高层，将这些感受不同局部的神经元综合起来就可 以得到全局的信息了。
• CNN中相邻层之间是部分连接，也就是某个神经单元的感 知区域来自于上层的部分神经单元。
19
局部感受野
深度学习在图像识别中的应用
1
CONTENTS
1 图像识别概述 2 人工神经网络与深度学习 3 卷积神经网络 4 LeNet-5 5 结束语
2
1
3
图像识别
• 图像识别也就是图像的模式识别，是模式 识别技术在图像领域中的具体应用，是对 输入的图像信息建立图像识别模型，分析 并提取图像的特征，然后建立分类器，根 据图像的特征进行分类识别的一种技术。
13
深度学习
• 深度学习是一种高效的特征提取方法 • 深度是通过构建具有很多隐层的机器学习
模型和海量的训练数据，来学习更有用的 特征，从而最终提升分类或预测的准确性。
• 深度学习作为机器学习的一个分支，其学 习方法可以分为
– 无监督学习：深度信念网（Deep Belief Network，DBN）
法，在物体识别、图像分类、语音识别等领域取得了突破 性进展，开启了深度学习在学术界和工业界的浪潮。
10
人工神经网络与深度学习
• 深度学习的概念源于人工神经网络的研究，是机 器学习的分支；
• 机器学习的发展经历了浅层学习和深度学习两次 浪潮
5
图像识别的应用
• 在军事领域，无人机侦探，导弹精确打击， 军事目标锁定，雷达警戒系统等
• 在公共安全领域，机场安检，恐怖分子搜 查，公共交通安全，车牌定位，目标追踪 等，
• 在农业领域，物种识别，产品营养成分分 析，农作物病情分析等
• 在日常生活中，门禁系统的人脸识别、视 网膜扫描、指纹扫描等。
被引入很多领域。 • 知名高科技公司都在深度学习领域加大投入。
12
深度学习对图像识别的影响
• Google Brain项目，用16000个CPU Core 的并行计算平台，创建了一个深度神经网 络，仅通过YouTube视频学习到“猫”；
• 2012年Hinton用DNN技术在图像识别方面 取得惊人的成功，在著名的ImageNet问题 上将错误率从26％降低到了15％，并且输 入没有用到其他任何人工特征，仅仅是图 像的像素。
20
局部感受野
21
卷积
• 特征增强，降低噪声 • a1 = σ(b+w＊a0) • 卷积核 • 跨距
22
共享权重
• 隐层的参数个数和隐层的神经元个数无关，只和滤波器的大 小和滤波器种类的多少有关。
23
特征图（Feature Map）
• 提取不同的特征，需要多个滤波器。每种滤波器的参数不 一样，表示它提出输入图像的不同特征。这样每种滤波器 去卷积图像就得到对图像的不同特征的反映，我们称之为 Feature Map。
• 80年代末，Yann LeCun就作 为贝尔实验室的研究员提出了 卷积网络技术，并展示如何使 用它来大幅度提高手写识别能 力。
• 目前来看，在图像识别领域， CNNs已经成为一种高效的识 别方法
17
CNN的三个基本概念
• 局部感受野（local receptive fields） • 共享权重（shared weights） • 池化（pooling）
– 浅层学习，通常包含一层或两层的非线性特征变换， 可以看成是具有一层隐含层或者没有隐含层的结构。 大多数传统的机器学习和信号处理技术，都是利用浅 层结构的架构。例如高斯混合模型(GMMs)、支持向 量机(SVMs)等都是浅层结构。
– 深度学习，主要指超过三层的神经网络模型。
11
深度学习的现状
• 深度学习在语音识别、图像识别等领域摧枯拉朽。 • 国际会议、期刊等涌现大量深度学习的文章，CNN
• 视觉皮层存在两类相关的细胞，S细胞（Simple Cell）
和C（Complex Cell）细胞。S细胞在自身的感受野内最
大限度地对图像中类似边缘模式的刺激做出响应，而C
细胞具有更大的感受野，它可以对图像中产生刺激的模
式的空间位置进行精准地定位。
Fra Baidu bibliotek16
CNN概述
• 卷积神经网络已成为当前语音 分析和图像识别领域的研究热 点。
6
图像识别的常用方法
• 贝叶斯分类法 • 模板匹配法 • 核方法 • 集成学习方法 • 人工神经网络法（ANN）
7
2
8
人脑识别的过程
• 人脑是通过分级的、多层网络模型 来识别
• 减少数据量，保留物体的有用信息
9
ANN的发展史
• 1943年，Mcculloch和Pitts提出了神经元的数学模型，奠 定基础；
– 监督学习：卷积神经网络（Convolutional Neural
Nerwork, CNN）
14
3
15
CNN的由来
• 卷积神经网络（CNN）是人工神经网络的一种，是多层 感知机（MLP）的一个变种模型，它是从生物学概念中 演化而来的。
• Hubel和Wiesel早期对猫的视觉皮层的研究中得知在视 觉皮层存在一种细胞的复杂分布，这些细胞对于外界的 输入局部是很敏感的，它们被称为“感受野”（细胞）， 它们以某种方法来覆盖整个视觉域。这些细胞就像一些 滤波器一样，够更好地挖掘出自然图像中的目标的空间 关系信息。
4
图像识别
• 预处理，指将训练或者测试的图像进行一定的处 理，使得它更加清晰或者更加适合算法要求。常 见的预处理手段包括去噪处理、图像增强、归一 化。
• 特征提取。
– 分类器无法识别像素级别的浅层信号，只能识别高层 信号
– 从训练数据中提取“有用的”高层信号（特征）
• 识别分类，指算法通过一定的训练后，形成一个 分类标准，可以将测试集中的待识别图像归为某 一类的过程。。
• 1958年，Rosenblatt 提出了感知机模型，首次把人工神 经网络的研究从理论探讨付诸工程实践；
• 1969年，Minskyh《感知机》指出当前的网络只能应用于 简单的线性问题，却不能有效地应用于多层网络，低潮；
• 1982年，美国物理学家Hopfield博士提出了Hopfield模型 理论，他证明了在一定条件下，网络可以达到稳定的状态。 在他的影响下，神经网络得以复兴；
18
局部感受野
• 图像的空间联系是局部的，就像人通过局部的感受野去感 受外界图像一样，每个神经元只感受局部的图像区域，然 后在更高层，将这些感受不同局部的神经元综合起来就可 以得到全局的信息了。
• CNN中相邻层之间是部分连接，也就是某个神经单元的感 知区域来自于上层的部分神经单元。
19
局部感受野
深度学习在图像识别中的应用
1
CONTENTS
1 图像识别概述 2 人工神经网络与深度学习 3 卷积神经网络 4 LeNet-5 5 结束语
2
1
3
图像识别
• 图像识别也就是图像的模式识别，是模式 识别技术在图像领域中的具体应用，是对 输入的图像信息建立图像识别模型，分析 并提取图像的特征，然后建立分类器，根 据图像的特征进行分类识别的一种技术。
13
深度学习
• 深度学习是一种高效的特征提取方法 • 深度是通过构建具有很多隐层的机器学习
模型和海量的训练数据，来学习更有用的 特征，从而最终提升分类或预测的准确性。
• 深度学习作为机器学习的一个分支，其学 习方法可以分为
– 无监督学习：深度信念网（Deep Belief Network，DBN）