一天搞懂深度学习PPT课件
合集下载
深度学习介绍 ppt课件
自编码器的建立
建立AutoEncoder的方法是：
对于m个数据的输入，有：
Code编码:使用非线性激活函数，将维输入数据映射到维隐含层（隐含节点表示特 征）
其中W是一个的权重矩阵，b是一个d'维的偏移向量 Decode解码:通过反向映射，对映射后的数据进行重建
hi
yi
SAE网络每一次训练输入都会得到映射后的 与解码后的 。通过对代价函数的最优
深层带来的好处
为什么采用层次网络
预训练与梯度消失现象
主要内容
自编码器结构
单层自动编码器网络（AutoEncoder）实质上是一个三层的反向传播神经网络。它逐 层采用无监督学习的方式，不使用标签调整权值，将输入映射到隐含层上，再经过反 变换映射到输出上，实现输入输出的近似等价。
X1 X2 X3 X4 X5 +1
RBM网络有几个参数，一个是可视层与隐含 层之间的权重矩阵，一个是可视节点的偏移 量b，一个是隐含节点的偏移量c，这几个参 数决定了RBM网络将一个m维的样本编码成 一个什么样的n维的样本。
受限玻尔兹曼机
RBM介绍
RBM训练
一般地，链接权重Wij可初始化为来自正态分布N(0,0.01)的随机数，隐 单元的偏置cj初始化为0； 对于第i个可见单元，偏置bj初始化为log[pi/(1-pi)] 。pi表示训练样本中 第i个特征处于激活状态所占的比率 学习率epsilon至关重要，大则收敛快，但是算法可能不稳定。小则 慢。为克服这一矛盾引入动量，使本次参数值修改的方向不完全由当 前样本似然函数梯度方向决定，而是上一次参数值修改方向与本次梯 度方向的结合可以避免过早的收敛到局部最优点
激活函数
y f (x)
深度学习.ppt
B
5
教学设计中：
首先应该设计出学生学习可以积极参与的学习活动； 如采用基于问题的教学设计，不仅要设计好大的问题， 更要设计好小的问题，这样才能不断的激发学生深入的 去思考，并且注意时时生成新的问题；如任务驱动的教 学设计尽量的让任务情景与学生的生活联系起来，这样 既可以保持学生的参与积极性，同时也更利于学生运用 学生所学的知识。（考验教师课堂掌控能力）
B
6
《义务教育数学课程标准（2011年版）》在总目标中 提出了“四基”“四能”的要求。同时提出了十大核心 词，如果简称为“十核”的话，那么总体上现行的义务 教育数学核心素养及目标是“四基”“四能”“十核”。
十核：分别是数感、符号意识、空间观念、几何直观、
数据分析观念、运算能力、推理能力、模型思想、应用
如何理解深度学习？ 怎样做才是走进核心素养？
B
1
B
2
我所理解的深度学习
所谓深度学习：是指在理解学习的基础上学习者能 够批判的学习新的思想和事实，并把它们融入原有的 认知结构中，能将已有的知识迁移到新的情景中去， 并作出决策和解决问题的学习。（ 知识建构的过程 ）
它鼓励学习者积极地探索、反思和创造，而不是反 复的记忆。我们可以把深度学习理解为一种 基于理解 的学习。
意识和创新意识。如何在教学中落实，是我们所思考的。
B
7
教师在教学过程中应激发学生学习的兴趣，调动学生学习 的积极性主动性，引发学生进行数学思考，鼓励学生的创造 性思维，注意培养学生良好的数学学习习惯，使学生掌握恰 当的数学学习方法。这样学生的学习才能是一个生动活泼、 主动的、富有个性的过程。
试问在这样的学习过程中学生又怎么能不爱上数学学习呢？
B
8
深度学习基础PPT幻灯片
Deep Learning
2020/4/2
1
目录
深度学习简介 深度学习的训练方法 深度学习常用的几种模型和方法 Convolutional Neural Networks卷积神经网络 卷积神经网络（CNN）在脑机接口中的应用源自2020/4/22
What is Deep Learning?
浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。
2020/4/2
9
受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。
A brief introduce of deep learning
2020/4/2
3
机器学习
机器学习（Machine Learning）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。
机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。
2020/4/2
4
特征的自学习
传统的模式识别方法：
通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。
2020/4/2
1
目录
深度学习简介 深度学习的训练方法 深度学习常用的几种模型和方法 Convolutional Neural Networks卷积神经网络 卷积神经网络（CNN）在脑机接口中的应用源自2020/4/22
What is Deep Learning?
浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。
2020/4/2
9
受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。
A brief introduce of deep learning
2020/4/2
3
机器学习
机器学习（Machine Learning）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。
机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。
2020/4/2
4
特征的自学习
传统的模式识别方法：
通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。
一天搞懂深度学习ppt课件
30
1-3 经典模型-CNN
Deep Dream
• Given a photo, machine adds what it sees ……
31
1-3 经典模型-CNN
Deep Style
• Given a photo, make its style like famous paintings
32
Step 2: goodness of function
YES
NO Good Results on Testing Data?
Overfitting!
YES
Step 3: pick the best function
NO
Good Results on
Training Data?
Neural Network
“beak” detector
23
1-3 经典模型-CNN
• The same patterns appear in different regions.
“upper-left beak” detector
Do almost the same thing They can use the same set of parameters.
Can repeat many times
Max Pooling
Flatten
28
1-3 经典模型-CNN
29
1-3 经典模型-CNN
Deep Dream
CNN
Modify image
• Given a photo, machine adds what it sees ……
CNN exaggerates what it sees
19 layers
1-3 经典模型-CNN
Deep Dream
• Given a photo, machine adds what it sees ……
31
1-3 经典模型-CNN
Deep Style
• Given a photo, make its style like famous paintings
32
Step 2: goodness of function
YES
NO Good Results on Testing Data?
Overfitting!
YES
Step 3: pick the best function
NO
Good Results on
Training Data?
Neural Network
“beak” detector
23
1-3 经典模型-CNN
• The same patterns appear in different regions.
“upper-left beak” detector
Do almost the same thing They can use the same set of parameters.
Can repeat many times
Max Pooling
Flatten
28
1-3 经典模型-CNN
29
1-3 经典模型-CNN
Deep Dream
CNN
Modify image
• Given a photo, machine adds what it sees ……
CNN exaggerates what it sees
19 layers
深度学习PPT课件
随后，建立带有梯度下降的BP模型，1981年首次NN得到应 用；
80年代末，基于BP训练的深度神经网络（Deep NNs）依然 很难实现，90年代开始成为研究主体；
1991， 通过无导学习的深度学习（Deep Learning，DL）在 实际中可以运用；
2009，有导师学习的DL在大部分国际模式识别竞赛中领先 于其他机器学习方法，并且第一个实现超人视觉模式识别， 从此赢得广泛关注。
.
深度学习
----许洛
1
.
深度学习（DL）
1 深度学习 介绍
• 1 DL历程 • 2 BP缺点
2 CNN应用
• 1 手写字体 识别
• 2 语音识别
3 CNN原理
• 卷积 • 池化 • 反向传输
2
.
深度学习（DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建 出连续非线性层的神经元模型；
.
池化层
采样层是对上一层map的一个采样处理，相当 于对上一层map的相邻小区域进行聚合统计， 区域大小为scale*scale，有些是取小区域的最 大值，而ToolBox里面的实现是采用2*2小区域 的均值。CNN ToolBox里面也是用卷积来实现 采样的，卷积核是2*2，每个元素都是1/4。
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参 数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。 10
.
卷积层
卷积层的每一个特 征map是不同的卷积 核在前一层所有map 上作卷积并将对应 元素累加后加一个 偏置，再求sigmod得 到的。
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网 络可以看作是由多个受限 玻 尔 兹 曼 机叠加而 成，CNN通过local receptive fields（感受野）， shared weights（共享权值），subsampling（下 采样）概念来解决BP网络的三个问题。
80年代末，基于BP训练的深度神经网络（Deep NNs）依然 很难实现，90年代开始成为研究主体；
1991， 通过无导学习的深度学习（Deep Learning，DL）在 实际中可以运用；
2009，有导师学习的DL在大部分国际模式识别竞赛中领先 于其他机器学习方法，并且第一个实现超人视觉模式识别， 从此赢得广泛关注。
.
深度学习
----许洛
1
.
深度学习（DL）
1 深度学习 介绍
• 1 DL历程 • 2 BP缺点
2 CNN应用
• 1 手写字体 识别
• 2 语音识别
3 CNN原理
• 卷积 • 池化 • 反向传输
2
.
深度学习（DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建 出连续非线性层的神经元模型；
.
池化层
采样层是对上一层map的一个采样处理，相当 于对上一层map的相邻小区域进行聚合统计， 区域大小为scale*scale，有些是取小区域的最 大值，而ToolBox里面的实现是采用2*2小区域 的均值。CNN ToolBox里面也是用卷积来实现 采样的，卷积核是2*2，每个元素都是1/4。
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参 数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。 10
.
卷积层
卷积层的每一个特 征map是不同的卷积 核在前一层所有map 上作卷积并将对应 元素累加后加一个 偏置，再求sigmod得 到的。
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网 络可以看作是由多个受限 玻 尔 兹 曼 机叠加而 成，CNN通过local receptive fields（感受野）， shared weights（共享权值），subsampling（下 采样）概念来解决BP网络的三个问题。
深度学习介绍 PPT
自编码器的建立
建立AutoEncoder的方法是: 关于m个数据的输入,有:
Code 编码:使用非线性激活函数,将维输入数据映射到维隐含层(隐藏节点表示特征)
其中W是一个的权重矩阵,b是一个d'维的偏移向量 Decode 解码:通过反向映射,对映射后的数据进行重建
SAE网络采纳相同的权重
,对数据进行编码与解码。每一次训练输入都会得到映射后
CNN基本知识
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。 它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权 值的数量。该优点在网络的输入是多维图像时表现的更为明显,能够使图像直截了当作 为网络的输入,幸免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为 识别二维形状而特别设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或 者其他形式的变形具有高度不变性。
深度学习介绍
主要内容
神经网络
深度学习
介绍 常用方法
• Stacked Auto-Encoder • Convolutional Neural Network • Deep Belief Network
评价与应用
展望
神经网络
在机器学习与认知识别领域中,人工神经网络是一类模拟生物神经网络(中枢神经网络, 特别是大脑)的模型,用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神 经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包 含可依照经验调整的权重,使得神经网络能够自习惯输入,同时拥有学习能力。
测试:对测试数据进行神经网络测试,得到结果
空间去冗余 压缩
Defined By User
深度学习Deep-Learning【精品PPT文档】
• 减轻梯度消失问题的一个方法是使用线性激活函数（比如rectifier
函数）或近似线性函数（比如softplus 函数）。这样，激活函数的 导数为1，误差可以很好地传播，训练速度得到了很大的提高。
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量函数及其导数
按位计算的向量函数及其导数
logistic函数
softmax函数
softmax函数
softmax函数
softmax函数
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
机器学习中的一些概念
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量
向量的模和范数
常见的向量
矩阵
矩阵的基本运算
矩阵的基本运算
常见的矩阵
常见的矩阵
导数
向量导数
导数法则
导数法则
导数法则
常用函数及其导数
常用函数及其导数
深度学习Deep Learning
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
深度学习概念
• 机器学习（Machine Learning，ML）主要是研究如何使计算机从给定的 数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的 规律（模型）对未知或无法观测的数据进行预测。目前，主流的机器学 习算法是基于统计的方法，也叫统计机器学习。 • 人工神经网络（Artificial Neural Network ，ANN），也简称神经网络， 是众多机器学习算法中比较接近生物神经网络特性的数学模型。人工神 经网络通过模拟生物神经网络（大脑）的结构和功能，由大量的节点 （或称“神经元”，或“单元”）和之间相互联接构成，可以用来对数 据之间的复杂关系进行建模。
深度学习课件-第2讲：深度学习基础
=
1
exp
2 2
1
− 2
2
−
2
由精度参数化（Parametrized by precision）:
; , −1
=
exp
2
1
−
2
−
2
高斯分布
多元高斯分布
由协方差矩阵参数化（Parametrized by covariance
matrix）:
1
exp
(2) det(σ)
摩尔-彭若斯广义逆
+
=
• 方程组解的情况包括:
― 仅有一个解：此时摩尔-彭若斯广义逆矩阵与逆矩阵相
同
― 无解：此时会给出解的最小误差 −
― 多个解：此时会给出范数最小的解
2
迹（Trace）
= ,
矩阵的迹的性质：
+ = +
自信息:
= −log ()
信息熵:
H = ~
= ~ log ()
KL散度:
∥ = ~
= ~ − ()
KL散度是不对称的
∗ = ∥
∗ = ∥
1979 – deep neocognitron, convolution, Fukushima
1987 – autoencoder, Ballard
1989 – convolutional neural networks (CNN), Lecun
1991 – deep recurrent neural networks (RNN), Schmidhuber
深度学习PPT幻灯片
❖ 配套首个深度学习指令集Cambricon(DianNaoYu) ➢ 直接面对大规模神经元和突触的处理 ➢ 一条指令即可完成一组神经元的处理 ➢ 对神经元和突触数据传输提供一系列支持
25
典型神经网络芯片——寒武纪DianNao
❖ 片上存储：芯片内含三块片上存储，用于存储input的NBin、output的 NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信
❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
19
典型神经网络芯片——IBM TrueNorth
❖ TrueNorth芯片结构、功能、物理形态图
20
典型神经网络芯片——IBM TrueNorth
❖ 人脑分成三个层次——神经突触、脑功能区和脑皮层 ➢ 每个突触由诸多神经元组成，每个脑功能区由诸多突触组成，一个 能完整执行任务的皮层由诸多个功能区组成
❖ 谷歌TensorFlow占绝对优势
➢ 强大的人工智能研发水平、快速的迭代更新
7
深度学习的开源框架
❖ 谷歌2015年底发布开源深度学习框架TensorFlow
➢ Tensor（张量）：多维数组在高维空间的数学运算 ➢ Flow（流）：基于数据流图的计算 ❖ TensorFlow关键特性 ➢ 代码简洁多语言支持 ➢ 分布式算法执行效率高 ➢ 移值灵活伸缩性好 ➢ 支持多种神经网络算法
25
典型神经网络芯片——寒武纪DianNao
❖ 片上存储：芯片内含三块片上存储，用于存储input的NBin、output的 NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信
❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
19
典型神经网络芯片——IBM TrueNorth
❖ TrueNorth芯片结构、功能、物理形态图
20
典型神经网络芯片——IBM TrueNorth
❖ 人脑分成三个层次——神经突触、脑功能区和脑皮层 ➢ 每个突触由诸多神经元组成，每个脑功能区由诸多突触组成，一个 能完整执行任务的皮层由诸多个功能区组成
❖ 谷歌TensorFlow占绝对优势
➢ 强大的人工智能研发水平、快速的迭代更新
7
深度学习的开源框架
❖ 谷歌2015年底发布开源深度学习框架TensorFlow
➢ Tensor（张量）：多维数组在高维空间的数学运算 ➢ Flow（流）：基于数据流图的计算 ❖ TensorFlow关键特性 ➢ 代码简洁多语言支持 ➢ 分布式算法执行效率高 ➢ 移值灵活伸缩性好 ➢ 支持多种神经网络算法
深度学习入门讲座ppt课件
图片取自lecun的ppt
33
PART 5 我能学懂深度学习吗？
34
需要具备的基础知识
● 微积分、线性代数、概率论 ● 基础的编程知识，最好有python基础 ● 良好的英文文献阅读能力
35
BP网络
36
卷积
37
深度学习网络的训练步骤
1. 导入数据
2. 把数据分成多个batch 3. 定义网络的参数，包括神经元的数量，卷积核的大小，学习率，迭代次数等 4. 定义网络结构 5. 初始化网络参数 6. 定义反向传播(主要是梯度下降法，如果用pytorch, tensorflow 等框架，只需 要调用相关函数即可) 7. 把训练数据按batch大小依次送入网络进行训练 8. 保存模型，进行测试
38
如何学习深度学习
1. 要懂得基本的原理，包括前向计算，反向传播的 数学原理 2. 要多写代码练习 3. 要多阅读论文，尤其是引用率比较大的论文 4. 要多和同行进行交流
39
谢谢！
THANK YOU FOR YOUR WATCHING
40
人工智能深度讲座
1
个人简介 人工智能简史 深度学习基本思想 深度学习在各行业的应用 我能学懂深度学习吗？ 培训简介
2
PART 01 个人简介
3
PART 2 人工智能简史
4
孕育时期
公元前384-322 亚里 士多德（Aristotle） 形式逻辑 三段论
A
20世纪40年代，麦卡洛 克和皮茨 神经网络模 型 →连接主义学派
深度学习在各行业的应用深度学习基本思想人工智能简史个人简介2个人简介part013人工智能简史part24公元前384322亚里士多德aristotle形式逻辑三段论a20世纪30年代数理逻辑维纳弗雷治罗素等为代表对发展数理逻辑学科的贡献丘奇图灵和其它一些人关于计算本质的思想为人工智能的形成产生了重要影响b20世纪40年代麦卡洛克和皮茨神经网络模型连接主义学派c1948年维纳创立了控制论行为主义学派d孕育时期51956年在美国的达特茅斯大学召开了第一次人工智能研讨会标志人工智能学科的诞生a1965年诞生了第一个专家系统dendral可以帮助化学家分析分子结构b1969年召开了第一届人工智能联合会议此后每两年举行一次c1970年人工智能国际杂志创刊d形成时期195619706过高预言的失败给ai的声誉造成了重大伤害a下棋程序在与世界冠军对弈时以1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
.
22
1-3 经典模型-CNN
• Some patterns are much smaller than the whole image A neuron does not have to see the whole image to discover the pattern. Connecting to small region with less parameters
Special structure
152 layers
101 layers
3.57%
16.4%
7.3%
6.7%
AlexNet VGG GoogleNet Residual Net Taipei
(2012)
(2014)
(201. 4)
(2015)
101
14
1-2 基本思想
Neural Network
Deep Learning
YES
NO Good Results on Testing Data?
Overfitting!
YES
NO
Good Results on
Training Data?
Neural
Network
.
21
1-3 经典模型
DNN 深层神经网络 CNN 卷积神经网络 RNN 循环神经网络 GAN 生成对抗网络 ………………………………..
x2
y2
…… Softm…ax…
……
…… ……
Input Layer
……
xK
Hidden Layers
yM
Output = Multi-class Layer Classifier
.
16
1-2 基本思想
Neural Network
.
17
1-2 基本思想
“1
”
x1
……
x 2 Given a set o…f… parameters
.
12
1-2 基本思想
Deep = Many hidden layers
19 layers
22 layers
8 layers
7.3% 16.4%
6.7%
AlexNet (2012)
VGG (.2014)
GoogleNet (2014)
13
1-2 基本思想
Deep = Many hidden layers
x 256
……
target
y1
1
y2
0
Cross
Entropy
y10
0
…… ……
…… Softm…a…x
…… ……
.
18
1-2 基本思想
Neural Network
.
19
1-2 基本思想
Gradient Descent
0.2
0.15
-0.1
0.05
……
……
0.3
0.2
gradient
.
20
1-2 基本思想
•2012: win ILSVRC image competition
•2015.2: Image recognition surpassing human-level performance
•2016.3: Alpha GO beats Lee Sedol
•2016.10: Speech recognition sy. stem as good as humans
深度学习
智慧融入街镇
.
1
目录 content
第一章 第二章 第三章
深度学习概述 深度学习应用研究 总结与展望
.
2
第一章
深度学习概述
• 历史与背景 • 基本思想 • 经典模型
.
3
1-1 历史与背景
假设我们要让程序判断下面的图像是 否为猫：
判断图像是否为猫的规则该怎么描述？ 用枚举的方法，即为每张可能的图像对 应一个结果（是猫，不是猫），根据这 个对应规则进行判定。对于高度和宽度 都为256像素的黑白图像，如果每个像 素值的值是0-255之间的整数，根据排 列组合原理，所有可能的图像数量为：
• Usually more than 3 hidden layers is not helpful
•1989: 1 hidden layer is “good enough”, why deep?
•2006: RBM initialization
•2009: GPU
•2011: Start to be popular in speech recognition
阶
段
1980年机器学习作为一支独立的力量登上了历史舞台。 典型的代表是：1984：分类与回归树
1986：反向传播算法 1989：卷积神经网络
代表性的重要成果有： 1995：支持向量机（SVM） 1997：AdaBoost算法 1997：循环神经网络（RNN）和LSTM 2000：流形学习 2001：随机森林
所以，与其总结好知识告诉人工智能，还不如让人工智能自己去学习知识。要识别猫的图像，可以采集大 量的图像样本，其中一类样本图像为猫，另外的不是猫。然后把这些标明了类别的图像送入机器学习程序 中进行训练。——机器学习
.
4
1-1 历史与背景
1980s：登上历史舞台
机
器
学
习
发 展
1990-2012：走向成熟和应用
6
1-1 历史与背景
.
7
1-1 历史与背景
.
8
1-1 历史与背景
.
9
1-1 历史与背景
.
10
1-2 基本思想
深度学习原理
Neural Network
.
11
1-2 基本思想
Neural Network
z
z
z
z
“Neuron”
Neural Network
Different connection leads to different network structures
x1
……
y1
x 2 W1
b1
W2
…W…L
b2
bL
y2
xN x
a1
a2……
y yM
Hale Waihona Puke …… …… …… …… ……
y
x
WL …
W2
W1 x + b1 + b2 … + bL
.
15
1-2 基本思想
Feature extractor replacing
feature engineering
……
x1
y1
x
……
2012：深度学习时代神经网络 卷土重来
在与SVM的竞争中，神经网络长时间内处于下风，直到 2012年局面才被改变。由于算法的改进以及大量训练样本 的支持，加上计算能力的进步，训练深层、复杂的神经网 络成为可能，它们在图像、语音识别等有挑战性的问题上 显示出明显的优势。
.
5
1-1 历史与背景
Ups and downs of Deep Learning
•1958: Perceptron (linear model)
•1969: Perceptron has limitation
•1980s: Multi-layer perceptron
• Do not have significant difference from DNN today
•1986: Backpropagation