神经网络介绍PPT详解课件

1940s
1960s
1980s
2000s
MP 模型 阈值加和 模型 Hebb学习 规则
感知器模型 自适应线性单元
Hopfield网络 Boltzman 机 BP算法
深度网络 DBN
CNN DBM
LeCun 98 Deep CNN RNN
低谷
低谷
人工神经网络发展历程
Deep Learning, Science 2006 (vol. 313, pp. 504-507)
网络模型
LeNet
网络结构的改进
NIN
AlexNet
网络深度的增加
VGGNet
GoogLeNet (Inception)
ResNet
Inception ResNet 图2：深度卷积神经网络发展图
图3：ILSVRC图像分类竞赛近年结果。
LeNet
最早的深度卷积神经网络模型，用于字符识别。网络具有如下特点：
AlexNet
AlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、 Dropout和Local Response Norm (LRN)等技巧。网络的技术特点如下：
➢ 使用ReLU （Rectified Linear Units）作为CNN的激活函数，并验证其效果在较深的网络超 过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。
人工神经网络发展历程
• 发展基础：
✓ 数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
✓ 计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
✓深层网络结构中，高层可以综合应用低层信息。 ✓低层关注“局部”，高层关注“全局”、更具有语
义化信息。 ✓为自适应地学习非线性处理过程提供了一种可能的
➢ ➢ ➢
卷积神经网络使用三个层作为一个系列： 卷积，池化，非线性 使用卷积提取空间特征 使用映射到空间均值的下采样（subsample）
LeNet提供了利用卷积 层堆叠进行特征提取的
➢ 双曲线（tanh）或S型（sigmoid）形式的非线性
框架，开启了深度卷积
➢ 多层神经网络（MLP）作为最后的分类器
神经网络的发展。
图4：LeNet网络结构，来源于文献 [1]。
[1] Y. Lecun, L. Bottou, Y. Bengio and P. Haffner. Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, vol. 86, no. 11, 1998.
AlphaZero AlphaGo Master 3:0 柯洁
AlphaGo Zero 100:0战胜Lee版本，89:11 战胜Master版本！
2015年10月
AlphaGo Fan 5:0 樊麾
2016年3月 AlphaGo Lee 4:1 李世石
2017年1月
2017年10月
AlphaZero:最大特点是无需 人类棋谱，仅利用围棋规则
Feature extraction
Feature selection
Inference: prediction, recognition
神经网络简要介绍
本图取自： /ai -artificialintelligence-deepmachine-learning/
➢ 深度学习框架简介 ➢ 在计算机视觉中的应用
目录
神经网络简要介绍
神经网络兴衰史
第一次兴起（1பைடு நூலகம்58年）：感 知机，由于没有引入非线性， 不能求解异或问题。
第二次兴起（1986年）：将 BP(Back Propagation)算法用 于ANN的训练过程。
第三次兴起（2012年）：深 度卷积神经网络的兴起，一 直到现在。
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
➢ 感知机：线性变换 ➢ 激活函数：非线性，引入非线性激活函数，提高网络的非线性表达能力
ANN每层输出为：
第五种空间变换：扭曲（非线性）
f (x) h(w x)
y
m j
h(
s
m j
)
h(
wimj
y m 1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h'
(s
m j
)(Tj
i
y
m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
ANN训练：前向输出计算+反向梯度传播（BP算法）
梯度反传过程
…… m1 i
wimj
m j
....
.. .. ....
卷积层（5层）：用于特征提取
全连接（3层）:人工神经网络： 用于分类
神经网络简要介绍
三层神经 网络模型
………… … …
曲线上的采 样点是线性
不可分
输入层（Input）：数据输入
经空间变换 后，曲线上 的采样点是 线性可分的
隐含层（Hidden layer）：空间变换 输出（Output）
神经网络简要介绍
神经元
树突
神经元 接收信号
神经元激活 轴突发出信号
ANN
输入 隐含层输入
隐含层输出
ANN是对大脑神经元信号传输的模拟
神经网络简要介绍
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
➢ 底层提取初级特征 ➢ 高层对低层特征组合与抽象
神经网络--全连接 or 卷积？
图：全连接与卷积示意图
深度卷积神经网络介绍
卷积神经网络（CNN）：卷积+池化+全连接
卷积： ✓ 局部特征提取 ✓ 训练中进行参数学习 ✓ 每个卷积核提取特定模式的特征
池化（下采样）： ✓ 降低数据维度，避免过拟合 ✓ 增强局部感受野 ✓ 提高平移不变性
Training: during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them
Input: An unlabeled image is shown to the pre-trained network
全连接： ✓ 特征提取到分类的桥梁
深度卷积神经网络介绍
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
25
深度卷积神经网络介绍
什么是池化？
• 池化层主要的作用是下采样，通过去掉Feature Map 中不重要的样本，进一步减少参数数量。
用卷积代替全连接进行特征 提取
对底层特征组合得到更具语 义信息的高层特征。
深度卷积神经网络
目录
➢ 深度卷积神经网络介绍 ➢ 经典深度神经网络模型
• LeNet • AlexNet • VGGNet • Network in Network (MIN) • GoogLeNet • ResNet ➢ 深度学习框架 ➢ 在计算机视觉中的应用
分类输出
神经网络简要介绍
ANN训练：前向输出计算+反向梯度传播（BP算法）
设网络具有 m 层， yim 为 m 层中第 i 个节点输出，wimj 表示从
y m 1 i
到
y
m j
的连接权重。
前向传播过程
…… ym1 i
wimj
loss
y
m j
m j
....
.. .. ....
1
m 1
m
前向传播
1、计算每层中每个节点的输出
Output: The network predicts what the object most likely is, based on its training
神经网络简要介绍
人工神经网络（Artificial Neural Networks， ANN）
--通过映射解决分类问题，对网络的训练即对映射函数的学习问题。
人工神经网络发展历程
• Google Brain项目（纽约时报2012年6月报道）
吴恩达
2011年开始，Google Brain 项目采用16000个CPU Core的并行计算 平台训练“深层神经网络”，在图像识别等领域获取巨大成功！
人工神经网络发展历程
AlphaMaster AlphaGo-Lee Alpha-Fan
其中，h( ) 为激活函数（原来是阈值函数）
常用激活函数：
Sigmoid
Tanh(反正切函数）
神经网络简要介绍
.... .. ..
....
....
x1
w1
x2
w2
wn n
n
xn
xiwi h( xiwi )
i 1
i 1
………
输入层
隐含层1
隐含层N
人工神经网络单个节点输出
多层结构的人工神经网络
多层结构的ANN，从单层到多层的扩展：进一步提升对非线性的表达，得到 更加抽象的特征表述。--- 根据问题设计网络深度，一般3～5层。
人工神经网络发展历程
• 在语音识别取得重大突破
2011年以来，错误 率降低2030%! 2012年11月，微软在天津的一次活动上公开演示了一个全自 动的同声传译系统，讲演者用英百文度演: d讲ee，p s后pee台ch的计算机一气 呵成自动完成语音识别、英中机器翻译，以及中文语音合成， 效果非常流畅。
两个重要的信息： 1. 具有多个隐层的人工神经网络具有优异的特征学习能力，
学习得到的特征对数据有更本质的刻画，从而有利于可 视化或分类； 2. 深度神经网络在训练上的难度，可以通过“逐层初始化” （Layer-wise Pre-training）来有效克服。
Neural networks are coming back!
神经网络介绍
目录
➢ 神经网络简要介绍 ➢ 经典深度神经网络模型
• LeNet • AlexNet • VGGNet • Network in Network (MIN) • GoogLeNet • ResNet ➢ 深度学习框架及实例 ➢ 深度学习在计算机视觉中的应用
➢ 神经网络简要介绍
➢ 经典深度神经网络模型 • LeNet • AlexNet • VGGNet • Network in Network (MIN) • GoogLeNet • ResNet
First Layer: the neurons respond to different simple shapes, like edges
High Layer: the neurons respond to more complex structures
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
反向传播
3、由输出层开始逐层计算前层误差
m1 i
h' (sim1)
wm m ij j
4、修正连接权重
wimj
y m m1
ji
j
wimj wimj wimj
神经网络简要介绍
ANN训练：前向输出计算+反向梯度传播（BP算法）
深度卷积神经网络介绍
深度神经网络(DNN)--用神经网络模拟大脑的识别过程
BP算法：信号的正向传播 和误差的反向传播。
深度卷积神经网络介绍
机器学习，神经网络， 深度学习之间的关系
5
机器学习 神经网络 深C度NN学/R习
NN
人工神经网络发展历程
第二次高潮
第三次浪潮
萌芽期
第一次高潮
SVM
Vapnik 95
Boosting
Schapire 95
G. E. Hinton Y. Bengio Y. Lecun Andrew Ng Rob Fergus
• 池化的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值，作为采 样后的样本值。右图是2*2 max
26
深度卷积神经网络介绍
底层特征具有局部特性，因此可 以利用卷积窗口进行特征提取。
图像中不同区域的底层特征（如 边界）具有相似性，可以共享一 组滤波器。
简洁、普适的结构模型。 ✓特征提取与分类器可以一起学习。
神经网络简要介绍
人类视觉机理：
David Hubel和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing