《神经网络基本理论》PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大
规模组合，特别适合于用大规模集成电路实现。
4.3 感知器模型
感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提 出的，它是一个具有单层计算单元的神经网络，并由线性阈 值感元知件器组的成结。构
激发函数为阈值型函数，当其输入的加权和大于或等于 阈值时，输出为1，否则为0或-1。
4.4 神经网络的构成和分类
②网状结构：网络中任何两个神经元之间都可能双向联接。
➢反馈网络：从输出层到输入层 有反馈，每一个神经元同时接 收外来输入和来自其它神经元 的反馈输入，其中包括神经元 输出信号引回自身输入的自环 反馈。
➢混合型网络：前向网络的同 一层神经元之间有互联的网络。
4.4 神经网络的构成和分类
（2）从激发函数的类型上划分
高斯基函数神经网络、小波基函数神经网络、样条基 （3）函从数网神络经的网学络习等方等式上划分
①有导师学习神经网络
为神经网络提供样本数据，对网络进行训练，使网络 的输入输出关系逼近样本数据的输入输出关系。
②有导师学习神经网络
（划4分）：基从不输于学为 入B习神数P算算经据法法网的的上络特网来提 征络供提、样取基本出于数来H据。eb，b算学法习的过网程络中、网基络于自竞动争将式 学习算法的网络、基于遗传算法的网络。
(2) j
j 1
4.4 多层前向BP神经网络
网络的学习
学习的基本思想是：误差反传算法调整网络的权值，使网
络的实际输出尽可能接近期望的输出。 假设有M个样本: ( X k , yk ), k 1,2, M
它的权系W可变，这样它就可以学习。
4.3 感知器模型
感知器的学习算法
为方便起见，将阈值θ(它也同样需要学习)并入W中，令W
n+1=-θ，X向量也相应地n增1加一个分量xn+1=1，则
y f( Wixi ) i 1
学习算法：
① 给定初始值：赋给Wi(0)各一个较小的随机非零值，这 里Wi(t)为t时刻第i个输入的权(1≤i≤n)，Wn+1(t)为t时刻 的②阈输值入；一样本X=(xi,…,xn,1)和它的希望输出d；
4.1 人工神经元模型
人工神经元模型 模仿生物神经元产生冲动的过程，可以建立一个典型的人 工神经元数学模型
[x1,…,xn]T为输入向量，y为输出，f(·)为激发函数，θ为 阈值。 Wi为神经元与其它神经元的连接强度，也称权值。
4.1 人工神经元模型
常用的激发函数f 的种类 ：
1）阈值型函数
1 x 0 f(x) 0 x 0
经网络从拓扑结构上来说，主要分为层状和网状结 构。
4.4 神经网络的构成和分类
①层状结构：网络由若干层组成，每层中有一定数量的神经 元，相邻层中神经元单向联接，一般同层内神经元不能联接。
前向网络：只有前后相邻两层之间神经元相互联接，各神经 元之间没有反馈。每个神经元从前一层接收输入，发送输出 给下一层。
第四章 神经网络基本理论
4.1 人工神经元模型
人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象 生物神经元模型
生物神经元主要由细胞体、树突和轴突组成，树突和轴 突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞 体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲 动到达细胞膜则形成抑制性电位。两种电位进行累加， 若代数和超过某个阈值，神经元将产生冲动。
从Perceptron模型可以看出神经网络通过一组状态方 程和一组学习方程加以描述。
状态方程描述每个神经元的输入、输出、权值间的函数 关系。
分类学习方程描述权值应该怎样修正。神经网络通过修正这 些（权1）值从来结进构行上学划习分，从而调整整个神经网络的输入输出关 系。通常所说的网络结构，主要是指它的联接方式。神
（3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的
信息处理方式是大规模并行的，可以大大加快对信息处理的速度。
（4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经
元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等 势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联 想记忆功能。
4.4 多层前向BP神经网络
最早由werbos在1974年提出的，1985年由Rumelhart再次进行 发 展多。层前向神经网络的结构
多层前向神经网络由输入层、隐层（不少于1层）、输 出层组成，信号沿输入——>输出的方向逐层传递。
4.4 多层前向BP神经网络
沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj (i)表示第i层第j个神经元的输入和输出，则各层的输入输出
n1
③ 计算实际输Y出(t) f( Wi (t)xi )
i 1
④ 修正权W ：
Wi(t+1)=Wi(t)+η[d-Y
(⑤t)转]x到i, ②i直=1到,2W,对…一,n切+1样本均稳定不变为止。
4.3 感知器模型
根据某样本训练时，均方差随训练次数的 收敛情况
4.4 神经网络的构成和分类
构成
定 义神经网络系统是由大量的神经元，通过广泛地互相连接
而形成的复杂网络系统。 特
点（1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神
经网络以任意精度加以逼近。
（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之
间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处 理的要求。
关第系一可层描（述输为入：层）：将输入引入网络
Outi(1) Ini(1) xi i 1,2,, n
第二层（隐层）来自百度文库n
In
(2) j
wi(j1) Outi(1)
i1
j 1,2,,l
Out(j2) f (In(j2) )
第三层（输出层）
l
y Out (3) In (3)
w(j2)
Out
1 x0 f(x) 1 x 0
4.1 人工神经元模型
2）饱和型函数
1
f(x) kx
1
3）双曲函数
x 1
k
1 x 1
k
k
x1
k
f(x) arctan(x)
4.1 人工神经元模型
4）S型函数
f(x)
1
,β 0
1 exp(βx)
5）高斯函数
f(x)
e
xp(
x2 b2
)
4.2 神经网络的定义和特点
规模组合，特别适合于用大规模集成电路实现。
4.3 感知器模型
感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提 出的，它是一个具有单层计算单元的神经网络，并由线性阈 值感元知件器组的成结。构
激发函数为阈值型函数，当其输入的加权和大于或等于 阈值时，输出为1，否则为0或-1。
4.4 神经网络的构成和分类
②网状结构：网络中任何两个神经元之间都可能双向联接。
➢反馈网络：从输出层到输入层 有反馈，每一个神经元同时接 收外来输入和来自其它神经元 的反馈输入，其中包括神经元 输出信号引回自身输入的自环 反馈。
➢混合型网络：前向网络的同 一层神经元之间有互联的网络。
4.4 神经网络的构成和分类
（2）从激发函数的类型上划分
高斯基函数神经网络、小波基函数神经网络、样条基 （3）函从数网神络经的网学络习等方等式上划分
①有导师学习神经网络
为神经网络提供样本数据，对网络进行训练，使网络 的输入输出关系逼近样本数据的输入输出关系。
②有导师学习神经网络
（划4分）：基从不输于学为 入B习神数P算算经据法法网的的上络特网来提 征络供提、样取基本出于数来H据。eb，b算学法习的过网程络中、网基络于自竞动争将式 学习算法的网络、基于遗传算法的网络。
(2) j
j 1
4.4 多层前向BP神经网络
网络的学习
学习的基本思想是：误差反传算法调整网络的权值，使网
络的实际输出尽可能接近期望的输出。 假设有M个样本: ( X k , yk ), k 1,2, M
它的权系W可变，这样它就可以学习。
4.3 感知器模型
感知器的学习算法
为方便起见，将阈值θ(它也同样需要学习)并入W中，令W
n+1=-θ，X向量也相应地n增1加一个分量xn+1=1，则
y f( Wixi ) i 1
学习算法：
① 给定初始值：赋给Wi(0)各一个较小的随机非零值，这 里Wi(t)为t时刻第i个输入的权(1≤i≤n)，Wn+1(t)为t时刻 的②阈输值入；一样本X=(xi,…,xn,1)和它的希望输出d；
4.1 人工神经元模型
人工神经元模型 模仿生物神经元产生冲动的过程，可以建立一个典型的人 工神经元数学模型
[x1,…,xn]T为输入向量，y为输出，f(·)为激发函数，θ为 阈值。 Wi为神经元与其它神经元的连接强度，也称权值。
4.1 人工神经元模型
常用的激发函数f 的种类 ：
1）阈值型函数
1 x 0 f(x) 0 x 0
经网络从拓扑结构上来说，主要分为层状和网状结 构。
4.4 神经网络的构成和分类
①层状结构：网络由若干层组成，每层中有一定数量的神经 元，相邻层中神经元单向联接，一般同层内神经元不能联接。
前向网络：只有前后相邻两层之间神经元相互联接，各神经 元之间没有反馈。每个神经元从前一层接收输入，发送输出 给下一层。
第四章 神经网络基本理论
4.1 人工神经元模型
人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象 生物神经元模型
生物神经元主要由细胞体、树突和轴突组成，树突和轴 突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞 体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲 动到达细胞膜则形成抑制性电位。两种电位进行累加， 若代数和超过某个阈值，神经元将产生冲动。
从Perceptron模型可以看出神经网络通过一组状态方 程和一组学习方程加以描述。
状态方程描述每个神经元的输入、输出、权值间的函数 关系。
分类学习方程描述权值应该怎样修正。神经网络通过修正这 些（权1）值从来结进构行上学划习分，从而调整整个神经网络的输入输出关 系。通常所说的网络结构，主要是指它的联接方式。神
（3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的
信息处理方式是大规模并行的，可以大大加快对信息处理的速度。
（4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经
元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等 势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联 想记忆功能。
4.4 多层前向BP神经网络
最早由werbos在1974年提出的，1985年由Rumelhart再次进行 发 展多。层前向神经网络的结构
多层前向神经网络由输入层、隐层（不少于1层）、输 出层组成，信号沿输入——>输出的方向逐层传递。
4.4 多层前向BP神经网络
沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj (i)表示第i层第j个神经元的输入和输出，则各层的输入输出
n1
③ 计算实际输Y出(t) f( Wi (t)xi )
i 1
④ 修正权W ：
Wi(t+1)=Wi(t)+η[d-Y
(⑤t)转]x到i, ②i直=1到,2W,对…一,n切+1样本均稳定不变为止。
4.3 感知器模型
根据某样本训练时，均方差随训练次数的 收敛情况
4.4 神经网络的构成和分类
构成
定 义神经网络系统是由大量的神经元，通过广泛地互相连接
而形成的复杂网络系统。 特
点（1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神
经网络以任意精度加以逼近。
（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之
间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处 理的要求。
关第系一可层描（述输为入：层）：将输入引入网络
Outi(1) Ini(1) xi i 1,2,, n
第二层（隐层）来自百度文库n
In
(2) j
wi(j1) Outi(1)
i1
j 1,2,,l
Out(j2) f (In(j2) )
第三层（输出层）
l
y Out (3) In (3)
w(j2)
Out
1 x0 f(x) 1 x 0
4.1 人工神经元模型
2）饱和型函数
1
f(x) kx
1
3）双曲函数
x 1
k
1 x 1
k
k
x1
k
f(x) arctan(x)
4.1 人工神经元模型
4）S型函数
f(x)
1
,β 0
1 exp(βx)
5）高斯函数
f(x)
e
xp(
x2 b2
)
4.2 神经网络的定义和特点