第三章前馈神经网络模型

W1 ○ Wj ○ Wm○
为两层。图中输入层也称为感知
层，有n个神经元节点，这些节点
只负责引入外部信息，自身无信 ○ ○ ○ ○
息处理能力，每个节点接收一个 输入信号，n个输入信号构成输 x1
x2 … xi … xn
入列向量X。输出层也称为处理层，有m个神经元节点， 每个节点均具有信息处理能力，m个节点向外部输出处理 信息，构成输出列向量O。两层之间的连接权值用权值列 向量Wj表示，m个权向量构成单层感知器的权值矩阵W。 3个列向量分别表示为：
第三章
前馈神经网络模型
第三章前馈神经网络模型
❖ 前馈神经网络：由一层或多层非线性处理单元组 成。相邻层之间通过突触权阵连接起来。由于前 一层的输出作为下一层的输入，因此此类神经网 络为前向神经网络。
▪ 在前向神经网络结构中输入输出之间包含着一层 或多层隐含层。
▪ 前向神经网络可以看成是一种一组输入模式到一 组输出模式的系统变换，这种变换通过对某一给 定的输入样本相应的输出样本集的训练而得到， 为了实现这一行为，网络的权系数在某种学习规 则下进行自适应学习，也就是有导师指导学习。
(3.5)
则由方程 w1jx1+w2jx2+…+wnj –Tj=0 (3.6) 确定了n维空间上的一个分界平面。
第三章前馈神经网络模型
例一 用感知器实现逻辑“与”功能
逻辑“与”真值表
x1 x2 y 000 010 100 111
第三章前馈神经网络模型
例一 用感知器实现逻辑“与”功能
感知器结构
x1 ○ 0.5
y
1
1(或0)
wi
n
若 wi xi 0 i 1
n
若 wi xi 0 i 1
xi
Ө
y
第三章前馈神经Leabharlann 络模型感知器简介1958年，美国心理学家Frank Rosenblatt提出一种具 有单层计算单元的神经网络，称为Perceptron，即感知器。 感知器是模拟人的视觉接受环境信息，并由神经冲动进行 信息传递的层次型神经网络。感知器研究中首次提出了自 组织、自学习的思想，而且对所能解决的问题存在着收敛 算法，并能从数学上严格证明，因而对神经网络研究起了 重要推动作用。
感知器的结构与功能都非常简单，以至于在解决实际 问题时很少采用，但由于它在神经网络研究中具有重要意 义，是研究其它网络的基础，而且较易学习和理解，适合 于作为学习神经网络的起点。
第三章前馈神经网络模型
感知器模型结构
感知器的模型结构如图所示。感
o1 … oj … om
知器是指只有一层处理单元的感 知器，如果包括输入层在内，应
第三章前馈神经网络模型
感知器模型结构
X(x1,x2,..i.,x...n,)T x
O(o1,o2,..i.,o...m ,)oT
Wj(w1j,w2j,...iw j,...n,w )jT j=1,2,…,m
第三章前馈神经网络模型
感知器模型结构
n
net j wij xi i1
n
ojsg(nnejtTj)sg(nw ijxi)sg(W nT j X) i0
0.5 ○ y
x2 ○
0.75
-1
wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0
第三章前馈神经网络模型
例二 用感知器实现逻辑“或”功能
逻辑“或”真值表
x1 x2 y 000 011 101 111
第三章前馈神经网络模型
例二 用感知器实现逻辑“或”功能
感知器结构
x1 ○ 1
1○ y
x1
*
*
*
*
O
*
*
O
*
*
O
O
*
O
x2
** O
O
O
O
第三章前馈神经网络模型
感知器的功能
x1
(2)设输入向量X=(x1,x2,x3)T
x2
x3
oj
-1
输出： oj 11w w 1 1jjx x1 1 w w 2 2jjx x2 2 w w 3 3jjx x3 3 T Tjj 0 0
则由方程 w1jx1+w2jx2+w3j –Tj=0 确定了三维空间上的一个分界平面。
则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。
第三章前馈神经网络模型
感知器的功能
w1j x1+w2j x2 – Tj = 0
w1j x1 = Tj - w2j x2
x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c
x2 ○
0.5
-1
wix1+w2x2 -T=0 x1+x2-0.5=0
第三章前馈神经网络模型
思考
分界线的方程是什么？ 感知器的模型如何表示？
– 数学表达式？
第三章前馈神经网络模型
感知器的局限性
Rosenblatt已经证明，如果两类模式在分布空间中可以找 到一个超平面将它们分开，那么感知器的学习过程就一定 会收敛。否则判定边界就会振荡不休，永远不会稳定，这 也正是单层感知器所无法克服的缺陷，所以它连最简单的 异或（XOR）问题也解决不了。
“异或”的真值表
x1
x2
y
x1
000 011 101
O
O
x2
1
1
0 第三章前馈神经网络模型
感知器的局限性
关键问题就是求
WTj X 0
第三章前馈神经网络模型
感知器的功能
w1j x1+w2j x2 +w3j x3– Tj = 0
x1 = a x2 +b x3 +c
x1
*
*
*
*
O
*
*
O
*
*
O
O
*
O
x2
**
O
O
O
x3
第三章前馈神经网络模型
感知器的功能
(3) 设输入向量X=(x1，x2,…，xn)T
输出：w1jx1+w2jx2+…+wnj –Tj=0
第三章前馈神经网络模型
感知器的功能
一个最简单的单计算节点感知器具有分类功 能。其分类原理是将分类知识存储于感知器的权 向量（包含了阈值）中，由权向量确定的分类判 决界面将输入模式分为两类。
第三章前馈神经网络模型
感知器的功能
(1)设输入向量X=(x1 ,x2)T
x1
oj
x2
-1
输出：oj
1 1
w1jx1w2jx2Tj 0 w1jx1w2jx2Tj0
第三章前馈神经网络模型
内容提要
感知器 多层感知器 自适应线性元模型 BP算法
第三章前馈神经网络模型
第一节 感知器
第三章前馈神经网络模型
线性阈值单元
线性阈值单元是前向网络（又称前馈网络）中最 基本的计算单元，它具有n个输入（x1,x2,…,xn）， 一个输出y，n个连接权值（w1,w2,…,wn），且