前向多层人工神经网络.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• X位于 l 上方，则：
w0x0 w1x1 W XT 0 d 1
• X位于 l 上方，则：
w0x0 w1x1 W XT 0 d 0
2006-09-14
第
假设已经输入了k个样本，运行到了第 k 步，当前的权值W(k)，于是
15 页
输入 X(k) 得到y(k)=1，但已知 X(k)属于C1类，即，d(k) = 0：
dk yk 1
于是，有：
Wk 2 Wk 1a Xk 1 Wk 1a Xk 1
2006-09-14
第
§2.3 线性函数神经元的最小二乘分类算法
2006-09-14
第
ANN的主要功能之二 —— 联想 ( Associative Memory )
3 页
联想的心理学定义： 当一个事物的表象被激活时，也就是说该表象所包含的若干属性单元同
时有效时，我们的注意力焦点就集中在这个表象上，如果对该表象的处理使 的表象被否决时，也就是说由于一些属性单元的失效（或被抑制，或处于高
2006-09-14
第
§2.2 采用硬限幅函数时单个神经元的分类功能
9 页
线性可分性( Linear Separable )
设有C0和C1两类模式
R0：C0类模式的样本集； R1：C1类模式的样本集；
分类的第一步：在两类样本给分定布两区域类C0和C1的学习样本集合 之间寻找一个分类函R数（0 和分类R线1、，面若） 存 在 线 性 分 类 函 数 （ 直 使得实两现类这样本一各目处标在的线一过边程、；，平称为面“、学习超”平或面“训）练l”，，将所两用到类的学计算习策样 略称为“学习算法”本；样无本误集合差R0地和R分1称开为，学习则样称本集该合分。类问题为
则训练样本为： yXkk10x0
k Xk
Xk
x1k C0 C1
权值矢量为： Wk w0k w1k
由直线方程可知，W(k)是直线 l 的法线 :
l : w0x0 w1x1 W XT 0
• X位于 l 上，则：
w0 x0 w1x1 W XT 0
值讲是到离的散有的关、智有能限方的法，，事都先只主涉观及规到定特的征。提取之后的工作。
2006-09-14
第
6
神经元模型
页
神经元的输入：
X x0 x1 xN1
所完成的运算为：
Net
W
XT
N-1
wi xi
i0
y f Net
式中： W w0 w1 wN1 称为神经元的“权值矢量”； f 称为神经元的“功能函数”；
dk yk 1
于是，有： Wk 1 Wka Xk Wka Xk
可见，分类线 l 得到了合理的调整。
再假设，接下来输入的X(k+1) 属于 C0类，即，即，d(k) = 1， 如图所示，被错分为C1类，即 用 W(k+1)计算得到 y(k+1)=0 ：
称为第程i个。样本，或者第i个样本的特征矢量。 特征空间：即特征矢量张成的空间，每个样本对应于特征空间上的一点。
2006-09-14
第
模式类：特征参数选择合理时，不同类的模式，在特征空间中占据不
5 页
同的分布区域；
模式识别所要做的事情，包含两个方面：
1. 在不同类别样本点集之间，寻找合理的分界面，或称作“判别函数 （Decision Function）” —— 因为判别函数来自于实际观测数据， 因此称此阶段为 “学习” 或 “训练” ；
监督”例学如习，，语即音，识给别出，学如习何样从本自同然时语还音指中定提了取它“的特类征别”。，是语音识别的
所专 域谓业的“问问工题题作；，”图即，象使则识在是别图给， 象出如 处未何 理知从 领类域CC别，D的不图样同象本应获X用取i 目，适的问当所y的i 取等特的于征特多，征少是也。图不显象同然处。X理i来领 自于对模客式观识对别象的的全时过间程观，测应，该其包取括值特无征法提事取先阶限段定。。但但是表，示我y们i类这别里，将取要
0
w1
1
2006-09-14
第
学习算法
11 页
将输入矢量 X 和权矢量 W 作如下扩张：
X x0, x1, , xN1, 1
W w0, w1, , wN1,
神经元模型成为：
Net
N 1
wn xn
n0
WX
y fh Net
样本。假设轮到了第k个X(k) ：
若输出y (k)与样本类别d (k)相同，即， 0 则不调整W
的大小，W(k+1)=W(k)，输入下一个样本X(k+1) 。
若输出y(k)与样本类别值d (k)不同，即， 0 则按以下
算法调整W ；
W(0) 任意设置
Wk 1 Wka dk yk Xk
2. 给定未值模式，判断该样本所属类别，称为“工作”或“应用”。
以上所特说征的选“择学的习好”坏是或模“式训识练别”成，败是的根关据键若，干但已如知何样选本择在“空特间征找”到，合即，
适选的择分什类么面物。理对量于作一为个特样征本，X是i，具体用专yi表业示“它领所域属”的的类问别题，，例需如要，运它用属“于领 第域k”类的。专则业样知本识已来知解，决意。味着{Xi ， yi}已知。这种“学习”又称为“有
页
X0 Xk Xk x0k x1k 1
d0 dk 其中
d
k
1 0
Xk C0 Xk C1
训练样本 k ； 训练样本的取值；
起初，我们随意指定一个权矢量： W0 w00 w10 0
• 狭义地说，模式是通过对具体的个别事物进行观测所得到的具有时间和 空间分布的信息；
模式类：把模式所属的类别或同一类中模式的总体称为模式类(或简称为类);
模式识别：—在—一对定表量征度或事观物测或基现础象上的把各待种识形模式式的划（分数到值各的自，的文模字式的类和中逻去 的辑过关程 系叫 的作 ）模信式息识进别行；处理和分析，以对事物或现象进行描述、辨认、分类 和解释的过程，是信息科学和人工智能的重要组成部分。
阻），导致该表象无法成立的时候，剩余的属性单元或许可以构成另一种事
物的表象，或许还需要结合那些被激活了的新的属性（或是由外界事物具有
的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活）。
• 例如：看到柠檬，感觉到嘴里口水增多。因为，由柠檬联想到了酸味。 • 字符识别：
2006-09-14
第
10 页
w0 x0 w1x1 0 X C0
任给样本 X = [ x1, x2 ]，l 应该满足：
w0 x0 w1x1 0 X C1
令： y w0x0 w1x1 则可以写成：
把 w0 , w1 看作权值， 看作阈值，用
一个神经元来表示以上二维分类问题，则：
分类的第二步：当获得“了线分类性函可数分l 以问后题，就”可。以进入工作阶段了。任给
未知模式X，若它位于R0一侧，则判定其为C0类；若它位于R1一侧，则
判定其为C1类；若它落在分类线l 上，则不可识别。
2006-09-14
第
假设，二维分类问题的分类函数为 l： w0 x0 w1x1 0
或现象，就可以识别这个集合中的任意多的事物或现象。为了强调能从具体的 事物或字现符象识中别推：断例出如总汉体字，“我中们”就可把以个有别各的种事写物法或，现但象都称属作于“同模一式类”别，。而把总 体称作更类为别重或要范的畴是。，即使对于某个“中”的具体写法从未见过，也能把 特征矢它量分：到最“简中单”的这情一况类是别用。一组称为“特征参数”的数值信息表示一个客观 对象。识例别如目，标水：果人品们质走分向类一中个用目到的的地大的小时、候重，量总、是比在重不、断果的型观、察颜周色围，的其取值
再论模式识别：对表征事物或现象的各种形式的（数值的、文字的或逻 4
页
辑的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和
解释的过程称为“模式识别”，是信息科学和人工智能的重要组成部分。 人在分辨不同类别的事物时，抽取了同类事物之间的相同点以及不
同类事物之间的不同点；
模式是和类别（集合）的概念分不开的，只要认识这个集合的有限数量的事物
Wk a Xk
k 0, 1, 2, ,
( 2-7 )
式中a 称为“步幅”，用来控制每次调整的步长。如此不断重
复，W(k)随着迭代次数k的增加，逐渐趋于正确答案。
2006-09-14
第
算法的几何原理：
14 页
假设：理想分类线过原点，即： w0 x0 w1x1 0 ，阈值 为0。
第
第二讲 前向多层人工神经网络
1 页
§ 2.1 概 述
ANN的主要功能之一 —— 模式识别 ( Pattern Recognition )
模式识别是人类的一项基本智能行为，在日常生活中，我们几乎 时刻在进行着“模式识别”。
模式： • 广义地说，存在于时间和空间中可观察的事物，如果可以区别它们是 否相同或相似，都可以称之为模式；
以W(0)为权矢量，向神经元输入一个样本X(k)， 用y(k)表示得到的输出。显然y(k)不一定等于X(k) 的实际类别值d(k)，令：
dk yk (2-29)
0 输出正确
则必有：
1
ຫໍສະໝຸດ Baidu
错将C0判为C1
1 错将C1判为C0
2006-09-14
第 13
学习算法：为了找到正确的W，我们向神经元逐个输入学习 页
2006-09-14
第
前项人工神经网络的拓扑结构
8 页
前层的输出作为后层的输入；
各层的神经元个数可以不同；
层数两层以上，目前大多为3层；
同层神经元不能连接，后层不 能向前层反向连接；
连接强度（即，权值大小）可 以为0，强度为0实际上就是没有 连接；
输入矢量X代表从客观对象观测 得到的特征；输出层包含一个或多 个神经元，用于表达更为复杂的运 算结果；
(2-7)
• 学习的目的，就是要找到权矢量W。对于前面的例子，就是寻找能够无
误差分开两类样本的直线参数 [w0, w1, ]。
• 学习是针对给定的学习样本集合进行的，不同的样本集合可以得到不同
的学习结果。对于两类可分问题，能够无误差地分开学习样本的结果都 是正确的。
2006-09-14
第
12
设二维分类问题，有学习样本：
2006-09-21
Net 称为神经元的“净输入”； y 称为神经元的“输出”；
第
7
常用的神经元功能函数类型
页
线性函数 f u u 又称为“恒同函数”
硬限幅函数
1, u 0 fh [u] 0, u 0
S函数(Sigmoid)
f
s
[u]
1
1 e
u
u取值于[0,1]之间。
2006-09-14
第
模式识别，举例：水果分级系统。
2 页
水果品质参数：重量、大小、比重、果形、颜色等
特征矢量：X = [x1, x2, x3, x4, x5]
特征空间：用参数张成。 模式：每个苹果为一个模式，其特征矢量
为特征空间中的一个点； 模式类：一个级别为一个类，一类模式分
布在特征空间的某个特定区域； 模式识别：找出各类之间的分界面。
y 0 X C0 y 0 X C1
w 对任于yy意输上入面ff一hh的N个例ei模iyt110子0式www，fXh0ii，x其xxN0ii若 若e直tXXw线属 属1x1方于 于CC程XX01则 则的RRyy系1==0 数01； ；为01：
均为数景 做值物“。，正表判确示断”成所和特选“征择不矢的正量路确形线”式是的：否分X正i类=确判[。断x实i1。,际xi上2, ，xi是3, x对i4眼, x睛i5看]；到的图象 样本：人对脑一的个这具种体思对维象能进力行就观构测成得了到“的模一式个”特的征概矢念量和称“为模一式个识“别样”本的”过， Xi
w0x0 w1x1 W XT 0 d 1
• X位于 l 上方，则：
w0x0 w1x1 W XT 0 d 0
2006-09-14
第
假设已经输入了k个样本，运行到了第 k 步，当前的权值W(k)，于是
15 页
输入 X(k) 得到y(k)=1，但已知 X(k)属于C1类，即，d(k) = 0：
dk yk 1
于是，有：
Wk 2 Wk 1a Xk 1 Wk 1a Xk 1
2006-09-14
第
§2.3 线性函数神经元的最小二乘分类算法
2006-09-14
第
ANN的主要功能之二 —— 联想 ( Associative Memory )
3 页
联想的心理学定义： 当一个事物的表象被激活时，也就是说该表象所包含的若干属性单元同
时有效时，我们的注意力焦点就集中在这个表象上，如果对该表象的处理使 的表象被否决时，也就是说由于一些属性单元的失效（或被抑制，或处于高
2006-09-14
第
§2.2 采用硬限幅函数时单个神经元的分类功能
9 页
线性可分性( Linear Separable )
设有C0和C1两类模式
R0：C0类模式的样本集； R1：C1类模式的样本集；
分类的第一步：在两类样本给分定布两区域类C0和C1的学习样本集合 之间寻找一个分类函R数（0 和分类R线1、，面若） 存 在 线 性 分 类 函 数 （ 直 使得实两现类这样本一各目处标在的线一过边程、；，平称为面“、学习超”平或面“训）练l”，，将所两用到类的学计算习策样 略称为“学习算法”本；样无本误集合差R0地和R分1称开为，学习则样称本集该合分。类问题为
则训练样本为： yXkk10x0
k Xk
Xk
x1k C0 C1
权值矢量为： Wk w0k w1k
由直线方程可知，W(k)是直线 l 的法线 :
l : w0x0 w1x1 W XT 0
• X位于 l 上，则：
w0 x0 w1x1 W XT 0
值讲是到离的散有的关、智有能限方的法，，事都先只主涉观及规到定特的征。提取之后的工作。
2006-09-14
第
6
神经元模型
页
神经元的输入：
X x0 x1 xN1
所完成的运算为：
Net
W
XT
N-1
wi xi
i0
y f Net
式中： W w0 w1 wN1 称为神经元的“权值矢量”； f 称为神经元的“功能函数”；
dk yk 1
于是，有： Wk 1 Wka Xk Wka Xk
可见，分类线 l 得到了合理的调整。
再假设，接下来输入的X(k+1) 属于 C0类，即，即，d(k) = 1， 如图所示，被错分为C1类，即 用 W(k+1)计算得到 y(k+1)=0 ：
称为第程i个。样本，或者第i个样本的特征矢量。 特征空间：即特征矢量张成的空间，每个样本对应于特征空间上的一点。
2006-09-14
第
模式类：特征参数选择合理时，不同类的模式，在特征空间中占据不
5 页
同的分布区域；
模式识别所要做的事情，包含两个方面：
1. 在不同类别样本点集之间，寻找合理的分界面，或称作“判别函数 （Decision Function）” —— 因为判别函数来自于实际观测数据， 因此称此阶段为 “学习” 或 “训练” ；
监督”例学如习，，语即音，识给别出，学如习何样从本自同然时语还音指中定提了取它“的特类征别”。，是语音识别的
所专 域谓业的“问问工题题作；，”图即，象使则识在是别图给， 象出如 处未何 理知从 领类域CC别，D的不图样同象本应获X用取i 目，适的问当所y的i 取等特的于征特多，征少是也。图不显象同然处。X理i来领 自于对模客式观识对别象的的全时过间程观，测应，该其包取括值特无征法提事取先阶限段定。。但但是表，示我y们i类这别里，将取要
0
w1
1
2006-09-14
第
学习算法
11 页
将输入矢量 X 和权矢量 W 作如下扩张：
X x0, x1, , xN1, 1
W w0, w1, , wN1,
神经元模型成为：
Net
N 1
wn xn
n0
WX
y fh Net
样本。假设轮到了第k个X(k) ：
若输出y (k)与样本类别d (k)相同，即， 0 则不调整W
的大小，W(k+1)=W(k)，输入下一个样本X(k+1) 。
若输出y(k)与样本类别值d (k)不同，即， 0 则按以下
算法调整W ；
W(0) 任意设置
Wk 1 Wka dk yk Xk
2. 给定未值模式，判断该样本所属类别，称为“工作”或“应用”。
以上所特说征的选“择学的习好”坏是或模“式训识练别”成，败是的根关据键若，干但已如知何样选本择在“空特间征找”到，合即，
适选的择分什类么面物。理对量于作一为个特样征本，X是i，具体用专yi表业示“它领所域属”的的类问别题，，例需如要，运它用属“于领 第域k”类的。专则业样知本识已来知解，决意。味着{Xi ， yi}已知。这种“学习”又称为“有
页
X0 Xk Xk x0k x1k 1
d0 dk 其中
d
k
1 0
Xk C0 Xk C1
训练样本 k ； 训练样本的取值；
起初，我们随意指定一个权矢量： W0 w00 w10 0
• 狭义地说，模式是通过对具体的个别事物进行观测所得到的具有时间和 空间分布的信息；
模式类：把模式所属的类别或同一类中模式的总体称为模式类(或简称为类);
模式识别：—在—一对定表量征度或事观物测或基现础象上的把各待种识形模式式的划（分数到值各的自，的文模字式的类和中逻去 的辑过关程 系叫 的作 ）模信式息识进别行；处理和分析，以对事物或现象进行描述、辨认、分类 和解释的过程，是信息科学和人工智能的重要组成部分。
阻），导致该表象无法成立的时候，剩余的属性单元或许可以构成另一种事
物的表象，或许还需要结合那些被激活了的新的属性（或是由外界事物具有
的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活）。
• 例如：看到柠檬，感觉到嘴里口水增多。因为，由柠檬联想到了酸味。 • 字符识别：
2006-09-14
第
10 页
w0 x0 w1x1 0 X C0
任给样本 X = [ x1, x2 ]，l 应该满足：
w0 x0 w1x1 0 X C1
令： y w0x0 w1x1 则可以写成：
把 w0 , w1 看作权值， 看作阈值，用
一个神经元来表示以上二维分类问题，则：
分类的第二步：当获得“了线分类性函可数分l 以问后题，就”可。以进入工作阶段了。任给
未知模式X，若它位于R0一侧，则判定其为C0类；若它位于R1一侧，则
判定其为C1类；若它落在分类线l 上，则不可识别。
2006-09-14
第
假设，二维分类问题的分类函数为 l： w0 x0 w1x1 0
或现象，就可以识别这个集合中的任意多的事物或现象。为了强调能从具体的 事物或字现符象识中别推：断例出如总汉体字，“我中们”就可把以个有别各的种事写物法或，现但象都称属作于“同模一式类”别，。而把总 体称作更类为别重或要范的畴是。，即使对于某个“中”的具体写法从未见过，也能把 特征矢它量分：到最“简中单”的这情一况类是别用。一组称为“特征参数”的数值信息表示一个客观 对象。识例别如目，标水：果人品们质走分向类一中个用目到的的地大的小时、候重，量总、是比在重不、断果的型观、察颜周色围，的其取值
再论模式识别：对表征事物或现象的各种形式的（数值的、文字的或逻 4
页
辑的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和
解释的过程称为“模式识别”，是信息科学和人工智能的重要组成部分。 人在分辨不同类别的事物时，抽取了同类事物之间的相同点以及不
同类事物之间的不同点；
模式是和类别（集合）的概念分不开的，只要认识这个集合的有限数量的事物
Wk a Xk
k 0, 1, 2, ,
( 2-7 )
式中a 称为“步幅”，用来控制每次调整的步长。如此不断重
复，W(k)随着迭代次数k的增加，逐渐趋于正确答案。
2006-09-14
第
算法的几何原理：
14 页
假设：理想分类线过原点，即： w0 x0 w1x1 0 ，阈值 为0。
第
第二讲 前向多层人工神经网络
1 页
§ 2.1 概 述
ANN的主要功能之一 —— 模式识别 ( Pattern Recognition )
模式识别是人类的一项基本智能行为，在日常生活中，我们几乎 时刻在进行着“模式识别”。
模式： • 广义地说，存在于时间和空间中可观察的事物，如果可以区别它们是 否相同或相似，都可以称之为模式；
以W(0)为权矢量，向神经元输入一个样本X(k)， 用y(k)表示得到的输出。显然y(k)不一定等于X(k) 的实际类别值d(k)，令：
dk yk (2-29)
0 输出正确
则必有：
1
ຫໍສະໝຸດ Baidu
错将C0判为C1
1 错将C1判为C0
2006-09-14
第 13
学习算法：为了找到正确的W，我们向神经元逐个输入学习 页
2006-09-14
第
前项人工神经网络的拓扑结构
8 页
前层的输出作为后层的输入；
各层的神经元个数可以不同；
层数两层以上，目前大多为3层；
同层神经元不能连接，后层不 能向前层反向连接；
连接强度（即，权值大小）可 以为0，强度为0实际上就是没有 连接；
输入矢量X代表从客观对象观测 得到的特征；输出层包含一个或多 个神经元，用于表达更为复杂的运 算结果；
(2-7)
• 学习的目的，就是要找到权矢量W。对于前面的例子，就是寻找能够无
误差分开两类样本的直线参数 [w0, w1, ]。
• 学习是针对给定的学习样本集合进行的，不同的样本集合可以得到不同
的学习结果。对于两类可分问题，能够无误差地分开学习样本的结果都 是正确的。
2006-09-14
第
12
设二维分类问题，有学习样本：
2006-09-21
Net 称为神经元的“净输入”； y 称为神经元的“输出”；
第
7
常用的神经元功能函数类型
页
线性函数 f u u 又称为“恒同函数”
硬限幅函数
1, u 0 fh [u] 0, u 0
S函数(Sigmoid)
f
s
[u]
1
1 e
u
u取值于[0,1]之间。
2006-09-14
第
模式识别，举例：水果分级系统。
2 页
水果品质参数：重量、大小、比重、果形、颜色等
特征矢量：X = [x1, x2, x3, x4, x5]
特征空间：用参数张成。 模式：每个苹果为一个模式，其特征矢量
为特征空间中的一个点； 模式类：一个级别为一个类，一类模式分
布在特征空间的某个特定区域； 模式识别：找出各类之间的分界面。
y 0 X C0 y 0 X C1
w 对任于yy意输上入面ff一hh的N个例ei模iyt110子0式www，fXh0ii，x其xxN0ii若 若e直tXXw线属 属1x1方于 于CC程XX01则 则的RRyy系1==0 数01； ；为01：
均为数景 做值物“。，正表判确示断”成所和特选“征择不矢的正量路确形线”式是的：否分X正i类=确判[。断x实i1。,际xi上2, ，xi是3, x对i4眼, x睛i5看]；到的图象 样本：人对脑一的个这具种体思对维象能进力行就观构测成得了到“的模一式个”特的征概矢念量和称“为模一式个识“别样”本的”过， Xi