神经网络分类器 (2)

5、感知器算法收敛性分析 、 收敛定理：如果训练模式是线性可分的， 收敛定理：如果训练模式是线性可分的，感知器训练算法在 有限次迭代后便可以收敛到正确的解矢量w* 有限次迭代后便可以收敛到正确的解矢量 为权向量的解， 设： w*为权向量的解，则它具有下式的性质： 为权向量的解 则它具有下式的性质：
属于ω 属于ω 例2：已知训练样本 ，0)’属于 1类，(1，1)’属于 2类，( -1， ：已知训练样本(0， 属于 ， 属于 ， 1)’属于 3类，试求解向量 1*, w2* , w3* 属于ω 试求解向量w 属于
实验四：实验所用样本数据如表给出，编制程序实现ω 实验四：实验所用样本数据如表给出，编制程序实现 1、ω2、 ω3、ω4类的分类。 类的分类。
7、感知器算法推广 、 由感知器算法： 由感知器算法：
w(k ) wT (k ) ⋅ xk > 0 w(k + 1) = w(k ) + c ⋅ xk wT (k ) ⋅ xk ≤ 0
进一步： 变为对分类错误敏感的准则函数J(w, x) 进一步：将cxk变为对分类错误敏感的准则函数 定义： 定义： w(k + 1) = w(k ) − c ⋅ ∇J
2、人工神经元 、 人工神经元模型： 人工神经元模型： xi：输入，神经元的输入值 输入， ωi：权值，突触的连接强度 权值， f ：输出函数，非线性函数 输出函数， y ：输出 神经元动作： 神经元动作： = ∑ wi ⋅ xi net
y = f (net )
i =1 n
常用输出函数： 常用输出函数： 阈值函数： 阈值函数： f ( x) = sgn( x)
例1：试用感知器算法求出下列两类的判别函数。 ：试用感知器算法求出下列两类的判别函数。 ω1：{(0,0)T,(0,1)T}， ω2：{(1,0)T,(1,1)T}， ， ，
上机作业三： 上机作业三： ω1=(x1,x2)={(1,0,1),(0,1,1)} ω2=(x3,x4)={(1,1,0),(0,1,0)} 使用感知器算法给出区分两类模式的判别函数。 使用感知器算法给出区分两类模式的判别函数。
二、人工神经元 1、生物神经元 、 典型的神经元，即神经细胞结构：胞体、树突、轴突、 典型的神经元，即神经细胞结构：胞体、树突、轴突、突触
胞体：神经细胞的本体，完成普通细胞的生存功能。 胞体：神经细胞的本体，完成普通细胞的生存功能。 树突：有大量的分枝，接受来自其他神经元的信号。 树突：有大量的分枝，接受来自其他神经元的信号。 轴突：用以输出信号。 轴突：用以输出信号。 突触：神经元相联系的部位，对树突的突触为兴奋性的， 突触：神经元相联系的部位，对树突的突触为兴奋性的，使 下一个神经元兴奋；对胞体的突触为抑制性的， 下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个 神经元兴奋。 神经元兴奋。
神经元的基本工作机制： 神经元的基本工作机制： 神经元的两种工作状态：兴奋和抑制。 神经元的两种工作状态：兴奋和抑制。 动态极化原则：在每一个神经元中， 动态极化原则：在每一个神经元中，信息以预知的确定方 向流动， 向流动，即从神经元的接收信息部分传到轴突的电脉冲起 始部分，再传到轴突终端的突触，以与其它神经元通信。 始部分，再传到轴突终端的突触，以与其它神经元通信。 连接的专一性原则：神经元之间无细胞质的连续， 连接的专一性原则：神经元之间无细胞质的连续，神经元 不构成随机网络， 不构成随机网络，每一个神经元与另一些神经元构成精确 的联接。 的联接。 信号的传递过程： 信号的传递过程： 接受兴奋电位； 接受兴奋电位； 信号的汇集和传导； 信号的汇集和传导； 信号的输出。 信号的输出。
阶跃函数： 阶跃函数： f ( x) = step ( x) 双曲正切函数： 双曲正切函数： f ( x) = th( x) =
2 −1 −2 x 1+ e
无限次可微
权值很小时接 近线性函数 权值很大时 接近阈值函 数
非线性， 非线性，单调性
3、感知器模型 、
f 为阈值函数： 为阈值函数：
y = f (∑ wi xi + θ )
i =1
n
y = sgn(∑ wi xi + θ )
i =1
n
设阈值： 设阈值：θ=-ω0 W=(ω1,ω2, … ,ωn,ω0)T X=(x1, x2, … , xn, 1)T
1 W T x > 0 ωi TX) 即： y =f (WTX)= ⇒ x∈ 则：y=sgn (W T − 1 W x < 0 ω j
初始化： 初始化： 给定一个训练模式集{x 给定一个训练模式集 1, x2,…xN}，其中每个类别已知， ，其中每个类别已知， 它们分属于ω 它们分属于 1,ω2。 xi＝(xi1, xi2,…xin)T为n维向量，增广为 维向量， 维向量： 维向量 增广为(n+1)维向量：xi＝ 维向量 (xi1, xi2,…xin,1) ω2类样本乘以－1。 类样本乘以－ 。 权向量w为 维向量。 权向量 为(n+1)维向量。 维向量
1+ e
神经元的学习算法 Hebb学习规则： 学习规则： 学习规则 如果神经元u 接收来自另一神经元u 的输出， 如果神经元 i接收来自另一神经元 j的输出，则当这两个神 经元同时兴奋时， 的权值w 就得到加强，可写成： 经元同时兴奋时，从uj到ui的权值 ij就得到加强，可写成：
神经网络的应用 神经网络本质上可以理解为函数逼近，可以应用到众多领域： 神经网络本质上可以理解为函数逼近，可以应用到众多领域： 优化计算 信号处理 智能控制 模式识别 机器视觉等
常用输出函数： 常用输出函数： 线性输出函数： 线性输出函数：a=f (x)=x Sigmoid 函数：a = f ( x) = 1 − x 函数：
= w(k ) − c{ ∂J ( w, x) }w= w( k ) ∂w
梯度下降准则
5.2 神经网络分类器 感知机Perceptron (Rosenblatt 1958) Adaline(Widrow 感知机 and Hoff) 《Perceptron》 (Minsky & Papert, 1969) 》 Hopfield模型 (Hopfield，1982) 模型 ， 多层感知机MLP与反向传播算法 与反向传播算法BP (Rumelhart, 1986) 多层感知机 与反向传播算法 神经网络的特点 自学习 自适应 并行处理 分布表达与计算
4、感知器训练算法 、 算法描述 用样本训练时， 不变。 用样本训练时，若x∈ωi，g(x)>0，则w不变。 ∈ ， 不变 若g(x)<0，则修改 ，直到所有样本都满足条 ，则修改w， 件为止。 件为止。 通过上面的定义，感知器问题变成wi/wj两类问题。因此，感 通过上面的定义，感知器问题变成 两类问题。因此， 知器的自组织、自学习思想可以用于确定性分类器的训练— 知器的自组织、自学习思想可以用于确定性分类器的训练 —感知器训练方法。 感知器训练方法。 感知器训练方法
Байду номын сангаас
如果x 如果 k∈ωi和dl(xk) ≥ di(xk) (l≠ i)则： 则 wi(k+1)=wi(k)+ρxk wl(k+1)=wl(k)-ρxk wj(k+1)=wi(k)(任意 ≠ l, i) 任意j 任意 (4)如果 如果k<N,令k=k+1,返至 。如果 返至(2)。如果k=N，则检验判别 如果 令 返至 ， 函数w 对 是否都能正确分类。 函数 i’x对x1, x2… xN,是否都能正确分类。若是，结束； 是否都能正确分类 若是，结束； 若不是， 返至(2) 若不是，令k=1,返至 返至
w *T ⋅ xi > 0 i = 1,2,...N
若将式中阈值0改为一非负值 ，则变为更一般的形式： 若将式中阈值 改为一非负值T，则变为更一般的形式： 改为一非负值
w *T ⋅xi > T i = 1,2,...N
感知器算法可写成： 感知器算法可写成：
w(k ) 如果wT ( k ) ⋅ xk > T w(k + 1) = w(k ) + xk 如果wT (k ) ⋅ xk ≤ T
这种神经元没有内部状态的转变，而且函数为阈值型。因此， 这种神经元没有内部状态的转变，而且函数为阈值型。因此， 它实质上是一种线性阈值计算单元。 它实质上是一种线性阈值计算单元。 感知器是一个具有单层计算单元的人工神经网络。 感知器是一个具有单层计算单元的人工神经网络。感知器训 练算法就是由这种神经网络演变来的。 练算法就是由这种神经网络演变来的。 感知器算法能够通过对训练模式样本集的“学习” 感知器算法能够通过对训练模式样本集的“学习”得出判别 函数的系数解。 函数的系数解。
第五章 神经网络分类器
5.1 感知器算法 5.2 神经网络分类器
5.1 感知器算法 一、引言 模式识别与人工智能是研究如何利用计算机实现人脑的一些 功能。 功能。
人工神经网络研究的发展： 人工神经网络研究的发展： 1943年，提出形式神经元的数学模型，人工神经网络研究的 年 提出形式神经元的数学模型， 开端。 开端。 1949年，提出神经元的学习准则，为神经网络的学习算法奠 年 提出神经元的学习准则， 定了基础。 定了基础。 50年代，研究类似于神经网络的分布系统。 年代，研究类似于神经网络的分布系统。 年代 50年代末提出感知模型，把神经网络的实现付诸工程实践。 年代末提出感知模型，把神经网络的实现付诸工程实践。 年代末提出感知模型 1982年，提出神经网络的数学模型，引入了能力的概念，研 年 提出神经网络的数学模型，引入了能力的概念， 究了网络的动力学特性；设计出用电子线路实现网络的方案， 究了网络的动力学特性；设计出用电子线路实现网络的方案， 大大促进了神经网络的研究。 大大促进了神经网络的研究。 1986年，提出多层感知器的反向传播算法。 年 提出多层感知器的反向传播算法。 现在神经网络的应用已渗透到智能控制、信号处理、 现在神经网络的应用已渗透到智能控制、信号处理、优化计 生物医学工程等领域。 算、生物医学工程等领域。
感知器算法步骤 置步数k=1，令增量C为常数，且C>0，分别赋予初始增广 置步数 ，令增量 为常数， ， 为常数 权矢量w(1)的各分量较小的任意值。 的各分量较小的任意值。 权矢量 的各分量较小的任意值 计算判别函数值w 输入训练模式xk，计算判别函数值 T(k)xk 调整增广权矢量，规则是： 调整增广权矢量，规则是： 如果w 如果 T(k)xk≤0, 则w(k+1)=w(k)+ Cxk 如果w 如果 T(k)xk>0, 则w(k+1)=w(k) 如果k<N，令k=k+1，返至第二步。如果 ， 如果 ，返至第二步。如果k=N，则检验判别 ， 函数wTx对x1, x2,…, xN，是否都能正确分类。若是，结束； 函数 对 是否都能正确分类。若是，结束； 若不是， 若不是，令k=1，返至第二步 ，
取C=1（不失一般性，可分入样本中） （不失一般性，可分入样本中） xk中k为N个训练样本在多次反复迭代中的累积编号。 个训练样本在多次反复迭代中的累积编号。 为 个训练样本在多次反复迭代中的累积编号
6、感知器算法在多类问题中的应用 、 多类问题分类途径 只考虑第三种情况： 只考虑第三种情况： 如果d 则判x∈ 如果 i(x) >dj(x) 任意 j≠ i ，则判 ∈ωi 算法步骤： 算法步骤： (1)赋初值，分别给 个权矢量 i(1)（i=1,2,…c）赋任意的 赋初值， 个权矢量w （ 赋初值 分别给c个权矢量 ） 初值，选择正常数ρ 置步数k=1. 初值，选择正常数 ，置步数 (2)输入符号未规范化的增广训练模式 k, xk∈{x1, x2… 输入符号未规范化的增广训练模式x ∈{ 输入符号未规范化的增广训练模式 xN} ,计算 个判别函数：di(xk) =wi’(k) xk(i=1,2,…c) 计算c个判别函数 计算 个判别函数： (3)调整增广权矢量，规则是： 调整增广权矢量，规则是： 调整增广权矢量 如果x 任意j 如果 k∈ωi和di(xk)> dj(xk) (任意 ≠ i)，则： 任意 ， wi(k+1)=wi(k) (i=1,2,…c)