神经网络分类器_(2)

2、人工神经元 人工神经元模型： xi：输入，神经元的输入值 ωi：权值，突触的连接强度 f ：输出函数，非线性函数 y ：输出 神经元动作： net wi xi
i 1 n
y f (net )
常用输出函数： 阈值函数： f ( x) sgn( x)
阶跃函数： f ( x) step( x)
T w ( k ) 如果 w ( k ) xk T w(k 1) T w ( k ) x 如果 w ( k ) xk T k
取C=1（不失一般性，可分入样本中） xk中k为N个训练样本在多次反复迭代中的累积编号。
6、感知器算法在多类问题中的应用
多类问题分类途径 只考虑第三种情况： 如果di(x) >dj(x) 任意 j≠ i ，则判x∈ωi 算法步骤： (1)赋初值，分别给c个权矢量wi(1)（i=1,2,…c）赋任意的 初值，选择正常数ρ ，置步数k=1. (2)输入符号未规范化的增广训练模式xk, xk∈{x1, x2… xN} ,计算c个判别函数：di(xk) =wi’(k) xk(i=1,2,…c) (3)调整增广权矢量，规则是：
实线：+ 虚线：数字：权值
单个阈值神经元可实现任意多输入的与、或、与非、或非门 任何逻辑函数可用一个三层前馈网络实现
有4个模式，要分为2类：

适当选取神经元的输出函数，两层前馈神经网络可以逼 近任意的多元非线性函数 若有足够多的隐单元，任何从输入到输出的连续函数都 可以用一个这样的三层网络任意精度近似
5.2.1 前馈神经网络及其主要方法

前馈神经网络：各神经元接受前级输入，并输出到下一级， 无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层，第i层的输入只与第i-1层的输 出联接。 可见层：输入层和输出层 隐层：中间层
例：感知器

双层神经网络：一层为输入层，另 一层有计算单元；
双曲正切函数： f ( x) th( x)
2 1 2 x 1 e
无限次可微
权值很小时接 近线性函数 权值很大时 接近阈值函 数
非线性，单调性
3、感知器模型
f 为阈值函数：
y f ( wi xi )
i 1
n
y sgn( wi xi )
i 1
n
设阈值：θ=-ω0 W=(ω1,ω2, … ,ωn,ω0)T X=(x1, x2, … , xn, 1)T
第五章 神经网络分类器
5.1 感知器算法 5.2 神经网络分类器
5.1 感知器算法 一、引言 模式识别与人工智能是研究如何利用计算机实现人脑的一些 功能。
人工神经网络研究的发展： 1943年，提出形式神经元的数学模型，人工神经网络研究的 开端。

1949年，提出神经元的学习准则，为神经网络的学习算法奠 定了基础。
实验四：实验所用样本数据如表给出，编制程序实现ω1、ω2、 ω3、ω4类的分类。
7、感知器算法推广
由感知器算法：
T w ( k ) w ( k ) xk 0 w(k 1) T w ( k ) c x w ( k ) xk 0 k
进一步：将cxk变为对分类错误敏感的准则函数J(w, x) 定义： w(k 1) w(k ) c J

某一层第j个计算单元：

i：前一层的第i个计算单元 k：后一层的第k个计算单元 Oj：本层的第j个计算单元的输出 wij：前一层第i个单元到本层第j个单元的权值
正向过程： 输入某样本时，从前到后对每个神经元计算： netj wi j Oi 对输出层， y j O j 是实际输出值，yj是期望输出值，误差为：


50年代，研究类似于神经网络的分布系统。
50年代末提出感知模型，把神经网络的实现付诸工程实践。 1982年，提出神经网络的数学模型，引入了能力的概念，研 究了网络的动力学特性；设计出用电子线路实现网络的方案， 大大促进了神经网络的研究。 1986年，提出多层感知器的反向传播算法。 现在神经网络的应用已渗透到智能控制、信号处理、优化计 算、生物医学工程等领域。
神经元的基本工作机制：
神经元的两种工作状态：兴奋和抑制。 动态极化原则：在每一个神经元中，信息以预知的确定方
向流动，即从神经元的接收信息部分传到轴突的电脉冲起 始部分，再传到轴突终端的突触，以与其它神经元通信。
连接的专一性原则：神经元之间无细胞质的连续，神经元
不构成随机网络，每一个神经元与另一些神经元构成精确 的联接。 信号的传递过程： 接受兴奋电位； 信号的汇集和传导； 信号的输出。


自学习 自适应 并行处理 分布表达与计算
神经网络的应用 神经网络本质上可以理解为函数逼近，可以应用到众多领域：

优化计算 信号处理 智能控制 模式识别 机器视觉等
常用输出函数： 线性输出函数：a=f (x)=x 1 Sigmoid 函数：a f ( x) x
1 e
神经元的学习算法 Hebb学习规则： 如果神经元ui接收来自另一神经元uj的输出，则当这两个神 经元同时兴奋时，从uj到ui的权值wij就得到加强，可写成：
wi j y xi
式中Δwij为到uj的第i个权值的修正量，η为控制修正速度的系 数。“修正”为“增强”或“减弱”的概念，不局限于代数 的“加”或“减”。

如果xk∈ωi和di(xk)> dj(xk) (任意j ≠ i)，则： wi(k+1)=wi(k) (i=1,2,…c)
如果xk∈ωi和dl(xk)
≥ di(xk) (l≠ i)则： wi(k+1)=wi(k)+ρxk wl(k+1)=wl(k)-ρxk wj(k+1)=wi(k)(任意j ≠ l, i)
w(k ) c{ J ( w, x) }w w( k ) w
梯度下降准则
5.2 神经网络分类器 感知机Perceptron (Rosenblatt 1958) Adaline(Widrow and Hoff) 《Perceptron》 (Minsky & Papert, 1969) Hopfield模型 (Hopfield，1982) 多层感知机MLP与反向传播算法BP (Rumelhart, 1986) 神经网络的特点
i 1 WTx 0 T T x 则：y=sgn (W X) 即： y =f (W X) T j 1 W x 0
这种神经元没有内部状态的转变，而且函数为阈值型。因此， 它实质上是一种线性阈值计算单元。 感知器是一个具有单层计算单元的人工神经网络。感知器训 练算法就是由这种神经网络演变来的。 感知器算法能够通过对训练模式样本集的“学习”得出判别 函数的系数解。
4、感知器训练算法
算法描述 用样本训练时，若x∈ωi，g(x)>0，则w不变。
若g(x)<0，则修改w，直到所有样本都满足条 件为止。
通过上面的定义，感知器问题变成wi/wj两类问题。因此，感 知器的自组织、自学习思想可以用于确定性分类器的训练— —感知器训练方法。
初始化：

给定一个训练模式集{x1, x2,…xN}，其中每个类别已知， 它们分属于ω1,ω2。 xi＝(xi1, xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝ (xi1, xi2,…xin,1) ω2类样本乘以－1。 权向量w为(n+1)维向量。
如果k<N，令k=k+1，返至第二步。如果k=N，则检验判别
函数wTx对x1, x2,…, xN，是否都能正确分类。若是，结束； 若不是，令k=1，返至第二步
例1：试用感知器算法求出下列两类的判别函数。 ω1：{(0,0)T,(0,1)T}， ω2：{(1,0)T,(1,1)T}，
上机作业三： ω1=(x1,x2)={(1,0,1),(0,1,1)} ω2=(x3,x4)={(1,1,0),(0,1,0)} 使用感知器算法给出区分两类模式的判别函数。
(4)如果k<N,令k=k+1,返至(2)。如果k=N，则检验判别 函数wi’x对x1, x2… xN,是否都能正确分类。若是，结束； 若不是，令k=1,返至(2)
例2：已知训练样本(0，0)’属于ω1类，(1，1)’属于ω2类，( -1， 1)’属于ω3类，试求解向量w1*, w2* , w3*

二、人工神经元
1、生物神经元 典型的神经元，即神经细胞结构：胞体、树突、轴突、突触
胞体：神经细胞的本体，完成普通细胞的生存功能。 树突：有大量的分枝，接受来自其他神经元的信号。
轴突：用以输出信号。
突触：神经元相联系的部位，对树突的突触为兴奋性的，使 下一个神经元兴奋；对胞体的突触为抑制性的，层或三层以上的前馈网络通常被叫做多层感知器(MLP)
MLP的适用范围大大超过单层网络
多层前馈网络
双层网络→一个线性边
界
三层或三层以上→任意
决策边界 存在问题：
未给出隐单元数目 未给出权值 仅根据训练样本，很难
知道应该有什么形式的 界面函数
实际设计过程中还有很
多问题
若单元j为输出单元： O j y j
j
E

t为迭代次数

y j net j

yj

( y j y j ) f ' (net j )


感知器算法步骤
置步数k=1，令增量C为常数，且C>0，分别赋予初始增广
权矢量w(1)的各分量较小的任意值。
输入训练模式 k，计算判别函数值wT(k)xk 调整增广权矢量，规则是：
x
如果wT(k)xk≤0, 则w(k+1)=w(k)+ Cxk 如果wT(k)xk>0, 则w(k+1)=w(k)