神经网络与遗传算法(1)

j
• 它的含义为：超平面上部P的任意结点经过作 用函数后转换成数值1。超平面上任意结点和 超平面下部Q上的任意结点经过作用函数后 转换成数值0。
• (4)．神经元的几何意义 • 通过以上分析可知，一个神经元将其它
神经元对它的信息总输入I，作用以后 （通过作用函数）的输出，相当于:
• 该神经元所代表的超平面将n维空间（n 个输入神经元构成的空间）中超平面上 部结点P转换成1类，超平面及其下部结 点转换成0类。
信息总输入Ii为：
n
•
Ii
wij x j i
j 1
• 其中Wij为神经元j到神经元i的连接权值，i为 神空了经 间 便（元 于x的 讨1,阈 论x2,值 ，…,。省xn）神略中i经下一元标个x记j(j结=）1点。,2的,令…n：,维n)相坐当标于（n为维
n
•
I wj x j 0 j 1
(4)竞争学习：利用不同层间的神经元发生兴奋性 联结，距离较远的神经元之间产生抑制性联结。
Grossberg等将竞争学习机制引入其建立的自适 应共振网络模型(ART)
Kohonen提出的自组织特征映射网络(SOM)等采 用的是竞争学习机制
• 1.2神经网络的几何意义
• (1)．神经元与超平面
• 由n个神经元（j=1,2,…,n）对连接于神经元i的
•
w
j
x
(
j
p
)
Leabharlann Baidu
0
j
• 3）超平面下部Q
• 超平面下部Q的任意结点满足于不等式，
即
•
w
j
x
(
j
q
)
0
j
• (3).作用函数的几何意义
• 神经网络中使用的阶梯型作用函数f（x）
• 把n维空间中超平面的作用和神经网络作用函 数结合起来，即
•
1
f (I) f (
wj
x
j
)
0
wjxj 0
j
wjxj 0
j1
• 从几何角度看，一个神经元代表一个超 平面。
• (2).超平面的作用
• n维空间（x1,x2,…,xn）上的超平面I=0， 将空间划分为三部分。
• 1）平面本身
• 超平面上的任意结点 满足于超平面方程， 即：
•
w
j
x
(
j
0
)
0
j
• 2）超平面上部P
• 超平面上部P的任意结点满足于不等式，
即
[0,1]阶梯函数
1 x 0 f (x) 0 x 0
(0,1)S型函数：
1 f (x) 1 ex
+1 ○ 0
f
1 0.5
0
x
x
神经网络的学习
神经网络的学习，主要是指通过一定的学习算法或规 则实现对突触结合强度(权值)的调整。ANN学习规则主要有 四种，即联想式学习、误差传播学习、概率式学习和竞争 式学习。
• 它平代 面表 。了 其n中维w空j为间坐中标，的以系坐数标，xj为为变常量数的项一。个超
• 当n=2时，“超平面”为平面（x1,x2）上 的一条直线：
2
I wj x j w1x1 w2x2 0
j1
• 当n=3时，“超平面”为空间（x1, x2,x3） 上的一个平面：
3
I wjx j w1x1 w2x2 w3x3 0
得到神经细胞学说的证实。 • 设α＝1，当Si＝Sj＝1时，△Wij＝1，在Si，
Sj中有一个为0时，△Wij＝0。
(2)误差传播学习：以1986年Rumelhart等人提出的δ规 则(BP算法)为典型
δ规则中，误差由输出层逐层反向传至输入层，由误 差修改网络权值，直至得到网络权值适应学习样本。
(3)概率式学习：典型代表是基于模拟退火的统计 优化方法的BOLTZMANN机学习规则，又称为模拟退 火算法。
（1）多输入单输出； （2）突触具有加权的效果； （3）信息进行传递； （4）信息加工是非线性。
神经元的数学模型图：
V1
Ti1 ·
·
··
Vj
Tij
··
·
·
Tin
Vn
n
f（ TijV j i ）
j 1
树
n
轴
Ui
TijV j
细
Ui
j 1
胞
突
突
体
其中：V1、V2、…Vn为输入；Ｕi为该神经元的输出； Ｔij为外面神经元与该神经元连接强度（即权），
• 结论：神经元起了一个分类作用。
• (5)．线性样本与非线性样本 • 定义：对空间中的一组两类样本，当能找出一
个超平面将两者分开，称该样本是线性样本。 若不能找到一个超平面将两者分开，则称该样 本是非线性样本。
• (6)．非线性样本变换成线性样本 • 利用超平面分割空间原理，对一个非线性样本
它是不能用一个超平面分割开。 • 用多个超平面分割空间成若干区，使每个区中
(1)联想学习：联想学习是模拟人脑的联想功能，典 型联想学习规则是由心 理学家Hebb于1949年提出的学习行
为的突触联系，称为Hebb学习规则。
Hebb规则
• 若i与j两种神经元之间同时处于兴奋状态， 则它们间的连接应加强，即：
• △Wij＝SiSj (＞0) • 这一规则与“条件反射”学说一致，并
神经网络与遗传算法
（一）
神经网络
目录（神经网络）
• 1神经网络及几何意义 • 2感知机 • 3反向传播模型 • 附1：神经网络专家系统 • 附2：神经网络的容错性
1神经网络及几何意义 1.1神经网络原理 人工神经网络（ANN）是模拟人脑神经 元活动的过程，其中包括对信息的加工、 处理、存储、搜索等过程。
为阈值，f(X)为该神经元的作用函数。
MP（Mcculloch Pitts）模型
• 每个神经元的状态Si（i＝1,2,…n）只取0 或1，分别代表抑制与兴奋。每个神经元 的状态，由M-P方程决定：
Si f ( wijS j j )
j
i 1,2, , n
其中：Wij是神经元之间的连接强度，Wij（i≠j）是可调 实数，由学习过程来调整。i是阈值，f(x)是阶梯函数。
只含同类样本的结点。这种分割完成了一种变 换，使原非线性样本变换成二进制值下的新线 性样本。
2感知机模型(Perceptron)
神经元i的输入为
Ｉi＝∑ＷijＳj
Ｓj为j神经元的输出，Ｗij为神经元j到神经元i的连接权重。
• 神经元i的输出为：
ANN不能对人脑进行逼真描述，但它 是人脑的某种抽象、简化和模拟。
人脑神经元的形状为：
神经元组成； • 树突：神经纤维较短，是接收信息的。 • 细胞体：对接收到的信息进行处理。 • 轴突：较长的神经纤维，是发出信息的。 • 突触：一个神经元的轴突末端与另一个神经
元的树突之间密切接触。
神经元具有如下性质：