人工神经网络方法课件

MP模型是一个多输出单输出的非线性元件。
u i (t ) =
∑w
j =1
n
ji
x j − θi
yi = f [ui (t )]
在MP模型中，f是二值函数，其输出值为0或1， 分别代表神经元的抑制和兴奋状态，它可以用阶 跃函数表示，即
1 f (u i ) = 0 ui > 0 ui ≤ 0
当wji>0时，为兴奋性突触结合；当wji<0时，为 抑制性突触结合；当wji=0时，为无结合。
人工神经网络的学习规则
神经网络的学习过程，一般是，首先设定初时权值， 如果无先验的知识，初时权值可设定为随机值。接 着输入样本数据进行学习，参照评价标准进行评判。 如果达到要求，就停止学习，否则按照给定的学习 法则调整权值，继续进行学习，直到取得满意的结 果为止。 神经网络的学习规则，主要包括误差传播式学习、 联想学习、竞争性（Competitive）学习和基于知识 的学习等。各种学习规则都是以Hebb规则为基础的。
Kohonen网络结构 网络结构
2 Kohonen网络的学习和工作规则 网络的学习和工作规则 Kohonen网络的自组织学习过程可以描述为：对 于每一个网络的输入，只调整一部分权值，使权 向量更接近或更偏离输入矢量，这一调整过程， 就是竞争学习，随着不断学习，所有权矢量都在 输入矢量空间相互分离，形成了各自代表输入空 间的一类模式，这就是Kohonen网络的特征自动 识别的聚类功能 。
η ( xi − w ji ) 若神经元j竞争获胜 ∆w ji = 若神经元j竞争失败 0
输入层
输出层
具有侧向抑制性连接的竞争学习网络
神经网络模型的种类
按照拓扑结构可以分为反馈神经网络模型和前向神经 网络模型；按照性能可以分为连续型和离散型神经网 络模型，确定型和随机型神经网络模型；按照学习方 式可以分为有教师学习和无教师学习神经网络；按照 连接突触性质可以分为一阶线性关联神经网络模型和 高阶非线性关联神经网络模型。常见的人工神经网络 模型，主要包括感知器（Perceptron）神经网络、线 性神经网络、前馈神经网络、径向基函数神经网络、 自组织竞争神经网络、回归神经网络等。
误差传播式学习 感知器（Perceptron）是神经网络中的一种最基本的 神经网络模型，它是F.Rosenblatt于1961年提出来的。 设神经元的输入输出关系为
n ui = ∑ w ji x j − θ i j =1 yi = f (u i )
1 ui > 0 f (ui ) = 0 ui ≤ 0
人工神经网络的工作原理
人工神经网络首先要以一定的学习准则进行学习，然后才能 工作。网络学习的准则应该是：如果网络作出错误的判决， 则通过网络的学习，应使得网络减少下次犯同样错误的可能 性。将模式分布地记忆在网络的各个连接权值上。当网络再 次遇到其中任何一个模式时，能够作出迅速、准确的判断和 识别。神经网络的工作过程主要由两个阶段组成，一个阶段 是工作期，此时各连接权值固定，计算单元的状态变化，以 求达到稳定状态。另一阶段是学习期(自适应期，或设计期)， 此时各计算单元状态不变，各连接权值可修改(通过学习样本 或其他方法)，前一阶段较快，各单元的状态亦称短期记忆 (STM)，后一阶段慢的多，权及连接方式亦称长期记忆(LTM)。
2 选择反映城市社会经济的指标 在城市国民生产总值综合指标中，选取国内生产 总值、人均国民生产总值、第一产业、第二产业、 第三产业、工业产值、农林牧渔总产值以及有关 财政、金融、保险等17项指标。 3 选择反映城Leabharlann Baidu基础设施的指标 从交通运输、邮电事业的指标中，选取了公路客 运量、公路客运量、邮电业务总量3项指标。
表——城市职能分类指标体系 城市职能分类指标体系 总人口、非农业人口、从业人员、在职职工年 平均工资、在校学生数、各类专业技术人员、 公共图书馆图书藏量、医院卫生院床位数。 城市社会发展国内生产总值、人均国民生产总 值、第一产业产值、第二产业产值、第三产业 产值、工业产值、农林牧渔总产值、固定资产 投资、财政总收入、地方财政收入、地方财政 支出、出口总额、利用外资、年末金融机构存 款余额、年末金融机构贷款余额、保险收入、 已决赔款。 公路客运量、公路客运量、邮电业务总量。
建立城市分类的Kohonen网络模型 建立城市分类的Kohonen网络模型 Kohonen 1 指标数据的处理 在本模型中，采用标准差标准化，将原始数据
X i = ( xi1 , xi 2 , L xij , L , xin )
' ' 转换为： X i' = ( xi'1 , xi' 2 ,L, xij ,L xin )
神经元构成的神经网络如图所示。
yk k# θk
j#
θj yj wkj
wki wij
yi … wmi m# i# θi θm ym
神经网络
神经元之间的突触结合有兴奋性和抑制性两种。 在下图中，（a）和（b）分别给出了两个神经 元串行连接和相互结合型连接的情形。
w21 w1 y2
y y1 w2
1
2
1
人工神经网络方法 ——原理及应用
张倩倩、孙晶
人工神经网络方法
人工神经网络简介 应用实例
——长江三角洲地区 城市体系的职能分类
人工神经网络，是一个具有高度非线性的 超大规模连续时间动力系统，是由大量的 处理单元(神经元)广泛互连而形成的网络。 是人脑的某种抽象、简化与模拟。 人工神经网络的特点和优越性：具有自学 习功能 ；具有联想存储功能 ；具有高速寻 找优化解的能力。 在现代地理学中，人工神经网络方法特别 适用于地理模式识别、地理过程模拟与预 测、复杂地理系统的优化计算等问题的研 究。
(i = 1,2, L , m)
(i = 1,2,L, m)
x =
' ij
xij − x j sj
(i = 1,2, L m; j = 1,2, L , n)
sj = 1 m (xij − x j )2 ∑ m i =1
1 m x j = ∑ xij , m i =1
运用Matlab神经网络工具箱建立Kohonen Matlab神经网络工具箱建立Kohonen网络模型 2 运用Matlab神经网络工具箱建立Kohonen网络模型 将长江三角洲各城市的28项指标导入Kohonen网络中， 作为网络的输入模式 ，因此输入层的 神经元个数为28；而竞争层的神经元个数决定于需要 分成几类，在不清楚分类数目的情况下，竞争层神经 元个数从开始，然后依次加1，分别进行学习。 在Kohonen网络模型中，选择网络训练的迭代最大次 数为1000次，初始的学习率为0.5。
3 Kohonen网络模型的分类结果 网络模型的分类结果
结果及讨论
从长江三角洲城市的分类模型结果来看，分类结果与实际情况 大体一致，结果较为理想。该方法的最大的优点是避免了各层 次权重带来的主观性。 运用Kohonen网络进行城市分类，存在很多需要改进的地方。比 如，如果指标体系的合理选取和完善，加大学习样本以及输入 模式，就可以加大网络的适应性；另外网络的学习算法也有待 进一步改进，Kohonen网络是自适应学习的神经网络，其学习率 随着时间减少，保证了全值的收敛性；但是这些学习率没有考 虑输入模式和相应的聚类中心的逼近程度，如果引入代表这种 逼近程度的模糊隶属度[1]来表示Kohonen网络的自适应学习的强 度，将监督学习与非监督学习结合起来，分类的效果将更好。
城市社会发展
城市经济发展
城市基础设施
Kohonen网络的原理 网络的原理
Kohonen网络也称为自组织特征映射网络(SelfOrganizing Feature Map,简称SOM网络)，通过 寻找最优权值矢量对输入模式集合进行分类。 1 Kohonen网络结构 Kohonen网络结构 由输入层和输出层（也称竞争层）构成的两层 网络，输入层用于接收输入模式，输出层的神 经元一般按正则二维阵列排列，两层之间的各 神经元实现双向权连接。
1
2
y2 1 2
(a)
(b)
两个神经元的不同连接
（a）所示的两个神经元串行连接，当w21>0为兴奋性 连接时，若神经元1处于兴奋状态，则神经元2也处于 兴奋状态；当w21<0为抑制性连接时，若神经元1处于 兴奋状态，反而会使神经元2容易处于抑制状态。在 （b）中，两个神经元处于相互结合性状态，若w12和 w21均为正，则某一个神经元处于兴奋状态时，另一个 神经元也倾向于兴奋状态，这称为神经元之间的协调 作用；若w12和w21均为均为负，则当某一个神经元处 于兴奋状态时，另一神经元倾向于抑制状态，这称为 神经元之间的竞争作用。协调和竞争是神经网络中并 行信息处理的基本动态特性。
w ji (t + 1) = w ji (t ) + η ( yi − d i ) x j = w ji (t ) + ηδ i x j
η是学习速率，di是教师信号或希望输出，δi是实 际输出yi与希望输出di之差，yi和xj取1或0的离散值。
联想式学习 根据空间或时间上接近的事物之间，性质上相似 或相反的事物之间，以及存在因果关系的事物都 可能在人的大脑中产生联想的原理，人们提出了 许多无教师的联想式学习模式，其学习规则可以 表示为 w (t + 1) = w (t ) + ηy x
人工神经网络简介
神经元模型 神经网络的基本结构 人工神经网络的工作原理 人工神经网络的学习规则 神经网络模型的种类
神经元模型
基于生物神经元构造，W.McCulloch和W.Pitts于1943 年建立了一个模拟神经元功能的数学模型，这个模型 被称为MP模型。
x1 W1i x2 W2i θi Wni xn 神经元模型 yi
ji ji i j
在联想式学习中，权值变化仅是输入与输出同时 兴奋的结果。由于联想发生在输入与输出之间， 所以这种联想被称为异联想（Hetroassociation）。
竞争性学习 在竞争性学习时，网络各输出单元相互竞争，最 后达到只有一个最强者激活，最常见的一种情况 是输出神经元之间有侧向抑制性连接,这样，原 来输出单元中若有一个单元较强，则它将获胜并 抑制其它单元，最后只有此强者处于激活状态。 最常见的竞争性学习规则可以写为
神经网络的基本结构 把大量的神经元通过一定的拓扑结构连接 起来，就形成了神经网络。神经元之间的 连接方式有相互结合型结构和层状结构两 大类 。
1 1 2 2
3
4 3 4 5
5
(a) 相互结合型
(b) 层状结构
神经网络的结构
图(a)所示的相互结合型神经网络系统中存在着反馈 环。在神经元的学习过程中，进行误差反馈。反馈 有正、负之分，正反馈使系统发生振荡，负反馈使 系统稳定。在大脑神经系统中，由于负反馈的存在， 使控制抑制的机构起着十分重要的作用。正反馈对 大脑神经元的同步动作起着一定的作用。在图(b)所 示的层状神经网络结构中，信号依特定的方向传播。 在生物体内，大脑皮质之间、感觉器官和大脑之间， 就可以看作是一种分层结构，即功能模块级的分层。 在大脑内确实存在各种机理不同的功能模块，这一 点被大脑的解剖研究已经证明，而且每一个模块内 部是由神经元组成的并行处理系统。
应用实例： 应用实例 ——长江三角洲地区 长江三角洲地区 城市体系的职能分类
建立城市职能分类的指标体系 Kohonen网络的原理 Kohonen网络的原理 建立城市分类的Kohonen网络模型 建立城市分类的Kohonen网络模型 Kohonen 结果及讨论
建立城市职能分类的指标体系
1选择反映城市社会发展的指标 选择反映城市社会发展的指标 在人口与劳动力构成中选取总人口、非农业人 口、从业人员作为衡量城市规模的指标；将在 校小学生数、中等学校学生数、高等学校学生 数三项合并为一项，即在校学生数，同时选取 各类专业技术人员、公共图书馆图书藏量、医 院卫生院床位数作为反映社会文化教育的指标。