人工智能第4章 计算智能(1)

三.两层线性阈值模型(感知机) 两层线性阈值模型(感知机)
这是一个表达或逻辑的模型 它可以用delta学习法则学习 它可以用delta学习法则学习
感知机无法表达异或逻辑(请在课后作业证明) 感知机无法表达异或逻辑(请在课后作业证明) 异或逻辑甚至更复杂的布尔代数只能用多层线形阈值模型表 但无法找到合适的学习法则. 达,但无法找到合适的学习法则. 感知机局限性的分析: 感知机局限性的分析:
∂E ( ∂ w ij k )
二.BP模型的应用范围及局限 BP模型的应用范围及局限
. BP模型广泛应用于模式识别,预测,信号处理等领域 BP模型广泛应用于模式识别 预测, 模型广泛应用于模式识别, . 经数学证明,它可以表达任意连续函数 经数学证明, . 其缺点是学习时间长,收敛慢,且容易陷入局部最小,原因是 其缺点是学习时间长,收敛慢,且容易陷入局部最小, 误差曲面复杂. 误差曲面复杂.
请看一个蚂蚁算法的实例
三.计算智能的概念
当一个系统只涉及数值（低层）数据,含有模式识别部分, 当一个系统只涉及数值（低层）数据,含有模式识别部分,不应 用人工智能意义上的知识，而且能够呈现出： 用人工智能意义上的知识，而且能够呈现出： 计算适应性； （1）计算适应性； 计算容错性； （2）计算容错性； 接近人的速度； （3）接近人的速度； 误差率与人相近， （4）误差率与人相近， 则该系统就是计算智能系统. 则该系统就是计算智能系统. 我们的目标是把计算智能系统与人类知识有机地结合起来构 成完整的智能系统. 成完整的智能系统.
20世纪50年代对人工神经网络的一个特例感知机模型(即双层 20世纪 年代对人工神经网络的一个特例感知机模型 世纪50年代对人工神经网络的一个特例感知机模型( 线性阈值模型)的研究表明, 线性阈值模型)的研究表明,人工神经网络能够处理非线性问题 .但随后不久发现感知机的表达能力极其有限,对于复杂的非线 但随后不久发现感知机的表达能力极其有限, 性问题无能为力,如布尔代数的异或逻辑. 性问题无能为力,如布尔代数的异或逻辑. 这表明计算复杂性必须以结构复杂性为代价, 这表明计算复杂性必须以结构复杂性为代价,感知机的结构局 限导致了其表达能力的有限. 限导致了其表达能力的有限. 随后人工神经网络的研究陷入了低谷,直到80年代出现的 随后人工神经网络的研究陷入了低谷,直到80年代出现的 Hopfield模型和 模型 Hopfield模型和BP模型. 模型和BP
四.人工神经网络的特点
（1）并行分布处理, 神经网络具有高度的并行结构和并行 并行分布处理, 实现能力. 实现能力. 非线性映射, 神经网络具有固有的非线性特性, （2）非线性映射, 神经网络具有固有的非线性特性,这源于 其近似任意非线性映射（变换）能力。 其近似任意非线性映射（变换）能力。 通过训练进行学习, （3）通过训练进行学习,神经网络是通过所研究系统过去 的数据记录进行训练的。 的数据记录进行训练的。一个经过适当训练的神经网络具有 归纳全部数据的能力。 归纳全部数据的能力。 适应与集成,神经网络能够适应在线运行， （4）适应与集成,神经网络能够适应在线运行，并能同时 进行定量和定性操作. 进行定量和定性操作. 硬件实现, （5）硬件实现,神经网络不仅能够通过软件而且可借助软 件实现并行处理. 件实现并行处理.
4.激励函数 4.激励函数
单元的总输入信号与单元激活值的映射关系 可以是等值函数, 可以是等值函数,也可以是阈值函数或可微的连续函数
5.连接模式 5.连接模式
网络中所有单元连接强度(权值) 网络中所有单元连接强度(权值)构成的矩阵
6.传播规则 6.传播规则
某个神经单元所接受的总输入与其它单元对该单元输出之间 的关系,最常用的为加权传播法则. 的关系,最常用的为加权传播法则.
分为输入单元, 分为输入单元,输出单元和隐单元 每个单元有激活值,可以是连续实数值, 每个单元有激活值,可以是连续实数值,也可以是离散整数值
2.输入与输出 2.输入与输出
从网络外部到网络内部的为输入信号 从网络内部到网络外部的为输出信号
3.输出函数 3.输出函数
单元的输出信号与单元激活值的映射关系 可以是等值函数, 可以是等值函数,也可以是阈值函数
三.BP模型的应用举例 BP模型的应用举例
实例：应用BP网络预测气候变化对雅砻江流域径流的影响. BP网络预测气候变化对雅砻江流域径流的影响 实例：应用BP网络预测气候变化对雅砻江流域径流的影响. 经分析,在诸多气候因子中, 经分析,在诸多气候因子中,流域内年均气温和年均降水量是 影响流域年均径流的两个主要因子, 影响流域年均径流的两个主要因子,若把气温和降水看作输入 径流看作输出,可用BP BP网络来研究气温和降水变化对流域径 ,径流看作输出,可用BP网络来研究气温和降水变化对流域径 流的影响.建立三层BP网络(输入层、输出层和一个隐蔽层), BP网络 流的影响.建立三层BP网络(输入层、输出层和一个隐蔽层), 以年均气温和年均降水量作为BP网络输入层的输入单元, BP网络输入层的输入单元 以年均气温和年均降水量作为BP网络输入层的输入单元,年均 径流量为网络输出层的输出单元. 1960到1990年共31年实测 年共31 径流量为网络输出层的输出单元.用1960到1990年共31年实测 的年均气温、降水和径流量系列资料( 31个样本对 个样本对) 的年均气温、降水和径流量系列资料(即31个样本对)对网络 进行训练、检验,其中1960 1982年资料作为训练样本 1960— 年资料作为训练样本， 进行训练、检验,其中1960—1982年资料作为训练样本， 1983-1990年资料作为检验样本 年资料作为检验样本。 1983-1990年资料作为检验样本。
4.2 人工神经网络的进展
一.人工神经网络是对人脑结构的模拟
人工神经网络诞生於1943年 人工神经网络诞生於1943年,试图通过对人脑结构模拟实现 新的计算方法. 新的计算方法.由于直到现在我们对大脑的结构和工作机理并 不非常清楚,所以它并不是真正的神经网络模型, 不非常清楚,所以它并不是真正的神经网络模型,但并不妨碍它 成为一种有效的计算工具.以下是它模拟的对象:(神经元模型 神经元模型) 成为一种有效的计算工具.以下是它模拟的对象:(神经元模型)
三.BP模型对人工神经网络研究的贡献 BP模型对人工神经网络研究的贡献
20世纪80年代中以Rumelhart和 20世纪80年代中以Rumelhart和McClelland 为首的并行分 世纪80年代中以Rumelhart 布处理（PDP）的研究小组， 布处理（PDP）的研究小组，他们提出了多层网络学习的误 差反向传播学习算法（BP算法），解决了多层网络的学习 算法）， 差反向传播学习算法（BP算法），解决了多层网络的学习 问题，从实践上证实了人工神经网络具有很强的学习能力, 问题，从实践上证实了人工神经网络具有很强的学习能力, 它可以完成许多学习任务，解决许多实际问题， 它可以完成许多学习任务，解决许多实际问题，也因此推 动了前馈式神经网络的研究。BP算法目前已成为迄今为止 动了前馈式神经网络的研究。BP算法目前已成为迄今为止 应用最普遍的神经网络学习算法. 应用最普遍的神经网络学习算法.此后很多的学者提出了多 种模型,掀起人工神经网络的研究热潮. 种模型,掀起人工神经网络的研究热潮.
二.计算智能与人工智能的区别
计算智能取决于制造者（manufacturers）提供的数值数据, 计算智能取决于制造者（manufacturers）提供的数值数据, 不依赖于知识 人工智能应用知识精品（ 人工智能应用知识精品（knowledge tidbits). 计算智能模拟人或动物的低层次智能. 计算智能模拟人或动物的低层次智能. 人工智能模拟人的逻辑判断等高级思维活动. 人工智能模拟人的逻辑判断等高级思维活动.
设误差e采用下式表示： 设误差e采用下式表示：
其中, 其中,Yi＝f〔W*·Xi]是对应第i个样本Xi的实时输出 是对应第i个样本X 是对应第i个样本X 的期望输出. Yi是对应第i个样本Xi的期望输出. 要使误差e最小，可先求取e的梯度： 要使误差e最小，可先求取e的梯度：
( ( w ij k + 1 ) = w ij k ) − η
4.4 线性模型与感知机
一.线性网络模型特征
1.只有输入单元和输出单元 1.只有输入单元和输出单元,没有隐单元 只有输入单元和输出单元, 2.单元激活值为连续实数值 2.单元激活值为连续实数值 3.输出函数和激活函数均为等值函数 3.输出函数和激活函数均为等值函数 4.采用加权传播规则 4.采用加权传播规则 线性网络模型等价于线形方程组(请课后自行分析) 线性网络模型等价于线形方程组(请课后自行分析) 多层线性模型可以找到等价的双层线形模型( 多层线性模型可以找到等价的双层线形模型(既隐单元对线 形模型是多余的) 请在作业中证明. 形模型是多余的) 请在作业中证明.
第四章 计算智能(1) 神经计算 计算智能(1)
4.1 4.2 4.3 4.4 4.5 计算智能概述 人工神经网络的进展 人工神经网络的结构 线性模型与感知机 BP模型及应用 BP模型及应用
4.1 计算智能概述
一.为什么要提出计算智能
传统的人工智能要解决得是对人的高层次智能的模拟,以处理 的模拟, 知识达到目的. 知识达到目的. 对人的低层次智能的模拟效果不理想.而一些仿生算法对处理 的模拟效果不理想. 该类问题显示了巨大的潜力.这些算法不依赖知识,因此在90年 该类问题显示了巨大的潜力.这些算法不依赖知识,因此在90年 代初被学者归类于计算智能. 代初被学者归类于计算智能. 计算智能包括人工神经网络,遗传算法,蚂蚁算法,元胞自动机, 计算智能包括人工神经网络,遗传算法,蚂蚁算法,元胞自动机, 进化计算,人工生命等. 进化计算,人工生命等.
大量的神经元通过突触连接成复杂的信息处理网络. 大量的神经元通过突触连接成复杂的信息处理网络.信息表现 在突触的连接强度上,并且能通过训练或学习进行改变. 在突触的连接强度上,并且能通过训练Hale Waihona Puke Baidu学习进行改变. 在此基础上建立人工神经元的数学模型: 在此基础上建立人工神经元的数学模型:
二.感知机模型体现人工神经网络的非线性处理 能力
五.人工神经网络的应用领域
.模式识别 .图像处理 .自动控制 .信号处理 .系统辨识 .优化
4.3 人工神经网络的结构
一.人工神经网络的基本要素: 人工神经网络的基本要素: .神经单元 .输入与输出 .输出函数 .激励函数 .连接模式 .传播规则 .学习法则
二.人工神经网络模型
三.人工神经网络各部分特性 1.神经单元 1.神经单元
二.线性阈值模型的特征
1.既有输入单元和输出单元 1.既有输入单元和输出单元,也有隐单元 既有输入单元和输出单元, 2.单元激活值为{0,1} 2.单元激活值为 单元激活值为{0,1} 3.输出函数为等值函数 3.输出函数为等值函数 4.激活函数为阈值函数 4.激活函数为阈值函数 5.采用加权传播规则 5.采用加权传播规则
7.学习法则 7.学习法则
神经网络的运行包括两个阶段： 神经网络的运行包括两个阶段： 向神经网络提供一系列输入－ 1 . 训练或学习阶段 向神经网络提供一系列输入 － 输出数 据组,通过数值计算方法和参数优化技术, 据组 , 通过数值计算方法和参数优化技术 , 使节点连接的权值 不断调整,直到从给定的输入能产生所期望的输出. 不断调整,直到从给定的输入能产生所期望的输出. 预测（ 应用） 以训练好的网络, 2 2 . 预测 （ 应用 ） 阶段 以训练好的网络 , 对未知的样本进行 预测 人工神经网络的主要学习算法 .有师学习 .无师学习 .强化学习
4.5 BP模型及应用 BP模型及应用
一.BP模型(反向传播网络)的特征 BP模型 反向传播网络) 模型(
1.既有输入单元和输出单元,也有隐单元 1.既有输入单元和输出单元 既有输入单元和输出单元, 2.单元激活值为连续实数值 2.单元激活值为连续实数值 3.输出函数为等值函数 3.输出函数为等值函数 4.激活函数为非递减的可微函数 4.激活函数为非递减的可微函数 例如Sigmoid函数,非对称Sigmoid函数为f(X)=1/(1+e Sigmoid函数 Sigmoid函数为 例如Sigmoid函数,非对称Sigmoid函数为f(X)=1/(1+ex),对称 Sigmoid函数f(X)=(1-e-x)/(1+e-x). ),对称 Sigmoid函数f(X)=(1函数f(X)=(1 5.采用加权传播规则 5.采用加权传播规则 6. 学习算法采用的是梯度下降法，它使期望输出与实际输出 学习算法采用的是梯度下降法， 之间的误差平方和最小. 之间的误差平方和最小.