第六章 神经网络 优化设计方法学
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
90年代初，Vapnik等提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
６.２ 神经网络
人工神经网络（Artificial Neural Networks，简写 为ANNs）也简称为神经网络（NNs）或称作连接 模型（Connection Model），它是一种模仿动物 神经网络行为特征，进行分布式并行信息处理的算 法数学模型。这种网络依靠系统的复杂程度，通过 调整内部大量节点之间相互连接的关系，从而达到 处理信息的目的。
混沌神经网络
混沌第一个定义是上世纪70年代才被Li-Yorke第一次提出的。 由于它具有广泛的应用价值，自它出现以来就受到各方面的普遍 关注。混沌是一种确定的系统中出现的无规则的运动，混沌是存 在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、 随机性等特点，能在一定的范围内按其自身规律不重复地遍历所 有状态。混沌理论所决定的是非线性动力学混沌，目的是揭示貌 似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问 题普遍遵循的共同规律。
６.1 发展历史
1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立 了神经网络和数学模型，称为MP模型。他们通过MP模型提出 了神经元的形式化数学描述和网络结构方法，证明了单个神经 元能执行逻辑功能，从而开创了人工神经网络研究的时代。
1949年，心理学家提出了突触联系强度可变的设想。60年代， 人工神经网络得到了进一步发展，更完善的神经网络模型被提 出人工神经网络，其中包括感知器和自适应线性元件等。
人工神经网络是由大量处理单元互联组成的非线性、自适应信 息处理系统。人工神经网络具有四个基本特征： （1）非线性 人工神经元处于激活或抑制二种不同的状态， 具有阈值的神经元构成的网络具有更好的性能，可以提高容错 性和存储容量。 （2）非局限性 一个系统的整体行为不仅取决于单个神经 元的特征，而且可能主要由单元之间的相互作用、相互连接所 决定。通过单元之间的大量连接模拟大脑的非局限性。联想记 忆是非局限性的典型例子。 （3）非常定性 人工神经网络具有自适应、自组织、自学习 能力。在处理信息的同时，非线性动力系统本身也在不断变化。 （4）非凸性 非凸性是指这种函数有多个极值，故系统具有 多个较稳定的平衡态，这将导致系统演化的多样性。
６.1 发展历史
1988年，Linsker对感知机网络提出了新的自组织理论，并在 Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于 NN的信息应用理论的光芒。
1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线 性适应滤波相挂钩。
６.４ 神经网络的基本特征
人工神经网络中，神经元处理单元可表示不同的对象，例如特 征、字母、概念，或者一些有意义的抽象模式。网络中处理单 元的类型分为三类：输入单元、输出单元和隐单元。输入单元 接受外部世界的信号与数据；输出单元实现系统处理结果的输 出；隐单元是处在输入和输出单元之间，不能由系统外部观察 的单元。
６.６ 神经网络模型学习类型
学习是神经网络研究的一个重要内容，它的适应性是通过 学习实现的。根据环境的变化，对权值进行调整，改善系统的行 为。根据学习环境不同，神经网络的学习方式可分为监督学习和 非监督学习。 在监督学习中，将训练样本的数据加到网络输入端，同时将相应 的期望输出与网络输出相比较，得到误差信号，以此控制权值连 接强度的调整，经多次训练后收敛到一个确定的权值。当样本情 况发生变化时，经学习可以修改权值以适应新的环境。使用监督 学习的神经网络模型有反传网络、感知器等。
M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能 及局限后，于1969年出版了《Perceptron》一书，指出感知器 不能解决高阶谓词问题。他们的论点极大地影响了神经网络的 研究，加之当时串行计算机和人工智能所取得的成就，掩盖了 发展新型计算机和人工智能新途径的必要性和迫切性，使人工 神经网络的研究处于低潮。
神经网络在很多领域已得到了很好的应用，但其需要研究 的方面还很多。其中，具有分布存储、并行处理、自学习、自组 织以及非线性映射等优点的神经网络与其他技术的结合以及由此 而来的混合方法和混合系统，已经成为一大研究热点。由于其他 方法也有它们各自的优点，所以将神经网络与其他方法相结合， 取长补短，继而可以获得更好的应用效果。目前这方面工作有神 经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗 集理论、分形理论、证据理论和灰色系统等的融合。
1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元 的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络 中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经 网络，因而混沌神经网络被认为是可实现其真实世界计算的智能 信息处理系统之一，成为神经网络的主要研究方向之一。
第二，具有联想存储功能。用人工神经网络的反馈网络就可以实 现这种联想。
第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解， 往往需要很大的计算量，利用一个针对某问题而设计的反馈型人 工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
６.８ 神经网络发展趋势
人工神经网络特有的非线性适应性信息处理能力，克服了 传统人工智能方法对于直觉，如模式、语音识别、非结构化信息 处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、 组合优化、预测等领域得到成功应用。人工神经网络与其它传统 方法相结合，将推动人工智能和信息处理技术不断发展。
６.５ 神经网络模型
人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特 征、学习规则等。目前，已有近40种神经网络模型，其中有反 传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、 适应谐振理论等。 根据连接的拓扑结构，神经网络模型可以分为： 前向网络 网络中各个神经元接受前一级的输入，并输出到下一级，网络 中没有反馈，可以用一个有向无环路图表示。这种网络实现信 号从输入空间到输出空间的变换，它的信息处理能力来自于简 单非线性函数的多次复合。 反馈网络 网络内神经元间有反馈，可以用一个无向的完备图表示。这种 神经网络的信息处理是状态的变换，可以用动力学系统理论处 理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、 波耳兹曼机均属于这种类型。
1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力 学模拟退火技术，保证整个系统趋于全局稳定点。
1986年，Rumelhart, Hinton, Williams发展了BP算法。Rumelhart 和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP算 法已被用于解决大量实际问题。1988年，Linsker对感知机网络提 出了新的自组织理论，并在Shanon信息论的基础上形成了最大互 信息理论，从而点燃了基于NN的信息应用理论的光芒。
混沌神经网络
与常规的离散型Hopfield神经网络相比较，混沌神经网络具有 更丰富的非线性动wk.baidu.com学特性，主要表现如下：在神经网络中引入 混沌动力学行为；混沌神经网络的同步特性；混沌神经网络的吸 引子。
小波神经网络在电机故障诊断、高压电网故障信号处理与 保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波 神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟 踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管 疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神 经网络用来进行分类，正确分类率达到94%。
６.７ 神经网络模型特点
人工神经网络的特点和优越性，主要表现在三个方面：
第一，具有自学习功能。例如实现图像识别时，只在先把许多不 同的图像样板和对应的应识别的结果输入人工神经网络，网络就 会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于 预测有特别重要的意义。预期未来的人工神经网络计算机将为人 类提供经济预测、市场预测、效益预测，其应用前途是很远大的。
６.1 发展历史
1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神 经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算 机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优 化计算的新途径，有力地推动了神经网络的研究，
与小波分析的结合
1981年，法国地质学家Morlet在寻求地质数据时，通过对 Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造 性的研究，首次提出了"小波分析"的概念，建立了以他的名字命 名的Morlet小波。1986年以来由于YMeyer、S.Mallat及 IDaubechies等的奠基工作，小波分析迅速发展成为一门新兴学科。 Meyer所著的"小波与算子"，Daubechies所著的"小波十讲"是小波 研究领域最权威的著作。
６.２ 神经网络
人工神经网络是一种应用类似于大脑神经突触联接的结构 进行信息处理的数学模型。在工程与学术界也常直接简称 为神经网络或类神经网络。神经网络是一种运算模型，由 大量的节点（或称神经元）之间相互联接构成。每个节点 代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该 连接信号的加权值，称之为权重，这相当于人工神经网络 的记忆。网络的输出则依网络的连接方式，权重值和激励 函数的不同而不同。而网络自身通常都是对自然界某种算 法或者函数的逼近，也可能是对一种逻辑策略的表达。
非监督学习时，事先不给定标准样本，直接将网络置于环 境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化 服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习 规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根 据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络 等都是与竞争学习有关的典型模型。
小波变换是对Fourier分析方法的突破。它不但在时域和频 域同时具有良好的局部化性质，而且对低频信号在频域和对高频 信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细 节。小波分析相当于一个数学显微镜，具有放大、缩小和平移功 能，通过检查不同放大倍数下的变化来研究信号的动态特性。因 此，小波分析已成为地球物理、信号处理、图像处理、理论物理 等诸多领域的强有力工具。
６.４ 神经网络的基本特征
神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在 网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大 脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行 分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息 处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个 领域的交叉学科。
与小波分析的结合
小波神经网络将小波变换良好的时频局域化特性和神经网 络的自学习功能相结合，因而具有较强的逼近能力和容错能力。 在结合方法上，可以将小波函数作为基函数构造神经网络形成小 波网络，或者小波变换作为前馈神经网络的输入前置处理工具， 即以小波变换的多分辨率特性对过程状态信号进行处理，实现信 噪分离，并提取出对加工误差影响最大的状态特性，作为神经网 络的输入。
６.３ 神经元
如图所示 a1~an为输入向量的各个分量 w1~wn为神经元各个突触的权值 b为偏置 f为传递函数，通常为非线性函数。以下默认为hardlim() t为神经元输出 数学表示 t=f(WA'+b) W为权向量 A为输入向量，A'为A向量的转置 b为偏置 f为传递函数
６.４ 神经网络的基本特征
６.２ 神经网络
人工神经网络（Artificial Neural Networks，简写 为ANNs）也简称为神经网络（NNs）或称作连接 模型（Connection Model），它是一种模仿动物 神经网络行为特征，进行分布式并行信息处理的算 法数学模型。这种网络依靠系统的复杂程度，通过 调整内部大量节点之间相互连接的关系，从而达到 处理信息的目的。
混沌神经网络
混沌第一个定义是上世纪70年代才被Li-Yorke第一次提出的。 由于它具有广泛的应用价值，自它出现以来就受到各方面的普遍 关注。混沌是一种确定的系统中出现的无规则的运动，混沌是存 在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、 随机性等特点，能在一定的范围内按其自身规律不重复地遍历所 有状态。混沌理论所决定的是非线性动力学混沌，目的是揭示貌 似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问 题普遍遵循的共同规律。
６.1 发展历史
1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立 了神经网络和数学模型，称为MP模型。他们通过MP模型提出 了神经元的形式化数学描述和网络结构方法，证明了单个神经 元能执行逻辑功能，从而开创了人工神经网络研究的时代。
1949年，心理学家提出了突触联系强度可变的设想。60年代， 人工神经网络得到了进一步发展，更完善的神经网络模型被提 出人工神经网络，其中包括感知器和自适应线性元件等。
人工神经网络是由大量处理单元互联组成的非线性、自适应信 息处理系统。人工神经网络具有四个基本特征： （1）非线性 人工神经元处于激活或抑制二种不同的状态， 具有阈值的神经元构成的网络具有更好的性能，可以提高容错 性和存储容量。 （2）非局限性 一个系统的整体行为不仅取决于单个神经 元的特征，而且可能主要由单元之间的相互作用、相互连接所 决定。通过单元之间的大量连接模拟大脑的非局限性。联想记 忆是非局限性的典型例子。 （3）非常定性 人工神经网络具有自适应、自组织、自学习 能力。在处理信息的同时，非线性动力系统本身也在不断变化。 （4）非凸性 非凸性是指这种函数有多个极值，故系统具有 多个较稳定的平衡态，这将导致系统演化的多样性。
６.1 发展历史
1988年，Linsker对感知机网络提出了新的自组织理论，并在 Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于 NN的信息应用理论的光芒。
1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线 性适应滤波相挂钩。
６.４ 神经网络的基本特征
人工神经网络中，神经元处理单元可表示不同的对象，例如特 征、字母、概念，或者一些有意义的抽象模式。网络中处理单 元的类型分为三类：输入单元、输出单元和隐单元。输入单元 接受外部世界的信号与数据；输出单元实现系统处理结果的输 出；隐单元是处在输入和输出单元之间，不能由系统外部观察 的单元。
６.６ 神经网络模型学习类型
学习是神经网络研究的一个重要内容，它的适应性是通过 学习实现的。根据环境的变化，对权值进行调整，改善系统的行 为。根据学习环境不同，神经网络的学习方式可分为监督学习和 非监督学习。 在监督学习中，将训练样本的数据加到网络输入端，同时将相应 的期望输出与网络输出相比较，得到误差信号，以此控制权值连 接强度的调整，经多次训练后收敛到一个确定的权值。当样本情 况发生变化时，经学习可以修改权值以适应新的环境。使用监督 学习的神经网络模型有反传网络、感知器等。
M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能 及局限后，于1969年出版了《Perceptron》一书，指出感知器 不能解决高阶谓词问题。他们的论点极大地影响了神经网络的 研究，加之当时串行计算机和人工智能所取得的成就，掩盖了 发展新型计算机和人工智能新途径的必要性和迫切性，使人工 神经网络的研究处于低潮。
神经网络在很多领域已得到了很好的应用，但其需要研究 的方面还很多。其中，具有分布存储、并行处理、自学习、自组 织以及非线性映射等优点的神经网络与其他技术的结合以及由此 而来的混合方法和混合系统，已经成为一大研究热点。由于其他 方法也有它们各自的优点，所以将神经网络与其他方法相结合， 取长补短，继而可以获得更好的应用效果。目前这方面工作有神 经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗 集理论、分形理论、证据理论和灰色系统等的融合。
1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元 的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络 中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经 网络，因而混沌神经网络被认为是可实现其真实世界计算的智能 信息处理系统之一，成为神经网络的主要研究方向之一。
第二，具有联想存储功能。用人工神经网络的反馈网络就可以实 现这种联想。
第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解， 往往需要很大的计算量，利用一个针对某问题而设计的反馈型人 工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
６.８ 神经网络发展趋势
人工神经网络特有的非线性适应性信息处理能力，克服了 传统人工智能方法对于直觉，如模式、语音识别、非结构化信息 处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、 组合优化、预测等领域得到成功应用。人工神经网络与其它传统 方法相结合，将推动人工智能和信息处理技术不断发展。
６.５ 神经网络模型
人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特 征、学习规则等。目前，已有近40种神经网络模型，其中有反 传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、 适应谐振理论等。 根据连接的拓扑结构，神经网络模型可以分为： 前向网络 网络中各个神经元接受前一级的输入，并输出到下一级，网络 中没有反馈，可以用一个有向无环路图表示。这种网络实现信 号从输入空间到输出空间的变换，它的信息处理能力来自于简 单非线性函数的多次复合。 反馈网络 网络内神经元间有反馈，可以用一个无向的完备图表示。这种 神经网络的信息处理是状态的变换，可以用动力学系统理论处 理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、 波耳兹曼机均属于这种类型。
1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力 学模拟退火技术，保证整个系统趋于全局稳定点。
1986年，Rumelhart, Hinton, Williams发展了BP算法。Rumelhart 和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP算 法已被用于解决大量实际问题。1988年，Linsker对感知机网络提 出了新的自组织理论，并在Shanon信息论的基础上形成了最大互 信息理论，从而点燃了基于NN的信息应用理论的光芒。
混沌神经网络
与常规的离散型Hopfield神经网络相比较，混沌神经网络具有 更丰富的非线性动wk.baidu.com学特性，主要表现如下：在神经网络中引入 混沌动力学行为；混沌神经网络的同步特性；混沌神经网络的吸 引子。
小波神经网络在电机故障诊断、高压电网故障信号处理与 保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波 神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟 踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管 疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神 经网络用来进行分类，正确分类率达到94%。
６.７ 神经网络模型特点
人工神经网络的特点和优越性，主要表现在三个方面：
第一，具有自学习功能。例如实现图像识别时，只在先把许多不 同的图像样板和对应的应识别的结果输入人工神经网络，网络就 会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于 预测有特别重要的意义。预期未来的人工神经网络计算机将为人 类提供经济预测、市场预测、效益预测，其应用前途是很远大的。
６.1 发展历史
1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神 经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算 机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优 化计算的新途径，有力地推动了神经网络的研究，
与小波分析的结合
1981年，法国地质学家Morlet在寻求地质数据时，通过对 Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造 性的研究，首次提出了"小波分析"的概念，建立了以他的名字命 名的Morlet小波。1986年以来由于YMeyer、S.Mallat及 IDaubechies等的奠基工作，小波分析迅速发展成为一门新兴学科。 Meyer所著的"小波与算子"，Daubechies所著的"小波十讲"是小波 研究领域最权威的著作。
６.２ 神经网络
人工神经网络是一种应用类似于大脑神经突触联接的结构 进行信息处理的数学模型。在工程与学术界也常直接简称 为神经网络或类神经网络。神经网络是一种运算模型，由 大量的节点（或称神经元）之间相互联接构成。每个节点 代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该 连接信号的加权值，称之为权重，这相当于人工神经网络 的记忆。网络的输出则依网络的连接方式，权重值和激励 函数的不同而不同。而网络自身通常都是对自然界某种算 法或者函数的逼近，也可能是对一种逻辑策略的表达。
非监督学习时，事先不给定标准样本，直接将网络置于环 境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化 服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习 规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根 据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络 等都是与竞争学习有关的典型模型。
小波变换是对Fourier分析方法的突破。它不但在时域和频 域同时具有良好的局部化性质，而且对低频信号在频域和对高频 信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细 节。小波分析相当于一个数学显微镜，具有放大、缩小和平移功 能，通过检查不同放大倍数下的变化来研究信号的动态特性。因 此，小波分析已成为地球物理、信号处理、图像处理、理论物理 等诸多领域的强有力工具。
６.４ 神经网络的基本特征
神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在 网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大 脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行 分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息 处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个 领域的交叉学科。
与小波分析的结合
小波神经网络将小波变换良好的时频局域化特性和神经网 络的自学习功能相结合，因而具有较强的逼近能力和容错能力。 在结合方法上，可以将小波函数作为基函数构造神经网络形成小 波网络，或者小波变换作为前馈神经网络的输入前置处理工具， 即以小波变换的多分辨率特性对过程状态信号进行处理，实现信 噪分离，并提取出对加工误差影响最大的状态特性，作为神经网 络的输入。
６.３ 神经元
如图所示 a1~an为输入向量的各个分量 w1~wn为神经元各个突触的权值 b为偏置 f为传递函数，通常为非线性函数。以下默认为hardlim() t为神经元输出 数学表示 t=f(WA'+b) W为权向量 A为输入向量，A'为A向量的转置 b为偏置 f为传递函数
６.４ 神经网络的基本特征