人工神经网络 (2)

人工神经网络的主要研究方向
• 应用研究可分为以下两类： • 1)．神经网络的软件模拟和硬件实现的 研究。 • 2)．神经网络在各个领域中应用的研究。 这些领域主要包括： • 模式识别、信号处理、知识工程、专家系 统、优化组合、机器人控制等。 随着神经 网络理论本身以及相关理论、相关技术的 不断发展，神经网络的应用定将更加深入。
• 典型的随机训练算法：模拟退火算法
训练算法之五
• Kohonen训练算法
– 它是Teuvo Kohonen受生物系统的启发而提出的，是 无指导的训练算法。 – 在训练过程中处理单元均参与彼此竞争，具有最大输 出的处理单元是获胜者。 – 获胜的节点具有抑制其竞争者的能力和激活其近邻结 点的能力，只有获胜者和其近邻结点的加权才被允许 调节。 – 获胜者的近邻结点的范围在训练中是可变的。
• 国际著名的神经网络研究专家，第一家神经计算 机公司的创立者与领导人Hecht Nielsen给人工 神经网络下的定义就是：“人工神经网络是由人 工建立的以有向图为拓扑结构的动态系统，它通 过对连续或断续的输入作状态相应而进行信息处 理。”
人工神经网络的模型
• 神经网络是一种运算模型，由 大量的节点（或称“神经元”， 或“单元”）和之间相互联接 构成。每个节点代表一种特定 的输出函数，称为激励函数 （activation function）。每 两个节点间的连接都代表一个 对于通过该连接信号的加权值， 称之为权重（weight），这相 当于人工神经网络的记忆。网 络的输出则依网络的连接方式， 权重值和激励函数的不同而不 同。而网络自身通常都是对自 然界某种算法或者函数的逼近， 也可能是对一种逻辑策略的表 达。
人工神经网络的主要研究方向
• 神经网络的研究可以分为理论研究和应用研究两 大方面。 • 理论研究可分为以下两类： • 1)．利用神经生理与认知科学研究人类思维 以及智能机理。 • 2)．利用神经基础理论的研究成果，用数理 方法探索功能更加完善、性能更加优越的神经网 络模型，深入研究网络算法和性能， 如：稳定性、 收敛性、容错性、鲁棒性等；开发新的网络数理 理论，如：神经网络动力学、非线性神经场等。
训练算法之一
• — Hebb算法
– Hebb算法是由Donald Hebb提出的一种最早的 训练算法。
• Hebb认为，如果源和目的神经元都被激活（或抑 制），它们之间的突触的强度就会增强。
– 工神经网络中Hebb算法的简单描述：
• 如果一个处理单元从另一个处理单元接收激励信号， 而且两者处于相同的激励电平（数学上具有相同的 符号），那么处理单元之间的加权就应当增强。
• 训练开始时，一般将近邻范围取得较大。 • 随着训练的进行其近邻范围逐渐缩小。
谢谢！！
人工神经网络的应用
• 神经网络的应用已经涉及到各个领域，且取得了很大的进展。 • 自动控制领域：主要有系统建模和辨识，参数整定，极点配置， 内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。 • 处理组合优化问题：成功解决了旅行商问题，另外还有最大匹配 问题，装箱问题和作业调度问题。 • 模式识别：手写字符，汽车牌照，指纹和声音识别，还可用于目 标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。 • 图像处理：对图像进行边缘监测，图像分割，图像压缩和图像恢 复。 • 机器人控制：对机器人轨道控制，操作机器人眼手系统，用于机 械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。 • 医疗：在乳房癌细胞分析，移植次数优化，医院费用节流，医院 质量改进等方面均有应用。
人工神经网络发展趋势
• 人工神经网络特有的非线性适应性信息处理能力，克 服了传统人工智能方法对于直觉，如模式、语音识别、非 结构化信息处理方面的缺陷，使之在神经专家系统、模式 识别、智能控制、组合优化、预测等领域得到成功应用。 人工神经网络与其它传统方法相结合，将推动人工智能和 信息处理技术不断发展。 • 近年来，人工神经网络正向模拟人类认知的道路上更 加深入发展，与模糊系统、遗传算法、进化机制等结合， 形成计算智能，成为人工智能的一个重要方向，将在实际 应用中得到发展。将信息几何应用于人工神经网络的研究， 为人工神经网络的理论研究开辟了新的途径。神经计算机 的研究发展很快，已有产品进入市场。光电结合的神经计 算机为人工神经网络的发展提供了良好条件。
介绍人工神经网络的特征之一：自学习
人工神经网络如何学习？
人工神经网络如何训练？有哪些方法？
有哪些训练算法？
人工神经网络的学习
• 人工神经网络的最主要特征之一就是它可 以学习。任何一个人工神经网络模型要实 现某种功能的操作，就必须对它训练，让 它学会要做的事情，并把这些知识记忆 （存储）在网络的加权中。人工神经网络源自人工神经网络的特点与优越性
• 人工神经网络的特点和优越性，主要表现在三个方面： • 第一，具有自学习功能。例如实现图像识别时，只在 先把许多不同的图像样板和对应的应识别的结果输入人工 神经网络，网络就会通过自学习功能，慢慢学会识别类似 的图像。自学习功能对于预测有特别重要的意义。预期未 来的人工神经网络计算机将为人类提供经济预测、市场预 测、效益预测，其应用前途是很远大的。 • 第二，具有联想存储功能。用人工神经网络的反馈 网络就可以实现这种联想。 • 第三，具有高速寻找优化解的能力。寻找一个复杂 问题的优化解，往往需要很大的计算量，利用一个针对某 问题而设计的反馈型人工神经网络，发挥计算机的高速运 算能力，可能很快找到优化解。
• σ训练算法
– 这种算法的基本思路是：按差值（ σ值）最小 准则连续地修正各连接权的强度。 – 所谓差值最小，就是指处理单元所要求的输出 与当前实际输出间的差值，靠调节各加权以达 到最小。 – 该算法也称为Widdrow-Hoff训练算法或最小 均方（LMS）算法。
训练算法之三
• 梯度下降算法
• • • • • • 这是将数学上的优化方法用于使要求的输出与实际输出之差最小。 在该方法中，加权的修正量正比于误差对加权的一阶导数，数学表示如下：
其中，E是描述误差的误差函数，Wij(n)是结点i到结点j的连接权，η为 训练速率系数。 σ训练算法是梯度下降算法的一个特例。 该算法收敛到稳定点较慢，但它是一种比较有效和普遍应用的训练算法。
训练算法之四
• 随机训练算法
• 该算法利用了随机过程，用概率和能量关系来调节连接权。 • 基本思路：在训练过程中，随机改变一个权值，确定权值改变后产生 的最终能量，并按如下准则来确定是否保留此加权的变化。 • 若改变加权后，人工神经网络的能量降低了，则保留着一改变。 • 若改变加权后，能量没有降低，则根据一个预选的概率分布来保留这 一改变。（这一步的目的是为了保证人工神经网络能够获得全局能量 最小点，而不是局部能量最小点。） • 否则，拒绝这一改变，使权值恢复到原来的值。
• 从给定的一类中取一个向量加到网络上，它将产生一个特定的输出。
• 在训练之前，没有办法知道哪种类型的输入向量将产生哪种特定的输 出，但通过这种训练，网络的输出总是变换为一个可理解的序列形式。
训练算法
– 目前应用的训练算法很多，其中有很大部分是 早期的Hebb算法的变形。 – 人们仍在以生物学习训练的模式作为目标，继 续探索新的算法。 – 可以相信，真正的生物学习训练过程肯定比目 前常用的训练算法复杂得多。
人工神经网络
机自1004班 ***
• 人工神经网络定义
人工神经网络的模型 人工神经网络的特点与优越性
人工神经网络的主要研究方向
人工神经网络的应用 人工神经网络发展趋势 人工神经网络的特征之一：自学习
人工神经网络定义
• 人工神经网络（artificial neural network，缩写 ANN），简称神经网络（neural network，缩写 NN），是一种模仿生物神经网络的结构和功能的 数学模型或计算模型。
• 把训练组中的每个向量对相继加入，对每个向量都计算并调节加权， 直到训练组中的误差都达到可接受的最低值为止。
人工神经网络的学习
• 2.无指导的训练
• 无指导的训练不要求有目标向量，网络通过自身的“经历”来学会某 种功能。因此无需比较产生控制误差，训练组织只是由输入向量组成。 • 训练算法也修改网络的加权，使得产生的输出具有某种可理解的规律 性。 • 无指导训练的过程实质是抽取训练组的某种统计特性，并把输入向量 按图形类似程度分为不同的类别。
• 按数学表示，就是两结点的连接权将按两结点的激 励电平的乘积来改变
其中，Wij(n)是第(n+1)次调节前从结点i到结点j的 连接权值； Wij(n+1)是第(n+1)次调节后从结点i到 结点j的连接权值；η为训练速率系数；yi为结点i的 输出，并输入到结点j； yj为结点j的输出。
训练算法之二
人工神经网络的学习
• 训练算法分为有指导的训练和无指导的训 练。 • 1.有指导的训练：
• 有指导的训练算法，不仅需要训练用的输入向量，同时还要求与之对 应的表示所需要输出的的目标向量。 • 输入向量与之对应的目标向量一起称作一个训练对。通常训练一个网 络需要很多训练对，这些训练对组成训练组。
• 当加上一个输入向量时，要计算网络的实际输出，并同相应的目标向 量做比较，根据比较结果的误差，按规定的算法改变加权。
人工神经网络的学习
• 学习或训练的实质就是加权矩阵随外部激励（环 境）做自适应的变化。 • Dw/dt≠0 • 人工神经网络被训练后，它每加入一组输入就会 产生一组要求的输出。（一组输入或输出就是所 谓的向量或图形。） • 训练就是相继加入输入向量，并按预定规则调整 网络加权；在进行训练后，网络的各加权都收敛 到一个确定值，以便每个输入向量都会产生一个 要求的输出向量。 • 调整加权所遵循的预定规则就是训练算法。