第1讲：神经网络信息处理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
2.神经网络发展史
第一阶段——启蒙时期（1943-1969） 这是神经网络理论研究的奠基阶段，1943年，神 经生物学家MeCulloch和青年数学家Pitts合作，提出 了第一个人工神经元模型，并在此基础上抽象出神经 元的数理模型，开创了人工神经网络的研究，以 MeCulloch和Pitts提出人工神经元的数理模型（即神 经元的阀值模型，简称MP模型）为标志，神经网络拉 开了研究的序幕。 *1949年Hebb学习法则提出，为构造有学习功能的神 经网络模型奠定了基础。 *1958年Rosenblatt在原有MP模型的基础上增加了学 习机制。他提出的感知器模型，首次把神经网络理论 付诸工程实现.
13
14
15
2 神经元之间的连接形式 *前向网络(前馈网络)
网络可以分为若干“层”，各层按信号传输先后 顺序依次排列，第i层的神经元只接受第(i-1)层神经 元给出的信号，各神经元之间没有反馈。前馈型网络 可用一有向无环路图表示. *反馈网络 典型的反馈型神经网络每个节点都表示一个计算 单元，同时接受外加输入和其它各节点的反馈输入， 每个节点也都直接向外部输出。Hopfield网络即属此 种类型。在某些反馈网络中，各神经元除接受外加输 入与其它各节点反馈输入之外，还包括自身反馈。有 时，反馈型神经网络也可表示为一张完全的无向图.
9
10
2. 人工神经网络的特性 人工神经网络与人脑以及冯· 诺依曼计算机相比有如下 特点： 1．大规模并行处理 人脑神经元之间传递脉冲信号的速度远低于冯· 诺依 曼计算机的工作速度，前者为毫秒量级，后者的时钟 频率通常可达108Hz或更高的速率。但是，由于人脑是 一个大规模并行与串行组合处理系统，因而在许多问 题上可以做出快速判断、决策和处理，其速度可以远 高于串行结构的冯· 诺依曼计算机。人工神经网络的基 本结构模仿人脑，具有并行处理的特征，可以大大提 高工作速度。
3.人工神经网络的学术交流
在国内：1989年10月和11月分别在北京和广州召开了神 经网络及其应用讨论会和第一届全国信号处理-神经网 络学术会议；1990年2月由国内八个学会，即中国电子 学会﹑人工智能学会﹑自动化学会﹑通信学会﹑物理学 会﹑生物物理学会和心理学会联合在北京召开“中国神 经网络首届学术会议”。这次大会以“八学会联盟，探 智能奥秘”为主题，收到了300多篇学术论文，开创了 中国人工神经网络及神经计算机方面科学研究的新纪元 。 2004年8月在中国大连召开的ISNN2004国际会议， 引起了国内外神经网络研究者的广泛关注，产生了较大 的影响；另外，国内外许多相关的学术会议都设有人工 神经网络专题，如国内的WCICA﹑CIAC﹑CDC﹑CCC及国 8
在国际上，1987年，在美国加州召开了第一届国际神 经网络学术会议。此后每年召开的国际联合神经网络 大 会 IJCNN（International Joint Conference on Neural Networks），成为神经网络研究者的重要学术 交流平台。另外，十几种国际著名的神经网络学术刊 物相继问世，如：《IEEE Transactions on Neural Networks》﹑《IEEE Transactions on Circuit and Systems》﹑《IEEE Transactions on Systems, Man, and Cybernetics》﹑《Journal of artificial Neural Networks》﹑《Journal of Neural Systems》 ﹑《Neural Networks》﹑《Neural Computation》 ﹑《Networks: Computation in Neural Systems》 ﹑《Machine Learning》等，至此神经网络理论研究 在国际学术领域获得了其应有的地位。 1.2 神经网络的结构 1.M-P模型
1.3 人工神经网络的基本要素
在人工神经网络设计及应用研究中，通常需要考
虑三个方面的内容，即神经元功能函数、神经元
之间的连接形式和网络的学习(训练)。 1.神经元功能函数 神经元在输入信号作用下产生输出信号的规律由 神经元功能函数f（Activation Function）给出，也 称激活函数，或称转移函数，这是神经元模型的外特 性。
5Hale Waihona Puke Baidu
第三阶段——复兴时期(1982-)
这是神经网络理论研究的主要发展时期。1982年， 美国国家科学院的刊物上发表了著名的Hopfield模型 的理论。Hopfield构造出Laypunov函数，并证明了 网络在平衡点附近的稳定性，还将这种模型用电子 电路来实现。Hopfield的模型不仅对人工神经网络 信息存储和提取功能进行了非线性数学概括，提出 了动力方程和学习方程，使人工神经网络的构造和 学习有了理论指导。
4
第二阶段——低潮时期（1969－1980） 1969年人工智能的创始人之一Minsky和Papert对以 感知器为代表的网络系统的功能及局限性从数学上做 了深入研究，发表了轰动一时《Perceptrons》一书， 指出简单的线性感知器的功能是有限的，它无法解决 线性不可分的两类样本的分类问题，如简单的线性感 知器不可能实现“异或”的逻辑关系等。 开始了神经网络发展史上长达10年的低潮期。 *1972年，芬兰的Kohonen T教授，提出了自组织神 经网络SOM(Self-Organizing feature map) . *1976年，美国Grossbeng S.教授提出了著名的自适 应共振理论ART(Adaptive Resonance Theory)，其学 习过程具有自组织和自稳定的特征。 *1980年日本人福岛邦彦（Kunihiko Fukushima）发 表的“新认知机”(Neocognitron)。
*1986年，由Rumelhart和McCkekkand主编的有16位 作 者 参 加 撰 写 的 《 Parallel Distributed Processing： Exploration in the Microstructures of Cognition》出版， 解决了长期以来没有权值调整有效算法的难题。可以 求解感知机所不能解决的问题，回答了《Perceptrons》 一书中关于神经网络局限性的问题，从实践上证实了 人工神经网络有很强的运算能力，BP算法是目前最引 人注目﹑应用最广泛的神经网络算法之一。 *细胞神经网络（CNN）模型; *双向联想存储模型（BAM); *光学神经网络（PNN）; *混沌神经网络理论等。
2
第1讲： 神经网络信息处理方法
1.1 神经网络的基本概念 1.神经网络定义 关于神经网络的定义尚不统一，按美国神经网络学 家Hecht Nielsen的观点，神经网络的定义是：“神 经网络是由多个非常简单的处理单元彼此按某种方 式相互连接而形成的计算机系统，该系统靠其状态 对外部输入信息的动态响应来处理信息”。综合神 经网络的来源﹑特点和各种解释，它可简单地表述 为：人工神经网络是一种旨在模仿人脑结构及其功 能的信息处理系统。
16
17
1.3. 人工神经网络的学习(训练)
18
19
20
21
22
23
24
25
26
27
28
29
30
11
2．分布式存储 人脑存储信息的特点是利用突触效能的变化来调 整存储内容，也即信息储存在神经元之间连接强度的 分布上，存储区与运算区合为一体。虽然人脑每日有 大量神经细胞死亡，但不影响大脑的功能，局部损伤 可能引起功能衰退，但不会突然丧失功能。冯· 诺依曼 计算机具有相互独立的存储器和运算器，知识存储与 数据运算互不相关，只有通过人的编程给出指令使之 沟通，这种沟通不能超越程序编写者的预想。元件的 局部损伤或程序中的微小错误都可能引起严重的失常。 3．自适应(学习)过程 人类大脑有很强的自适应与自组织特性。后天的 学习与训练可以开发许多各具特色的活动功能。如盲 人的听觉和触觉非常灵敏，聋哑人善于运用手势，训 练有素的运动员可以表现出非凡的运动技巧等等。 12
智能信息处理方法及应用
朱大奇 上海海事大学 水下机器人与智能系统实验室 email: zdq367@yahoo.com.cn 2009. 3. Shanghai , China
1
课程的主要内容
1、神经网络信息处理技术(4讲) ——BP、CMAC、SOM、Hopfield 2、信息融合信息处理技术（2讲） ——模糊融合、神经网络融合、DS证据融合 3、PCA主元分析信息处理技术（1讲） ——线性PCA、非线性PCA 4、智能计算信息处理技术（1-2讲） ——遗传算法、蚁群算法、粒子群算法 5、专家系统及信号预测技术（1讲） ——神经网络预测、灰色预测、专家系统 6、智能信息处理应用技术（2讲） ——UUV故障诊断、容错控制、路径规划、轨迹跟踪控制 7、研究生报告（2-3讲）
2.神经网络发展史
第一阶段——启蒙时期（1943-1969） 这是神经网络理论研究的奠基阶段，1943年，神 经生物学家MeCulloch和青年数学家Pitts合作，提出 了第一个人工神经元模型，并在此基础上抽象出神经 元的数理模型，开创了人工神经网络的研究，以 MeCulloch和Pitts提出人工神经元的数理模型（即神 经元的阀值模型，简称MP模型）为标志，神经网络拉 开了研究的序幕。 *1949年Hebb学习法则提出，为构造有学习功能的神 经网络模型奠定了基础。 *1958年Rosenblatt在原有MP模型的基础上增加了学 习机制。他提出的感知器模型，首次把神经网络理论 付诸工程实现.
13
14
15
2 神经元之间的连接形式 *前向网络(前馈网络)
网络可以分为若干“层”，各层按信号传输先后 顺序依次排列，第i层的神经元只接受第(i-1)层神经 元给出的信号，各神经元之间没有反馈。前馈型网络 可用一有向无环路图表示. *反馈网络 典型的反馈型神经网络每个节点都表示一个计算 单元，同时接受外加输入和其它各节点的反馈输入， 每个节点也都直接向外部输出。Hopfield网络即属此 种类型。在某些反馈网络中，各神经元除接受外加输 入与其它各节点反馈输入之外，还包括自身反馈。有 时，反馈型神经网络也可表示为一张完全的无向图.
9
10
2. 人工神经网络的特性 人工神经网络与人脑以及冯· 诺依曼计算机相比有如下 特点： 1．大规模并行处理 人脑神经元之间传递脉冲信号的速度远低于冯· 诺依 曼计算机的工作速度，前者为毫秒量级，后者的时钟 频率通常可达108Hz或更高的速率。但是，由于人脑是 一个大规模并行与串行组合处理系统，因而在许多问 题上可以做出快速判断、决策和处理，其速度可以远 高于串行结构的冯· 诺依曼计算机。人工神经网络的基 本结构模仿人脑，具有并行处理的特征，可以大大提 高工作速度。
3.人工神经网络的学术交流
在国内：1989年10月和11月分别在北京和广州召开了神 经网络及其应用讨论会和第一届全国信号处理-神经网 络学术会议；1990年2月由国内八个学会，即中国电子 学会﹑人工智能学会﹑自动化学会﹑通信学会﹑物理学 会﹑生物物理学会和心理学会联合在北京召开“中国神 经网络首届学术会议”。这次大会以“八学会联盟，探 智能奥秘”为主题，收到了300多篇学术论文，开创了 中国人工神经网络及神经计算机方面科学研究的新纪元 。 2004年8月在中国大连召开的ISNN2004国际会议， 引起了国内外神经网络研究者的广泛关注，产生了较大 的影响；另外，国内外许多相关的学术会议都设有人工 神经网络专题，如国内的WCICA﹑CIAC﹑CDC﹑CCC及国 8
在国际上，1987年，在美国加州召开了第一届国际神 经网络学术会议。此后每年召开的国际联合神经网络 大 会 IJCNN（International Joint Conference on Neural Networks），成为神经网络研究者的重要学术 交流平台。另外，十几种国际著名的神经网络学术刊 物相继问世，如：《IEEE Transactions on Neural Networks》﹑《IEEE Transactions on Circuit and Systems》﹑《IEEE Transactions on Systems, Man, and Cybernetics》﹑《Journal of artificial Neural Networks》﹑《Journal of Neural Systems》 ﹑《Neural Networks》﹑《Neural Computation》 ﹑《Networks: Computation in Neural Systems》 ﹑《Machine Learning》等，至此神经网络理论研究 在国际学术领域获得了其应有的地位。 1.2 神经网络的结构 1.M-P模型
1.3 人工神经网络的基本要素
在人工神经网络设计及应用研究中，通常需要考
虑三个方面的内容，即神经元功能函数、神经元
之间的连接形式和网络的学习(训练)。 1.神经元功能函数 神经元在输入信号作用下产生输出信号的规律由 神经元功能函数f（Activation Function）给出，也 称激活函数，或称转移函数，这是神经元模型的外特 性。
5Hale Waihona Puke Baidu
第三阶段——复兴时期(1982-)
这是神经网络理论研究的主要发展时期。1982年， 美国国家科学院的刊物上发表了著名的Hopfield模型 的理论。Hopfield构造出Laypunov函数，并证明了 网络在平衡点附近的稳定性，还将这种模型用电子 电路来实现。Hopfield的模型不仅对人工神经网络 信息存储和提取功能进行了非线性数学概括，提出 了动力方程和学习方程，使人工神经网络的构造和 学习有了理论指导。
4
第二阶段——低潮时期（1969－1980） 1969年人工智能的创始人之一Minsky和Papert对以 感知器为代表的网络系统的功能及局限性从数学上做 了深入研究，发表了轰动一时《Perceptrons》一书， 指出简单的线性感知器的功能是有限的，它无法解决 线性不可分的两类样本的分类问题，如简单的线性感 知器不可能实现“异或”的逻辑关系等。 开始了神经网络发展史上长达10年的低潮期。 *1972年，芬兰的Kohonen T教授，提出了自组织神 经网络SOM(Self-Organizing feature map) . *1976年，美国Grossbeng S.教授提出了著名的自适 应共振理论ART(Adaptive Resonance Theory)，其学 习过程具有自组织和自稳定的特征。 *1980年日本人福岛邦彦（Kunihiko Fukushima）发 表的“新认知机”(Neocognitron)。
*1986年，由Rumelhart和McCkekkand主编的有16位 作 者 参 加 撰 写 的 《 Parallel Distributed Processing： Exploration in the Microstructures of Cognition》出版， 解决了长期以来没有权值调整有效算法的难题。可以 求解感知机所不能解决的问题，回答了《Perceptrons》 一书中关于神经网络局限性的问题，从实践上证实了 人工神经网络有很强的运算能力，BP算法是目前最引 人注目﹑应用最广泛的神经网络算法之一。 *细胞神经网络（CNN）模型; *双向联想存储模型（BAM); *光学神经网络（PNN）; *混沌神经网络理论等。
2
第1讲： 神经网络信息处理方法
1.1 神经网络的基本概念 1.神经网络定义 关于神经网络的定义尚不统一，按美国神经网络学 家Hecht Nielsen的观点，神经网络的定义是：“神 经网络是由多个非常简单的处理单元彼此按某种方 式相互连接而形成的计算机系统，该系统靠其状态 对外部输入信息的动态响应来处理信息”。综合神 经网络的来源﹑特点和各种解释，它可简单地表述 为：人工神经网络是一种旨在模仿人脑结构及其功 能的信息处理系统。
16
17
1.3. 人工神经网络的学习(训练)
18
19
20
21
22
23
24
25
26
27
28
29
30
11
2．分布式存储 人脑存储信息的特点是利用突触效能的变化来调 整存储内容，也即信息储存在神经元之间连接强度的 分布上，存储区与运算区合为一体。虽然人脑每日有 大量神经细胞死亡，但不影响大脑的功能，局部损伤 可能引起功能衰退，但不会突然丧失功能。冯· 诺依曼 计算机具有相互独立的存储器和运算器，知识存储与 数据运算互不相关，只有通过人的编程给出指令使之 沟通，这种沟通不能超越程序编写者的预想。元件的 局部损伤或程序中的微小错误都可能引起严重的失常。 3．自适应(学习)过程 人类大脑有很强的自适应与自组织特性。后天的 学习与训练可以开发许多各具特色的活动功能。如盲 人的听觉和触觉非常灵敏，聋哑人善于运用手势，训 练有素的运动员可以表现出非凡的运动技巧等等。 12
智能信息处理方法及应用
朱大奇 上海海事大学 水下机器人与智能系统实验室 email: zdq367@yahoo.com.cn 2009. 3. Shanghai , China
1
课程的主要内容
1、神经网络信息处理技术(4讲) ——BP、CMAC、SOM、Hopfield 2、信息融合信息处理技术（2讲） ——模糊融合、神经网络融合、DS证据融合 3、PCA主元分析信息处理技术（1讲） ——线性PCA、非线性PCA 4、智能计算信息处理技术（1-2讲） ——遗传算法、蚁群算法、粒子群算法 5、专家系统及信号预测技术（1讲） ——神经网络预测、灰色预测、专家系统 6、智能信息处理应用技术（2讲） ——UUV故障诊断、容错控制、路径规划、轨迹跟踪控制 7、研究生报告（2-3讲）