模式识别人工神经网络以和在模式识别中的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
11.1 人工神经网络的发展历程
资料仅供参考,不当之处，请联系改正。
11.1.1 人类大脑的优势
人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一 种非线性并行信息处理系统。
尽管单个生物神经元的反应速度比构成计算机的基本单元——逻辑 门——慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对 有些问题的处理速度比计算机还快。
（由人根据已知的环境 学习——自动从样本数据中抽取内涵
去构造一个模型）
（自动适应应用环境）
适应领域
精确计算：符号处理， 非精确计算：模拟处理，感觉，大规
数值计算
模数据并行处理
模拟对象 左脑（逻辑思维）
右脑（形象思维）
11.1.3 人工神经网络的研究历史 资料仅供参考,不当之处，请联系改正。
第一阶段：萌芽期（20世纪40年代）
——
BP
RBF
SOM
——
ART
波尔茨 曼机
BM
提出时间
1957
1986
1988
1982
1982
1987
1984
学习方式
有监督
有监督
有监督
无监督
无监督
无监督
有监督
拓扑结构
前向
前向
前向
前向
反馈
反馈
反馈
活动方式 确定型 确定型 确定型 确定型 确定型 确定型 随机型
资料仅供参考,不当之处，请联系改正。
11.2 生物神经元的机理
人们乐观地认为几乎已经找到了智能的关键。许多部门都开始 大批地投入此项研究，希望尽快占领制高点。
11.1.3 人工神经网络的研究历史（续） 资料仅供参考,不当之处，请联系改正。
第三阶段：反思期（1969~1982年）
1969年Minsky出版《感知器》一书，对感知器提出了严厉的批评， 认为它连最简单的线性不可分问题——异或问题都解决不了；
神经元之间的联接强度取决于“兴奋”程度的强弱；
资料仅供参考,不当之处，请联系改正。
11.3 人工神经元的基本概念及学习算法
11.2.2 生物神经元的工作机制 资料仅供参考,不当之处，请联系改正。
神经元A
神经元B
（抑制状态）
神经元A
神经元B
（兴奋状态）
一个神经元有“兴奋”和“抑制”两种 状态； 平时处于“抑制”状态的神经元，其树突和胞体接收其它神经元 传来的兴奋电位；
如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状 态，并发出输出脉冲；
早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重 要性；
第四阶段：第二高潮期（1983~1990年）
1982年，J. Hopfield提出了循环网络的概念；
1986年提出了多层感知器的反向传播算法，较好地解决了 多层网络的学习问题。 1990年12月在北京举行了国内首届神经网络大会；
人类大脑具有智能，即具有感知、学习、理解、联想、决策等能力。
感知：获取外界信息，是智能的基础； 学习：取得经验与积累知识，是人类不断发展的基本能力；
理解：分析与解决问题，是智能的高级形式；
资料仅供参考,不当之处，请联系改正。
11.1.2 人工神经网络研究的必要性
计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、 识别、联想、决策和适应环境等人脑具备的能力。
1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈 值加权模型，简称M-P模型，成为人工神经网络研究的开端。
1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变 的假说——Hebb学习律，为神经网络奠定了基础。
第二阶段：第一高潮期（1950~1968年）
1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸 工程实践，引起了人们的极大关注。
11.2.1 生物神经元的构成 资料仅供参考,不当之处，请联系改正。
枝蔓（Dendrite）
ຫໍສະໝຸດ Baidu
胞体(Soma)
轴突（Axon） 胞体(Soma)
突触（Synapse）
胞体：是神经细胞的本体，用于普通细胞的生存； 枝蔓(树突)：含有大量分支，用于接受其它神经元的信号； 轴突： 用于输出信号，可与多个神经元联结； 突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。
11.1.3 人工神经网络的研究历史（续） 资料仅供参考,不当之处，请联系改正。
第五阶段：再认识与应用研究期（1991年~ ）
当前人工神经网络存在的主要问题： （1）局部极小问题； （2）模型选择问题； （3）计算速度和准确度问题；
当前人工神经网络的研究任务：
（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法； （2）开发现有网络应用，并在应用中根据实际运行情况对网络加以 改造，以提高网络的训练速度和运行的准确度。 （3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
人工神经网络与传统的人工智能技术思路迥然不同：
相异点
传统的人工智能技术
人工神经网络
基本实现方 串行处理；由程序实现 并行处理；对样本数据进行多目标学
式
控制
习；通过人工神经元之间的相互作用
实现控制
基 本 开 发 方 设计规则、框架、程序 定义人工神经网络的结构原型，通过
法
；用样本数据进行调试 样本数据，依据基本的学习算法完成
11.1.4 人工神经网络的研究范围 资料仅供参考,不当之处，请联系改正。
有监督学习（有教师学习）：预先已知训练样本集合中每个样本的类别标号
无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号
网络模型
感知器
误差 反传网
径向基 函数网
自组织 映射
Hopfiel d网
自适应 共振网
英文缩写
计算机能否象人脑那样工作 ？人工神经网络做了一个有益的尝试。
人工神经网络是对人类大脑功能的一种模拟；
这种模拟粗略而简单，无论是在规模上还是功能上都与人脑差 得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。
资料仅供参考,不当之处，请联系改正。
11.1.2 人工神经网络研究的必要性（续）
本章主要内容 资料仅供参考,不当之处，请联系改正。
11.1 人工神经网络的发展历程 11.2 生物神经元的机理 11.3 人工神经元的基本概念及学习算法 11.4 前馈神经网络的类型与拓扑结构 11.5 前馈神经网络的反向传播算法 11.6 径向基函数网络 11.7 神经网络在模式识别中的应用
资料仅供参考,不当之处，请联系改正。
资料仅供参考,不当之处，请联系改正。
11.1.1 人类大脑的优势
人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一 种非线性并行信息处理系统。
尽管单个生物神经元的反应速度比构成计算机的基本单元——逻辑 门——慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对 有些问题的处理速度比计算机还快。
（由人根据已知的环境 学习——自动从样本数据中抽取内涵
去构造一个模型）
（自动适应应用环境）
适应领域
精确计算：符号处理， 非精确计算：模拟处理，感觉，大规
数值计算
模数据并行处理
模拟对象 左脑（逻辑思维）
右脑（形象思维）
11.1.3 人工神经网络的研究历史 资料仅供参考,不当之处，请联系改正。
第一阶段：萌芽期（20世纪40年代）
——
BP
RBF
SOM
——
ART
波尔茨 曼机
BM
提出时间
1957
1986
1988
1982
1982
1987
1984
学习方式
有监督
有监督
有监督
无监督
无监督
无监督
有监督
拓扑结构
前向
前向
前向
前向
反馈
反馈
反馈
活动方式 确定型 确定型 确定型 确定型 确定型 确定型 随机型
资料仅供参考,不当之处，请联系改正。
11.2 生物神经元的机理
人们乐观地认为几乎已经找到了智能的关键。许多部门都开始 大批地投入此项研究，希望尽快占领制高点。
11.1.3 人工神经网络的研究历史（续） 资料仅供参考,不当之处，请联系改正。
第三阶段：反思期（1969~1982年）
1969年Minsky出版《感知器》一书，对感知器提出了严厉的批评， 认为它连最简单的线性不可分问题——异或问题都解决不了；
神经元之间的联接强度取决于“兴奋”程度的强弱；
资料仅供参考,不当之处，请联系改正。
11.3 人工神经元的基本概念及学习算法
11.2.2 生物神经元的工作机制 资料仅供参考,不当之处，请联系改正。
神经元A
神经元B
（抑制状态）
神经元A
神经元B
（兴奋状态）
一个神经元有“兴奋”和“抑制”两种 状态； 平时处于“抑制”状态的神经元，其树突和胞体接收其它神经元 传来的兴奋电位；
如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状 态，并发出输出脉冲；
早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重 要性；
第四阶段：第二高潮期（1983~1990年）
1982年，J. Hopfield提出了循环网络的概念；
1986年提出了多层感知器的反向传播算法，较好地解决了 多层网络的学习问题。 1990年12月在北京举行了国内首届神经网络大会；
人类大脑具有智能，即具有感知、学习、理解、联想、决策等能力。
感知：获取外界信息，是智能的基础； 学习：取得经验与积累知识，是人类不断发展的基本能力；
理解：分析与解决问题，是智能的高级形式；
资料仅供参考,不当之处，请联系改正。
11.1.2 人工神经网络研究的必要性
计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、 识别、联想、决策和适应环境等人脑具备的能力。
1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈 值加权模型，简称M-P模型，成为人工神经网络研究的开端。
1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变 的假说——Hebb学习律，为神经网络奠定了基础。
第二阶段：第一高潮期（1950~1968年）
1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸 工程实践，引起了人们的极大关注。
11.2.1 生物神经元的构成 资料仅供参考,不当之处，请联系改正。
枝蔓（Dendrite）
ຫໍສະໝຸດ Baidu
胞体(Soma)
轴突（Axon） 胞体(Soma)
突触（Synapse）
胞体：是神经细胞的本体，用于普通细胞的生存； 枝蔓(树突)：含有大量分支，用于接受其它神经元的信号； 轴突： 用于输出信号，可与多个神经元联结； 突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。
11.1.3 人工神经网络的研究历史（续） 资料仅供参考,不当之处，请联系改正。
第五阶段：再认识与应用研究期（1991年~ ）
当前人工神经网络存在的主要问题： （1）局部极小问题； （2）模型选择问题； （3）计算速度和准确度问题；
当前人工神经网络的研究任务：
（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法； （2）开发现有网络应用，并在应用中根据实际运行情况对网络加以 改造，以提高网络的训练速度和运行的准确度。 （3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
人工神经网络与传统的人工智能技术思路迥然不同：
相异点
传统的人工智能技术
人工神经网络
基本实现方 串行处理；由程序实现 并行处理；对样本数据进行多目标学
式
控制
习；通过人工神经元之间的相互作用
实现控制
基 本 开 发 方 设计规则、框架、程序 定义人工神经网络的结构原型，通过
法
；用样本数据进行调试 样本数据，依据基本的学习算法完成
11.1.4 人工神经网络的研究范围 资料仅供参考,不当之处，请联系改正。
有监督学习（有教师学习）：预先已知训练样本集合中每个样本的类别标号
无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号
网络模型
感知器
误差 反传网
径向基 函数网
自组织 映射
Hopfiel d网
自适应 共振网
英文缩写
计算机能否象人脑那样工作 ？人工神经网络做了一个有益的尝试。
人工神经网络是对人类大脑功能的一种模拟；
这种模拟粗略而简单，无论是在规模上还是功能上都与人脑差 得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。
资料仅供参考,不当之处，请联系改正。
11.1.2 人工神经网络研究的必要性（续）
本章主要内容 资料仅供参考,不当之处，请联系改正。
11.1 人工神经网络的发展历程 11.2 生物神经元的机理 11.3 人工神经元的基本概念及学习算法 11.4 前馈神经网络的类型与拓扑结构 11.5 前馈神经网络的反向传播算法 11.6 径向基函数网络 11.7 神经网络在模式识别中的应用
资料仅供参考,不当之处，请联系改正。