第2章前向多层人工神经网络01-文档资料

2019/1/28
傅京孙 (1930—1985) 丽水县城人。1954年毕业于台湾 再论模式识别： 对表征事物或现象的各种形式的（数值的、文字的或逻 辑的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和 大学电机系获学士学位，后留学加拿大多伦多大学 解释的过程称为“模式识别”，是信息科学和人工智能的重要组成部分。 获应用科学硕士学位， 1956年转入美国伊利诺斯大 人在分辨不同类别的事物时，抽取了同类事物之间的相同点以及不 学，获博士学位。 1961年起任美国普渡大学电机工 同类事物之间的不同点； 程系助教、副教授、教授，加州大学柏克莱分校及 模式是和类别（集合）的概念分不开的，只要认识这个集合的有限数量的事物 针对一个具体的模式识别问题，选定特征参数非 或现象，就可以识别这个集合中的任意多的事物或现象。为了强调能从具体的 斯坦福大学访问教授。 1971年起当选为美国电机工 字符识别：例如汉字“中”可以有各种写法，但都属于同一类别。 常重要，关乎模式识别的成败。著名国际大师傅 事物或现象中推断出总体，我们就把个别的事物或现象称作“模式”，而把总 程学会荣誉会员。同年得顾根汉基金研究奖助金。 更为重要的是，即使对于某个“中”的具体写法从未见过，也能把 京孙教授曾说过模式识别问题的关键是特征提取。 体称作类别或范畴。 1975它分到“中”这一类别。 年起任普渡大学高斯工程讲座教授。以后开设 特征矢量：最简单的情况是用一组称为“ 特征参数”的数值信息表示一个客观 特征参数应能区分所定义的模式，同时有没有过 概率论，创立图形识别科学，影像处理及其在遥测、 识别目标：人们走向一个目的地的时候，总是在不断的观察周围的 对象。例如，水果品质分类中用到的大小、重量、比重、果型、颜色，其取值 多的重复，即：完备而不冗余。选定特征参数的 景物，判断所选择的路线是否正确。实际上，是对眼睛看到的图象 医学方面的应用，曾任第一届国际图形识别会议主 均为数值。表示成特征矢量形式： Xi = [ xi1, xi2, xi3, xi4, xi5 ]； 过程称“为特征提取”。特征提取没有统一的方 做 “正确”和“不正确”的分类判断。 席。 1976年当选为美国国家工程学院院士，获得麦 样本：对一个具体对象进行观测得到的一个特征矢量称为一个“样本”， Xi 法，事实上，特征提取是一个不同专业领域范畴 人脑的这种思维能力就构成了“模式”的概念和“模式识别”的过 考艾科学贡献奖。 1977年获得美国计算机学会杰出 称为第 i 个样本，或者第 i 个样本的特征矢量。 程。 内的问题。正因为如此，模式识别应用问题往往 论文奖。 1978年任台湾“中央研究院”院士。 特征空间：即特征矢量张成的空间，每个样本对应于特征空间上的一点。 是跨专业领域的工程。
第 3 页 2019/1/28
模式类：特征参数选择合理时，不同类的模式，在特征空间中占据不
第 4 页
同的分布区域；
模式识别所要做的事情，包含两个方面： 1. 在不同类别样本点集之间，寻找合理的分界面，或称作“判别函数 （Decision Function）” —— 因为判别函数来自于实际观测数据， 因此称此阶段为 “学习” 或 “训练” ； 2. 给定未知模式，判断该样本所属类别，称为“工作”或“应用”。
模式识别，举例：水果分级系统。 水果品质参数：重量、大小、比重、果形、颜色等
第 1 页
特征矢量：X
= [x1, x2, x3, x4, x5]T
特征空间：用参数张成。 模式：每个苹果为一个模式，其特征矢量 为特征空间中的一个点； 模式类：一个级别为一个类，一类模式分 布在特征空间的某个特定区域； 模式识别：找出各类之间的分界面。
2019/1/28
ANN的主要功能之二 —— 联想 ( Associative Memory )
第 2 页
联想的心理学定义： 当一个事物的表象被激活时，也就是说该表象所包含的若干属性单元同时 有效时，我们的注意力焦点就集中在这个表象上，如果对该表象的处理使的 表象被否决时，也就是说由于一些属性单元的失效（或被抑制，或处于高 阻），导致该表象无法成立的时候，剩余的属性单元或许可以构成另一种事 物的表象，或许还需要结合那些被激活了的新的属性（或是由外界事物具有 的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活）。 • 例如：看到柠檬，感觉到嘴里口水增多。因为，由柠檬联想到了酸味。 • 字符识别：


特征选择的好坏是模式识别成败的关键，但如何选择“特征”，即， 以上所说的 “学习” 或 “训练”，是根据若干已知样本在空间找到合 选择什么物理量作为特征，是具体专业“领域”的问题，需要运用“领 适的分类面。对于一个样本 Xi，用yi表示它所属的类别，例如，它属于 域”的专业知识来解决。 第k类。样本已知，意思是{Xi ， yi}已知。这种“学习”又称为“有监 例如，语音识别，如何从自然语音中提取“特征”，是语音识别的 督”学习，即，通过对已知样本{Xi ，yi}的学习找到合理的判别函数。 专业问题；图象识别，如何从CCD图象获取适当的特征，是图象处理领 所谓“工作”，指的是给定类别未知的样本 Xi ，求yi 的值。Xi是对某个 域的问题，即使在图象处理领域，不同应用目的所取的特征也不同。 客观对象观测的结果，其取值无法事先限定。但类别 yi的取值是离散的、 模式识别的全过程，应该包括特征提取阶段。但是，我们这里将要 讲到的有关智能方法，都只涉及到特征提取之后的工作。神经元模型
神经元的输入：
第 5 页
X x x 0x 1 N 1
所完成的运算为：
N 1 T Net W X w ix i i 0 y f Net
w w w 式中： W 0 1 N 1
称为神经元的“权值矢量”；
f 称为神经元的“功能函数”； Net 称为神经元的“净输入”；