仿生模式识别_拓扑模式识别_一种模式识别新模型的理论与应用_王守觉
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
200第2 年10
期 10 月
电 子 学 报 ACTA ELECTRONICA SINICA
Vo l O
.30 No.10 ct . 2002
仿生模式识别(拓扑模式识别)———一种模式识别 新模型的理论与应用
王守觉
(中国科学院半导体研究所神经网络实验室 , 北京 100083) 摘 要 : 本文提出了一种模式识别理论的新 模型 , 它是 基于“ 认识” 事物而不 是基于“ 区分” 事物为目 的 .与 传统 以“ 最佳划分” 为目标的统计模式识别相比 , 它更接 近于人类“ 认识” 事物的特 性 , 故 称为“ 仿生模式识 别” .它的数 学方 法在于研究特征空间中样本集合的拓扑性质 , 故亦 称作“ 拓扑模式识别” .“ 拓扑模式识别” 的理论基点在于它确认 了特 征空间中同类样本的连续性(不能分裂成两个彼此 不邻接的部分)特性 .文中用“ 仿生模式识别” 理论及其“高维空 间复 杂几何形体覆盖神经网 络” 识别 方法 , 对 地平面刚体目标全方 位识别问题作了实 验 .对各种 形状相像的动物及 车辆模 型作全方位 8800 次识别 , 结果正确识别率为 99.75%, 错误识别率与 拒识率分别为 0 与 0.25 %.
关键词 : 模式识别 ;神经网络 ;仿生学 ;高维几何 中图分类号 : O235 文献标识码 : A 文章 编号 : 0372-2112 (2002)10-1417-04
Bionic (Topological)Pattern Recognition ——— A New Model of Pattern Recognition Theory and Its Applications
收稿日期 :2002-07-12 ;修回日期 :2002-08-05 基金项目 :国家自然科学基金项目(N o.60135010)
果却仍然远不能令人满意 .虽 然 Vapnik 在 一本非 常出色 的书 中是这样批评人 工智能 学者 的[ 5] .(为 了忠 于原文 , 把 Vapnik 书中(中译本)原话一 段引在 下面 , 这对说 明本文 的目的 与出 发点是必要的 .)Vapnik 写道 :“在 80 年代 , 人工 智能学者 在计 算学习领域中扮演了 主要的 角色 .在这些 人工智 能研究 者中 间 , 一些较极端的学者有很大 的影响(正是他们 强调了` 复杂 的理论是没有用的 , 有用的是简单的算法' ).这些人工智能学 者对于处理学习问题 有丰富 的经验 , 善于 对一些 理论上 非常 复杂的问题构造` 简单的 算法' .60 年代 末 , 人们 认为 在几 年 之内就可以完成计算机 自然语 言翻译 器(但时至 今日我 们尚 离解决这个极其复杂的问题很远);在此之 后的另一个计划是 构造通用问题求解器 ;再之 后又是 建立大 系统自 动控制 机的 计划 , 等等 .所有这些科 研计划 都没有 取得成 功 .接 下来要 研 究的问题就是如何建 立一种 计算学习 技术 .这些 学者首 先做
1 41 8
电 子 学 报
2002 年
的是改变了 所用的术语 .特别 地 , 感 知器被 改称为 神经网 络 . 然后这些研 究被称作是与 生理学家 共同进 行的 , 对学 习问题 的研究减少了一般性 , 增加了主观色彩 .在 60 和 70 年代学习 问题研究的主要目标是寻找从小数量样本出发进行归纳推理 的最好途径 , 而到了 80 年 代 , 目 标变成 了构 造利 用大脑 来推 广的模型 .(原文注 :当然研究人是如何学习的是很有意 义的 , 但是这并不 一定是建立人 工学习机 器的最 佳途径 , 正 如人们 对鸟类如何 飞行 的研 究实 际上 对建 造飞 机没 有多 少帮 助一 样).”
4 仿生模式识别的 基点 ———特征空 间中同类样本 全体的连续性规律
人们在对事物的识别过程中 , 存百度文库两种不同的归类过程 . 一种是“ 同源”的归类过程 , 例如同为简体汉字的手写体识别 . 另一种是不同源的按 逻辑知 识归类过 程 , 例如手 写体中 简体 汉字与繁体汉字的归 并 .对 学过简 体汉字 而未学 过繁体 汉字 的人 , 对于简体汉字的印刷体 、手写楷书和 行书等往往都能认 识 , 而对于繁体汉字却不认识 .因为繁体汉 字与简体汉字并不 源于同一个字形 , 而是被人为地定义为同一个字的 , 靠事先学 习的逻辑知识把二类归 并成一类 .我 们把“ 同源” 的称为 同一 类 , 而在识别以后再按逻辑 归类知 识把需 要归在 一起的 类别 合并 .因而以下所称同类样本指的都是“ 同源” 的一类样本 .以 下讨论“ 同源”同类样本的连续性 规律 ;
1 引言
模式识别的发 展已 有几 十年的 历史 .早 在 20 世 纪 30 年 代 , Fisher 提出的判别分析就是利用已知的两类向量的概率分 布函数来设 计将两类向 量分开的 决策规 则的问 题[ 1] .随 即在 统计模式识 别发展以后 , 模式识 别就被 认为是 用来选 择使平 均风险达到 最小的模式 类别 .因而 , 划分类 别问题 , 与统 计判 决理论完全相同[ 2] .
上看 , 还 没 有“ 仿 生” 的含 意 .下 面 把 仿 生
模式 识别 与传 统模 式
识别 的比 较与 差异 以
图表 方 式 表 示 在 图 1
图1
中.
3 从基本数学 模型看仿生模式识别与传统模式识 别的本质差别
传统模式识 别其基本数 学模型的 基点在于如 文献[ 5] 中 第 12 页所述的 :《 所有可用 的信息 都包 含在训 练集(1 -1)式 中的情况下》(注 :原 文(1 -1)式 即训 练 集坐 标(x 1 , y1), … , (x1 , y 1))这就是说在同类样本点相互之间没 有任何关系 的先 验知识存在 , 因此 , 一切都只能从特征空间 中不同类样本的划 分出发了 .然而在自然界实际规律中并非如此 ;本文所提出的 仿生模式识别就在于引 入了同类样本间存在的某些普遍的规 律性而建立起来的“ 多维空间中非超球复杂几何形体覆盖” 的 识别原理 .下节将重点讨论同类样本间普遍存在的规律性(亦 即普遍存在的先验知识)
本文对 Vapnik 这段 话并 非有 所评 议 , 只 想说 明 , 本 文题 目用“ 仿生模式识别” 中的“ 仿生” 二字 , 并非 Vapnik 所 批评的 “ 目标变成了构造利用大 脑来推 广的模 型” , 而 只是为 了从功 能上更接近 于人类对事物 的识别过 程 , 而从数 学模型 上加入 了实际“ 被识别对象” 的某些 普遍存 在的“ 特殊 性” .这 个所谓 “ 特殊性”是 针对目前传统的 模式识 别数学描 述方法 的“ 一般 性与通用性” 而言的 , 它在实际的模式识别问题中却仍然具有 一般性与通用性 .
设想农村中的一孩子 , 能认识牛 、羊 、马 、狗 、树林 、房子等 等农村中所有的一切 , 但没见过汽车 ;如果有一辆汽车突然出
现在他面前时 , 试问他 会怎样 想呢 ? 他会 把汽车 与以前 见过 的牛 、羊 、马 、狗 … …等一 件件比 较 , 看 与哪 件最相 像吗 ? (传
统模式识别正是这样的)不 , 他绝不是这样想的 , 而是认 为“ 我 没见过这种东西”“ 我
不认识这种东西” .这正是人类认识事物与传统模式识别的差 别 .人类侧重于“认识” , 只有在 细小 之处才 重视“ 区 别”(例如
要区分狼与 狗或马与驴等等), 而传 统模式识 别则只 注意“ 区
分” , 没有重 视“ 认识” 的概念 .本文 提出的“ 仿 生模式 识别” 就
是从“ 认识” 模式的角度进 行模式识 别 ;既然它 的基本 概念不
WANG Shou-jue
(Lab of Artificial Neural Networks , Institute of Semiconductors , CAS , Beijing 100083, China) Abstract : A new model of pattern recognition principles, witch is based on “matter cognition”instead of “matter classification” in traditional statistical pattern recognition, has been proposed.This new model is better closer to the function of human being , rather than traditional statistical pattern recognition using“optimal seperating”as its main principle .So the new model of pattern recognition is called the Bionic Pattern Recognition.Its mathematical basis are topological analysis of sample set in the high dimensional feature space , therefore it is also called the Topological Pattern Recognition .The basic idea of this model is based on the fact of the continuity in the feature space of any one of the certain kinds of samples.We did experiments on recognition of omnidirectionally oriented rigid objects on the same level, with the Bionic Pattern Recognition using neural networks, which acts by the method of covering the high dimensional geometrical distribution of the sample set in the feature space .M any animal and vehicle models(even with rather similar shapes)were recognized omnidirectionally thousands of times.For total 8800 tests, the correct recognition rate is 99.75 %, the error rate and the rejection rate are 0 and 0.25 respectively . Key words: pattern recognition;neural networks;bionics;high dimensional geometry
近年受到人 们 关注 的支 持 向量 机(SVM)的最 早 提出 者 Vapnik 在 1974 年提出 了“ 最 优分 类超 平面” 的概 念[ 3] 并 在此 基础上后来发展构造成了支持向量机(SVM)[ 4] .综上所述 , 数 十年来人们 在研究模式识 别问题中 , 考 虑的出 发点都 是在若 干类别的最 佳分类划分上 .其根 本原因 或许在 于用这 样的数 学描述与处 理方法最具 有一般性 、通 用性 .但众所 周知 , 即使 基于目前最 先进的模式识 别理论基 础上的 识别机 , 其 实际效
同于已经发 展数十年的传 统模式识 别 , 为强调 与传统 模式识 别在概念上的不同 , 用了“ 仿生 模式识 别” 这一 名词 ;其中“ 仿
生” 二 字 的 含 义 只 是
在模 式识 别的 功能 和
数学 模型 上强 调了 从
“ 认 识” 的 概 念 出 发 ,
更接 近 于人 类 的 识
别 ;而 从 实 现 的 途 径
本文的 基本出 发点 就在 于把 模式 识别 问题 看成 模 式的 “ 认识” , 而不是分类划 分 , 不是模式 分类 ;是一 类一类样 本的 “ 认识” , 而不是多类样 本的划 分 .因 而 , 其基本 数学模型 当然 会与传统模式识别的“最优分类” 界面的概念大不相同 .
2 人类的识别功能与传统模式识别方法的差异
期 10 月
电 子 学 报 ACTA ELECTRONICA SINICA
Vo l O
.30 No.10 ct . 2002
仿生模式识别(拓扑模式识别)———一种模式识别 新模型的理论与应用
王守觉
(中国科学院半导体研究所神经网络实验室 , 北京 100083) 摘 要 : 本文提出了一种模式识别理论的新 模型 , 它是 基于“ 认识” 事物而不 是基于“ 区分” 事物为目 的 .与 传统 以“ 最佳划分” 为目标的统计模式识别相比 , 它更接 近于人类“ 认识” 事物的特 性 , 故 称为“ 仿生模式识 别” .它的数 学方 法在于研究特征空间中样本集合的拓扑性质 , 故亦 称作“ 拓扑模式识别” .“ 拓扑模式识别” 的理论基点在于它确认 了特 征空间中同类样本的连续性(不能分裂成两个彼此 不邻接的部分)特性 .文中用“ 仿生模式识别” 理论及其“高维空 间复 杂几何形体覆盖神经网 络” 识别 方法 , 对 地平面刚体目标全方 位识别问题作了实 验 .对各种 形状相像的动物及 车辆模 型作全方位 8800 次识别 , 结果正确识别率为 99.75%, 错误识别率与 拒识率分别为 0 与 0.25 %.
关键词 : 模式识别 ;神经网络 ;仿生学 ;高维几何 中图分类号 : O235 文献标识码 : A 文章 编号 : 0372-2112 (2002)10-1417-04
Bionic (Topological)Pattern Recognition ——— A New Model of Pattern Recognition Theory and Its Applications
收稿日期 :2002-07-12 ;修回日期 :2002-08-05 基金项目 :国家自然科学基金项目(N o.60135010)
果却仍然远不能令人满意 .虽 然 Vapnik 在 一本非 常出色 的书 中是这样批评人 工智能 学者 的[ 5] .(为 了忠 于原文 , 把 Vapnik 书中(中译本)原话一 段引在 下面 , 这对说 明本文 的目的 与出 发点是必要的 .)Vapnik 写道 :“在 80 年代 , 人工 智能学者 在计 算学习领域中扮演了 主要的 角色 .在这些 人工智 能研究 者中 间 , 一些较极端的学者有很大 的影响(正是他们 强调了` 复杂 的理论是没有用的 , 有用的是简单的算法' ).这些人工智能学 者对于处理学习问题 有丰富 的经验 , 善于 对一些 理论上 非常 复杂的问题构造` 简单的 算法' .60 年代 末 , 人们 认为 在几 年 之内就可以完成计算机 自然语 言翻译 器(但时至 今日我 们尚 离解决这个极其复杂的问题很远);在此之 后的另一个计划是 构造通用问题求解器 ;再之 后又是 建立大 系统自 动控制 机的 计划 , 等等 .所有这些科 研计划 都没有 取得成 功 .接 下来要 研 究的问题就是如何建 立一种 计算学习 技术 .这些 学者首 先做
1 41 8
电 子 学 报
2002 年
的是改变了 所用的术语 .特别 地 , 感 知器被 改称为 神经网 络 . 然后这些研 究被称作是与 生理学家 共同进 行的 , 对学 习问题 的研究减少了一般性 , 增加了主观色彩 .在 60 和 70 年代学习 问题研究的主要目标是寻找从小数量样本出发进行归纳推理 的最好途径 , 而到了 80 年 代 , 目 标变成 了构 造利 用大脑 来推 广的模型 .(原文注 :当然研究人是如何学习的是很有意 义的 , 但是这并不 一定是建立人 工学习机 器的最 佳途径 , 正 如人们 对鸟类如何 飞行 的研 究实 际上 对建 造飞 机没 有多 少帮 助一 样).”
4 仿生模式识别的 基点 ———特征空 间中同类样本 全体的连续性规律
人们在对事物的识别过程中 , 存百度文库两种不同的归类过程 . 一种是“ 同源”的归类过程 , 例如同为简体汉字的手写体识别 . 另一种是不同源的按 逻辑知 识归类过 程 , 例如手 写体中 简体 汉字与繁体汉字的归 并 .对 学过简 体汉字 而未学 过繁体 汉字 的人 , 对于简体汉字的印刷体 、手写楷书和 行书等往往都能认 识 , 而对于繁体汉字却不认识 .因为繁体汉 字与简体汉字并不 源于同一个字形 , 而是被人为地定义为同一个字的 , 靠事先学 习的逻辑知识把二类归 并成一类 .我 们把“ 同源” 的称为 同一 类 , 而在识别以后再按逻辑 归类知 识把需 要归在 一起的 类别 合并 .因而以下所称同类样本指的都是“ 同源” 的一类样本 .以 下讨论“ 同源”同类样本的连续性 规律 ;
1 引言
模式识别的发 展已 有几 十年的 历史 .早 在 20 世 纪 30 年 代 , Fisher 提出的判别分析就是利用已知的两类向量的概率分 布函数来设 计将两类向 量分开的 决策规 则的问 题[ 1] .随 即在 统计模式识 别发展以后 , 模式识 别就被 认为是 用来选 择使平 均风险达到 最小的模式 类别 .因而 , 划分类 别问题 , 与统 计判 决理论完全相同[ 2] .
上看 , 还 没 有“ 仿 生” 的含 意 .下 面 把 仿 生
模式 识别 与传 统模 式
识别 的比 较与 差异 以
图表 方 式 表 示 在 图 1
图1
中.
3 从基本数学 模型看仿生模式识别与传统模式识 别的本质差别
传统模式识 别其基本数 学模型的 基点在于如 文献[ 5] 中 第 12 页所述的 :《 所有可用 的信息 都包 含在训 练集(1 -1)式 中的情况下》(注 :原 文(1 -1)式 即训 练 集坐 标(x 1 , y1), … , (x1 , y 1))这就是说在同类样本点相互之间没 有任何关系 的先 验知识存在 , 因此 , 一切都只能从特征空间 中不同类样本的划 分出发了 .然而在自然界实际规律中并非如此 ;本文所提出的 仿生模式识别就在于引 入了同类样本间存在的某些普遍的规 律性而建立起来的“ 多维空间中非超球复杂几何形体覆盖” 的 识别原理 .下节将重点讨论同类样本间普遍存在的规律性(亦 即普遍存在的先验知识)
本文对 Vapnik 这段 话并 非有 所评 议 , 只 想说 明 , 本 文题 目用“ 仿生模式识别” 中的“ 仿生” 二字 , 并非 Vapnik 所 批评的 “ 目标变成了构造利用大 脑来推 广的模 型” , 而 只是为 了从功 能上更接近 于人类对事物 的识别过 程 , 而从数 学模型 上加入 了实际“ 被识别对象” 的某些 普遍存 在的“ 特殊 性” .这 个所谓 “ 特殊性”是 针对目前传统的 模式识 别数学描 述方法 的“ 一般 性与通用性” 而言的 , 它在实际的模式识别问题中却仍然具有 一般性与通用性 .
设想农村中的一孩子 , 能认识牛 、羊 、马 、狗 、树林 、房子等 等农村中所有的一切 , 但没见过汽车 ;如果有一辆汽车突然出
现在他面前时 , 试问他 会怎样 想呢 ? 他会 把汽车 与以前 见过 的牛 、羊 、马 、狗 … …等一 件件比 较 , 看 与哪 件最相 像吗 ? (传
统模式识别正是这样的)不 , 他绝不是这样想的 , 而是认 为“ 我 没见过这种东西”“ 我
不认识这种东西” .这正是人类认识事物与传统模式识别的差 别 .人类侧重于“认识” , 只有在 细小 之处才 重视“ 区 别”(例如
要区分狼与 狗或马与驴等等), 而传 统模式识 别则只 注意“ 区
分” , 没有重 视“ 认识” 的概念 .本文 提出的“ 仿 生模式 识别” 就
是从“ 认识” 模式的角度进 行模式识 别 ;既然它 的基本 概念不
WANG Shou-jue
(Lab of Artificial Neural Networks , Institute of Semiconductors , CAS , Beijing 100083, China) Abstract : A new model of pattern recognition principles, witch is based on “matter cognition”instead of “matter classification” in traditional statistical pattern recognition, has been proposed.This new model is better closer to the function of human being , rather than traditional statistical pattern recognition using“optimal seperating”as its main principle .So the new model of pattern recognition is called the Bionic Pattern Recognition.Its mathematical basis are topological analysis of sample set in the high dimensional feature space , therefore it is also called the Topological Pattern Recognition .The basic idea of this model is based on the fact of the continuity in the feature space of any one of the certain kinds of samples.We did experiments on recognition of omnidirectionally oriented rigid objects on the same level, with the Bionic Pattern Recognition using neural networks, which acts by the method of covering the high dimensional geometrical distribution of the sample set in the feature space .M any animal and vehicle models(even with rather similar shapes)were recognized omnidirectionally thousands of times.For total 8800 tests, the correct recognition rate is 99.75 %, the error rate and the rejection rate are 0 and 0.25 respectively . Key words: pattern recognition;neural networks;bionics;high dimensional geometry
近年受到人 们 关注 的支 持 向量 机(SVM)的最 早 提出 者 Vapnik 在 1974 年提出 了“ 最 优分 类超 平面” 的概 念[ 3] 并 在此 基础上后来发展构造成了支持向量机(SVM)[ 4] .综上所述 , 数 十年来人们 在研究模式识 别问题中 , 考 虑的出 发点都 是在若 干类别的最 佳分类划分上 .其根 本原因 或许在 于用这 样的数 学描述与处 理方法最具 有一般性 、通 用性 .但众所 周知 , 即使 基于目前最 先进的模式识 别理论基 础上的 识别机 , 其 实际效
同于已经发 展数十年的传 统模式识 别 , 为强调 与传统 模式识 别在概念上的不同 , 用了“ 仿生 模式识 别” 这一 名词 ;其中“ 仿
生” 二 字 的 含 义 只 是
在模 式识 别的 功能 和
数学 模型 上强 调了 从
“ 认 识” 的 概 念 出 发 ,
更接 近 于人 类 的 识
别 ;而 从 实 现 的 途 径
本文的 基本出 发点 就在 于把 模式 识别 问题 看成 模 式的 “ 认识” , 而不是分类划 分 , 不是模式 分类 ;是一 类一类样 本的 “ 认识” , 而不是多类样 本的划 分 .因 而 , 其基本 数学模型 当然 会与传统模式识别的“最优分类” 界面的概念大不相同 .
2 人类的识别功能与传统模式识别方法的差异