模式识别演示几何分类法

9
---------------• 判别函数可以是线性的或非线性的。利 用已知类别的训练集，通过统计方法， 可以求得判别函数的具体形式和参数， 然后用来判别未知样本属何类别。这种 方法虽属统计分类方法，但无需依赖于 条件分布概率的知识，因此在一些场合 下，比基于贝叶斯公式的概率分类法简 单。
（二）线性判别函数与分类方法
A． 第 1～ 5 对 内 外 圆 的 识 别
D． 第 16～ 20 对 内 外 圆 的 识 别
图 6－ 25 实 拍 色 标 图 象 及 其 识 别 结 果 示 意 图
序 号 1 2 3 4 5 6
识别接受率 外圆 8 2 .1 % 6 9 .8 % 7 2 .4 % 7 2 .8 % 7 4 .2 % 7 4 .2 % 内圆 9 5 .2 % 6 0 .9 % 7 5 .4 % 7 4 .9 % 5 9 .7 % 5 5 .5 % X 4 3 .9 9 4 2 .2 2 4 0 .9 8 4 1 .0 1 3 9 .0 2 3 6 .1 3
gK (X ) WK X ,
T
K 1, 2 ,..., R
• 若
g i ( X ) g j ( X ), j i
• 则判定
X i
线性判别函数
• 以上介绍了线性判别函数的基本形式。归纳起来，可 写成一般表达式： • g(X)=WTX+W0 （96） • 式中X为d维特征向量，W为权向量，有 • X=(x1,x2,…..,xd)T • W=(w1,w2,……,wd)T • W0是常数，称为阈值权。 •
（三）非线性判别函数与分类方法
• 如图14所示的一种两类（ω 1，ω 2）问题， 若用线性判别函数I分类，可能带来较大 的分错率。当分错率超过一定限度，就 认为这是线性不可分的。这时，需考虑 采用非线性判别函数进行分类。 • 非线性判别函数可以用分段线性判别函 数表示，如图中的折线Ⅱ,如图14 。 • 或如图15,设计出含H1－H2－H3－H4的分 段线性判别函数。 • 或非线性判别函数,如图14的二次函数.
1 1 2 2 3
------• 将某一未知类别的样本X代入g(X), 如为 正值，则它属于ω1类；如为负值，则属 于ω2类。
0, X ω
g(X )= W
T
1
X=
0 , 不可判别 0, X ω 2
• 要进行模式分类，就要确定判别函数的 形式及其参数.
----------------• 再推广到多类情况。 设有R个模式类，它 有三种划分方式。
若W
T
sgn W

T
1 X 1

X 0
其它
W k , W k 1 W k CX k ,
若W
T
k X k
其它
0
----------------• (5) “赏－罚”概念 • 当WT(k)X(k)>0，表示分类正确，则 W(k+1)=W(k), 对此给予“赏”或“不 罚”，权向量不变。 • 当WT(k)X(k)≤0,表示分类错误，对此给 予“罚”.要使W(k)加一个正比于X(k)的 分量。即W(k+1)=W(k)+CX(K). • 例4. (P.41-42)
----------• • • • • 对于两类（ω1 ，ω2 ）问题的判决规则 为： 令 g(X)=g1(X)-g2(X) （97） 若g(X)>0, 则决策X ω1 g(X)<0, 则决策X ω2 g(X)=0, 可将X分到任一类或拒绝.
线性分类器
• • • • 基于线性判别函数的模式分类器称为线性分类器。 设计线性分类器的主要步骤是： 首先已知一组有类别的样本训练集； 第二，选择一个准则函数，该函数既与样本集X及W有 函数关系，又能反映分类器性能； • 第三，用最优化技术求出准则函数的极值解W*, 从而 得到线性判别函数（96）的优化解：
• •
先看二类情况下的判别函数。
如前图9，对特征向量X在二维平面上， 存在一直线方程形式的线性判别函数： g(X)= w x w x w 0 (89) • 式中X1 、X2 分别为二维平面坐标变量， W1 、W2 、W3 为方程的参数。图中空心 点与实心点构成两个模式集（ω1 、ω2 ）。 (P.37)
六. 几何分类法（判别函数法）
（一）几何分类的基本概念 • 一个模式经某种数学变换后，映射为一特征向量，并
表示为特征空间的一个点。同一类的点构成点集，表 示一类i 。不同类的点集（i , i=1,2,…,n)总是互相有 不同程度的分离。若能通过几何的方法，找出一种不 依赖于条件概率密度的分离函数，把特征空间划分为 对应于不同类别的子空间，便可实现模式分类。因此， 把这种分类方法称为几何分类法，把这种分离函数称 为判别函数。从而，几何分类法也通常称为判别函数 法（如图9中的二类线性判别）。
2.其它准则函数及其算法
• 1〕最小错分样本数准则：分类判决函数取
XWb0 (107) • 式中b是n维向量，b=(b1，b2，…，bn)T，例如取 b1=b2=…=bn=1。选用准则函数为
• J(W)=|| (XW-b)-|XW-b| ||2 (108)
• 式中：||.||为向量的幅值，|.|为绝对值。与感 知器准则比较，这个准则不要求达到全部样本都 分对，只求分错数最小，适用于大量样本的情况。 通常用共轭梯度法求它的最优解。
在用CCD摄 像机或扫描仪进行自动读记录图时，Biblioteka Baidu采 用模板匹配法识别数码。 如图17最左一帧是CCD读出的待识别数字“7”，其余各 帧为数字模板。识别时，在待识别矩形与各模板之间进行 相关计算，相关性强的作为识别结果。数字相关计算式为：
R xy
(g
t
g t )( g s g s )
----------------• 2〕.最小平方误差准则：分类判决函数取：
• XW=b (109) • 引入误差向量 • E=XW-b (110) • 并定义最小平方误差准则函数为： • J(W)=||E||2=||XW-b||2 (111) • 用最小二乘法解，可得最优化W*。
• 此外还有Fisher准则，随机最小错误率准 则等。 • 以上针对两类问题.对C多类问题,可化为 (C-1)个两类,再解.
例 1. 元件型号自动识别
截取模板
例2。基于图象分析的图像测量应用于 彩色印刷中套色精度的检测
• 在彩色印刷中，一般采用的是套色印刷技术。 在这种套色印刷系统中，如果套色不准，所印 刷的彩色图案将会由于各种颜色印制中的错位 而发生模糊。在彩色套色印刷中，都有套色监 测标志供读取判断。这些标志是一系列的同心 圆，如果套三种颜色就有三对同心圆，套五种 颜色就有五对同心圆，如下图所示。这样，套 色错位监测问题就转化成了同心圆的圆心
• 这时，对R类模式来说，有R(R-1)/ 2个判别平面。判别函数形式为
g ij ( X ) W ij X
T
• 如果X属于ωi类，则
g ij ( X ) 0 , j i
• 由可见，当R=3时，每条边界只能 划分两类，而不能把某一类与其它 两类分开。
------
-----• 第三种：存在R个判别 函数
• 求两圆心点之间的欧氏（Euclidean）距离，即偏心.
采集标准图象如图A，从中提取特征建立一个
小圆模板和一个大圆模板，分别如图B和C，图C 中的黑影划去的区域表示匹配时不必考虑的部分。
（ A）
（B）
（C）
图 6－ 3 标 准 图 象 及 大 小 圆 模 板
---------
图 6－ 21 外 圆 和 内 圆 模 板 对 应 图 形
求得圆心位置（象素） 外圆 Y 3 2 8 .9 6 2 7 0 .8 0 2 11 .91 1 5 5 .11 9 7 .0 5 3 8 .8 8 X 4 4 .9 6 4 5 .8 7 4 2 .3 9 4 3 .0 3 4 5 .3 2 4 6 .1 4 内圆 Y 3 3 0 .0 6 2 7 1 .3 9 2 1 2 .3 2 1 5 8 .7 5 1 0 1 .2 2 3 6 .7 9
错位监测问题。
图 6－ 1 套 色 错 位 监 测 转 化 为 同 心 圆 的 圆 心 错 位 监 测
操作步骤
• 采集标准图象，从中提取出感兴趣区域. 建立各个搜索 模板,即外圆模板和内圆模板. • 采集实际图象，根据具体情况设置不同的可以接受的 最低相关（见相关计算公式），也称为最低接受率， 对采集得到的图象进行模板匹配法的模式识别，识别 出各个目标； • 用标准模板代替图象中的相应区域，求取重心，从而 得到各个圆的圆心；
• 这时，准则函数J的最优解为： • J/W=0 • (4)最优解的常用算法是梯度下降法 (p41)
(4)最优解的常用算法是梯度下降法
选一初值W(1)=常数，通过下式迭代： W(k+1)=W(k)-C[ W J( k ) ]W=W(k)
J W
＝ 1 [ X sgn( W 2
T
X) X]
• 第一种：每个模式类与其 它模式类之间可用单个判 别平面分割（图10）。 • g(X)=Wi TX= 0 , X ω
i
0 , 其它
• 这种情况称为ωi /ωi两分法， 把R个多类问题分成R个两 类问题，所以要R个判别 函数。
• 第二种：每两类之间都可 以分别用判别平面分隔开， 即用ωi/ωj两分法（如图 11）。
-------------• (3) 准则函数 • J(W,X)= k (|WTX|- WTX) 的极小值为0，即
• minJ(W,X)=0 (101)
(100)
• 式中k为常数，常取k=0.5。当g(X)=WTX>0,J(W,X)=0，
当g(X)=WTX<0，J(W,X)>0。因此，这个准则函数



14




15
（四）模板匹配法
• 模板匹配（Template matching）法是一种 最原始最基本的方法，至今仍广泛应用 于文字、语言、几何图形的识别。它也 属于一种统计识别的方法。主要有光学 式、模电式和数电式。
如图16是光学式模板匹配法工作原理。设被识对象是数码 （或英文字母，或汉字），把可能的各类数码（例如0 、1、 2、… ,9）做成模板(负模),将被识数码作为正象输入,依次 与各类模板相匹配,则由输出光通量转换成的电流,是匹配 好坏的一种度量。取输出电流最小且小于一阈值为识别结 果。如图为“2”与模板“2”的匹配。
求得圆心间距 象素 1 .4 7 3 .7 0 1 .4 7 4 .1 6 7 .5 6 1 0 .2 3 毫米 0 .1 4 0 .3 4 0 .1 4 0 .3 8 0 .7 0 0 .9 4
• •
g(X)=W*TX+W0 * 这就是线性分类器的设计。
（99）
• 最优化技术求准则函数方法很多. 这里只介绍几种基本 概念。
1. 感知器准则
• (1) 模式识别是对人的思维的一种模拟。由苏联学者罗 森布拉特（Ф.Розенблатт）提出的感知器（Perceptron） 概念，它实现了人工神经网络的工程模型。它用权函 数联结网络的各个元素，构成一种非线性网络，对输 入信号作出某种响应，再通过一定方式传送到其它元 素，并能产生输出信号，这就是感知器的简单物理概 念。 • (2) 若把感知器的R个输出元素看作是R类模式，当某 个被识样本由输入元素输入网络，使输出元素中第i个 元素输出最大，则可判定被识样本属第i个模式。这样 就把感知器构造成一个线性分类器。 • (P.41)
例4. 判别函数为一直线，如图13所示。g(X)= -2X+1 = 0
图13
小结
• 按照感知器准则设计线性分类器（式98） 可归纳为： • 根据分类器判决函数XW>0，X∈ω 1，否 则X∈ω 2， • 然后选用感知器准则函数J(W)=k(|W T X|-W T X)， • 用梯度下降法求最优解W*，从而获得线 性判别函数。
2
(gt gt )

(gs gs)
2
其中gt、gs分别为待识矩阵和模板的象素灰度， t 、 g s 为象 g 素灰度平均值。
应用举例(補充P.46)
• 在外观检测、工业监测、生物医学等领 域有着日益广泛的应用。例如，在集成 电路芯片的生产过程中，用图像处理法 可以将那些缺少标识字符的芯片自动筛 选出来.