模式识别技术(三)

1
IR 4
ω 1 IR 2
ω3
ω2
⎧g1(x) < 0 ⎪ ⎨g2(x) > 0 ⎪g (x) < 0 ⎩3
− +
+
2
g3(x) =0
IR 3
x1
⎧g1(x) < 0 ⎪ ⎨g2 (x) < 0 ⎪g (x) > 0 ⎩ 3
5
−g (x)=0
10
若x
= (6,5)T = ( x1 , x2 )T ，代入判别函数
3
则
g ( x) = vT y
增广权向量
增广模式向量
二、判定面及意义 考察两类问题 ω1 ，ω 2 ，对应两个判别函数 g1 ( x) ， g 2 ( x) 方程
g ( x) = g1 ( x) − g 2 ( x) = 0 定义了一个决策面， 它把归类于 ω1 类的点与归类于 ω2 类的点分
割开来，当 g ( x) 为线性函数时，这个决策面就是超平面，记为 H。
⎧ g12 ( x) > 0 ① ω1 类的区域 ⎨ g ( x ) > 0 ，与 g 23 无关 ⎩ 13
g12 ( x) = − x1 − x2 + 5⎫ ② g ( x) = x + x − 5 ⎬ g12 ( x ) 的正侧，即 g 21 ( x ) 的负侧 21 1 2 ⎭
13
③
⎧ x ∈ ω1 , g1 j ( x) > 0, j = 2,3 ⎨ ⎩ x ∈ ω2 , g 2 j ( x) > 0, j = 1,3
wT x
x = (1, x1 , x2 , L , xn )T , w = ( w0 , w1 , L , wn )T ）
> 0, x ∈ ωi T ⎧ g i ( x ) = wi x ⎨ ⎩≤ 0, x ∈ ωi ( x ∈ ωi ), i = 1,2, L , C
其中 wi
T
= ( wi 0 , wi1 , L , win )T
T T
15
⎧ g1 ( x) = −3 x1 − x2 + 9 ⎪ ⎨ g 2 ( x) = −2 x1 − 4 x2 + 11 ex： ⎪ g 3 ( x ) = − x2 ⎩
⎧ g12 ( x) = g1 ( x) − g 2 ( x) = − x1 + 3 x2 − 2 ⎪ ⎨ g13 ( x) = g1 ( x) − g 3 ( x) = −3 x1 + 9 ⎪ g ( x) = g ( x) − g ( x) = −2 x − 3 x + 11 2 3 1 2 ⎩ 23
ω1 , ω2 ,L, ωc 个类中的哪一类，即 x ∈ ω（ i i = 1,2, L, c) 。
二、线性与非线性判别函数 判别函数（边界）
x2
ω2
ω1
x1
边界
线性判别
线性 广义线性
ω3
非线性判别函数（分段线性判别函数、二次判别函数等）
2
3.2 线性判别函数 一、线性判别函数的表示 判别函数是指由 x 的各个分量的线性组合而成的函数
16
ω : 分类： 1 ⎨
⎧ g12 > 0 ⎧− x1 + 3 x2 − 2 > 0 ，即 ⎨ − 3 x + 9 > 0 ，正侧 g 0 > 1 ⎩ ⎩ 13 ⎧ g 21 > 0 ⎧ g 31 > 0 : ω ， 3 ⎨g > 0 g 0 > ⎩ 23 ⎩ 32
T
ω2 : ⎨
模式样本 x = (0,2) ，归于何类？
x2
| w0 | || w ||
W
x
ℜ1 : g > 0
r0 =
r=
| g ( x) | || w ||
xp
ℜ2 : g < 0
x1
H
6
性质：
r=
g ( x) w ，若 x 为原点，则 g ( x ) = w0
> 0 ，原点在 H 的正侧
如果 w0
w0 < 0 ，原点在 H 的负侧 w0 = 0 ， H 过原点
4
决策规则： 如果
g ( x) > 0, x ∈ ω1 g ( x) < 0, x ∈ ω2
g ( x) = 0, 可将 x 分到任一类，或拒绝（状态不确定）
几何意义：假设 x1 和 x2 都在超平面 H 上， 则有 或
wT x1 + w0 = wT x2 + w0
wT ( x1 − x2 ) = 0
g1 ( x) = −1 < 0 ⎫ ⎪ g 2 ( x) = 6 > 0 ⎬ ⇒ x ∈ ω2 g 3 ( x) = −4 < 0⎪ ⎭
注：存在不确定区域 IR1 , IR2 , IR3 , IR4
11
2、采用每对划分，即 ωi 类与 ω j 类两分法，它只能分开两类， 但不能用它把其余所有类分开。需要建立 即 满足： 决策：
x2
IR 1
+
g1 ( x ) = 0
−
⇒ 三个判别边界
⎧ − x1 + x2 = 0 ⎪ ⎨ x1 + x2 − 5 = 0 ⎪ − x +1 = 0 2 ⎩
如 x ∈ ω1 ，由
⎧ g1 ( x) = − x1 + x2 > 0 ⎪ g 2 ( x) < 0 ⎨ 确定。 ⎪ g 3 ( x) < 0 ⎩
7
小结：超平面 H 的方向由权向量 w 确定，它的位置由阈权值
w0 确 定 ， 当 x
g ( x) < 0
在
H
的正侧时，
g ( x) > 0
；在负侧时，
8
三、多类情况下的决策规则： C 个类型： ω1 , ω 2 , L , ωC 1、通过唯一一个判别函数就能将属于 ωi 类与不属于 ωi 类分开 对 C 个类别，需要建立 C 个判别函数。 （通常使用的决策方程为增广型：记为 g ( x ) =
18
3.3 广义线性判别函数
线性判别函数虽然简单，但局限性较大，不适用于非凸决策区域和 多连通区域的划分问题。
ω1 : x < b或x > a ex:有一维样本空间 x ， ω : a < x < b ，显然用一个线性函数无法 2
完成分类，若建立一个二次判别函数： g ( x ) = ( x − a )( x − b)
g ( x ) = wT x + w0 x = ( x1 , x2 , L , xn )T ， w = (w1,w2 ,L ,wn )T
ω0 是常数，称为阈权值或偏量。
⎡1 ⎤ T T ( 1 , , , , ) y = x x x = L n 1 2 ⎢ x ⎥ ， V T = (w0 ,w1,L ,wn ) ， 若令 ⎣ ⎦
3.4 线性分类器的设计
一、设计的思想及步骤 针对增广型判别函数研究，即
g ( x) = wT x
其中 x = (1, x1 , x2 , L , x n ), w = ( w0 , w1 , L , w n ) 判别规则:
T
⎧ > 0, x ∈ ω1 g ( x) = wT x ⎨ ⎩< 0, x ∈ ω2
g(x)
b
a
x
ω1
ω2
ω1
19
⎧ > 0, x ∈ ω1 g ( x ) ⎨ 决策： ⎩< 0, x ∈ ω 2
一般二次函数可写成：
⎡1⎤ ⎥ g ( x) = c0 + c1 x + c2 x 2 = (c0 , c1 , c2 ) ⎢ x ⎢ ⎥ 2 ⎢ ⎣x ⎥ ⎦
令 则
ω = (c0 , c1 , c2 )T , y = (1, x, x 2 )
T
为了区分出其中的某一个类型 ωi ， 需要 k 个判别函数，k ≤ c 决策： g i ( x ) > g j ( x ), j = 1,2, L , k , j ≠ i 或：
g i ( x) = max {g j ( x)}
j =1, 2 ,L, k
这是一个最大值判别规则 令 g ij ( x ) = g i ( x ) − g j ( x ) = ( wi − w j ) x 其中 wij = wi − w j
g ( y ) = wT y = ∑ ci yi
i =1 3
转化为 y 的线性函数，维数由 1
3
20
一般地：
g ( x) = w0 + w1φ1 ( x) + w2φ2 ( x) + L + wnφn ( x)
= ∑ wi φi ( x) （取 φ0 ( x) = 1 ）
i =0 n
= wT y
其中 w = ( w0 , w1 , L , wn ), y = (1, φ1 ( x), L , φn ( x)) ,
5
可见：权向量与超平面 H 上任一向量正交，即 w 是 H 的法 向量， H 将特征空间分成两个半空间，分别对应 ω1 类的决 策域 ℜ1 ， ω 2 类的决策域 ℜ 2 ，
g ( x) > 0 ⇒ w
指向 ℜ1 ，或称 x 在 H 的正侧
反之， g ( x ) < 0 ⇒ w 指向 ℜ 2 ，或称 x 在 H 的负侧，如图
T
c(c − 1) 个判别函数， 2
g ij ( x) = wij x ， i, j = 1,2, L , c, i ≠ j
g ij ( x) = − g ji ( x)
⎧ > 0, x ∈ ωi g ij ( x) = wij x ⎨ ⎩< 0, x ∈ ω j
T
12
ex:设判别函数
⎧ g1 ( x) = − x1 − x2 + 5 ⎪ ⎨ g 2 ( x) = − x1 + 3 ⎪ g ( x) = − x + x 1 2 ⎩ 3
T T
称为广义线性判别函数， w 广义权向量。 其中 w = ( w0 , w1 , L , wn ), y = (1, φ1 ( x), L , φn ( x))
T T
⎧ > 0, x ∈ ω1 g ( y )⎨ 决策： ⎩< 0, x ∈ ω2
通过低维向高维映射，可以把非线性 线性。
21
问题：维数大大增加，陷入“维数灾难”
ω 1 判别区
g 12 > 0 g 12 > 0
ω 3 判别区
g g
31 32
∴ g 3 j ( x) > 0, j = 1,2.∴ x ∈ ω3
3
+
g13(x) = 0 5
−
+
g12(x) = 0
−
x1
14
3、对 c 类中的每一类均建立一个判别函数，即
g i ( x) = ωi x, i = 1,2, L , c
第三章 判别函数及线性分类器
3.1 3.2 3.3 3.4 3.5 基本概念 线性判别函数 广义线性判别函数 线性分类器的设计 其他分类器
1
3．1 基本概念
一、模式与类别 任一模式 x ,有 n 个特征， x = ( x1 , x2 ,L, xn )T ，根据 n 个特征，判别它属于
这是 ωi / ωi 二分法问题
9
ex:三类问题，建立了三个判别函数
⎧ g1 ( x) = − x1 + x2 ⎪ ⎨ g 2 ( x) = x1 + x2 − 5 ⎪ g ( x) = − x + 1 2 ⎩ 3
5
⎧ g1 ( x ) > 0 ⎪ ⎨ g 2 ( x) < 0 ⎪ g ( x) < 0 ⎩ 3
w0 w1 wn-1 wn
g(x)=wTx
>0 x∈ω1
∑
Wn-1 Xn-1 WnXn 检测
<0 x∈ω2
(已知类别)
W1 = W ± ∆
24
已知 x1 ∈ ω1 ，通过检测调整权向量，最终使 x1 ∈ ω1
样本 x = ( 4,3) ，归于何类？
T
5
ω
g
2
判别区 > 0
x 2 g 12 > 0
23
+
−
> 0 > 0
g23(x) = 0
g12 ( x) = −2⎫ ⎪ g13 ( x) = −1⎬ g 23 ( x) = −1⎪ ⎭
g 21 ( x) = 2⎫ ⎪ g 31 ( x) = 1 ⎬ g 32 ( x) = 1⎪ ⎭
g12 ( x) = 4 > 0⎫ g1 ( x) = 7 ⎫ ⎪ ⎪ g13 ( x) = 9 > 0 ⎬ x ∈ ω1 g 2 ( x) = 3 ⎬ x ∈ ω1 ，也可取大操作 g 23 ( x) = 5 > 0⎪ g 3 ( x ) = −2 ⎪ ⎭ ⎭
17
三种情况总结
本节把多类问题分成了三种情况进行了讨论，每一种都建 立了相应的线性判决函数和有关判决规则。 第一种情况，把多类问题转为 ωi / ωi 二分法问题； 第二种情况，把多类问题转为 ωi / ω j 二分法问题； 第三种情况，使用最大值判决规则，对相邻的多种类型也 可以转变成 ωi / ω j 二分法问题。 总之，多类问题的三种情况均可以转变成两类问题。而 ω i / ω j 在i 类 且，ωi / ωi 在i类与其它类之间确定决策面， 与j类之间确定决策面，显然后者比较容易。
22
设计线性分类器就Fra Baidu bibliotek利用训练样本集建立线性判别函数，即 确定最优的权向量。求解权向量的过程就是分类器的训练过程。 使用已知类别的有限的学习样本来获得分类器的权向量被称为 有监督的分类。
训练过程如下图：
23
利用已知类别学习样本来获得权向量的训练过程如下
W0 W1 X1
1 x1 ……. xn-1 xn