模式识别技术(三)

w0 w1 wn-1 wn
n-1 Xn-1 WnXn 检测
<0 x∈ω2
(已知类别)
W1 = W ± ∆
24
已知 x1 ∈ ω1 ，通过检测调整权向量，最终使 x1 ∈ ω1
样本 x = ( 4,3) ，归于何类？
T
5
ω
g
2
判别区 > 0
x 2 g 12 > 0
23
+
−
> 0 > 0
g23(x) = 0
g12 ( x) = −2⎫ ⎪ g13 ( x) = −1⎬ g 23 ( x) = −1⎪ ⎭
g 21 ( x) = 2⎫ ⎪ g 31 ( x) = 1 ⎬ g 32 ( x) = 1⎪ ⎭
T T
15
⎧ g1 ( x) = −3 x1 − x2 + 9 ⎪ ⎨ g 2 ( x) = −2 x1 − 4 x2 + 11 ex： ⎪ g 3 ( x ) = − x2 ⎩
⎧ g12 ( x) = g1 ( x) − g 2 ( x) = − x1 + 3 x2 − 2 ⎪ ⎨ g13 ( x) = g1 ( x) − g 3 ( x) = −3 x1 + 9 ⎪ g ( x) = g ( x) − g ( x) = −2 x − 3 x + 11 2 3 1 2 ⎩ 23
T
c(c − 1) 个判别函数， 2
g ij ( x) = wij x ， i, j = 1,2, L , c, i ≠ j
g ij ( x) = − g ji ( x)
⎧ > 0, x ∈ ωi g ij ( x) = wij x ⎨ ⎩< 0, x ∈ ω j
T
12
ex:设判别函数
⎧ g1 ( x) = − x1 − x2 + 5 ⎪ ⎨ g 2 ( x) = − x1 + 3 ⎪ g ( x) = − x + x 1 2 ⎩ 3
T T
称为广义线性判别函数， w 广义权向量。 其中 w = ( w0 , w1 , L , wn ), y = (1, φ1 ( x), L , φn ( x))
T T
⎧ > 0, x ∈ ω1 g ( y )⎨ 决策： ⎩< 0, x ∈ ω2
通过低维向高维映射，可以把非线性 线性。
21
问题：维数大大增加，陷入“维数灾难”
18
3.3 广义线性判别函数
线性判别函数虽然简单，但局限性较大，不适用于非凸决策区域和 多连通区域的划分问题。
ω1 : x < b或x > a ex:有一维样本空间 x ， ω : a < x < b ，显然用一个线性函数无法 2
完成分类，若建立一个二次判别函数： g ( x ) = ( x − a )( x − b)
3
则
g ( x) = vT y
增广权向量
增广模式向量
二、判定面及意义 考察两类问题 ω1 ，ω 2 ，对应两个判别函数 g1 ( x) ， g 2 ( x) 方程
g ( x) = g1 ( x) − g 2 ( x) = 0 定义了一个决策面， 它把归类于 ω1 类的点与归类于 ω2 类的点分
割开来，当 g ( x) 为线性函数时，这个决策面就是超平面，记为 H。
⎧ g12 ( x) > 0 ① ω1 类的区域 ⎨ g ( x ) > 0 ，与 g 23 无关 ⎩ 13
g12 ( x) = − x1 − x2 + 5⎫ ② g ( x) = x + x − 5 ⎬ g12 ( x ) 的正侧，即 g 21 ( x ) 的负侧 21 1 2 ⎭
13
③
⎧ x ∈ ω1 , g1 j ( x) > 0, j = 2,3 ⎨ ⎩ x ∈ ω2 , g 2 j ( x) > 0, j = 1,3
x2
| w0 | || w ||
W
x
ℜ1 : g > 0
r0 =
r=
| g ( x) | || w ||
xp
ℜ2 : g < 0
x1
H
6
性质：
r=
g ( x) w ，若 x 为原点，则 g ( x ) = w0
> 0 ，原点在 H 的正侧
如果 w0
w0 < 0 ，原点在 H 的负侧 w0 = 0 ， H 过原点
5
可见：权向量与超平面 H 上任一向量正交，即 w 是 H 的法 向量， H 将特征空间分成两个半空间，分别对应 ω1 类的决 策域 ℜ1 ， ω 2 类的决策域 ℜ 2 ，
g ( x) > 0 ⇒ w
指向 ℜ1 ，或称 x 在 H 的正侧
反之， g ( x ) < 0 ⇒ w 指向 ℜ 2 ，或称 x 在 H 的负侧，如图
22
设计线性分类器就是利用训练样本集建立线性判别函数，即 确定最优的权向量。求解权向量的过程就是分类器的训练过程。 使用已知类别的有限的学习样本来获得分类器的权向量被称为 有监督的分类。
训练过程如下图：
23
利用已知类别学习样本来获得权向量的训练过程如下
W0 W1 X1
1 x1 ……. xn-1 xn
这是 ωi / ωi 二分法问题
9
ex:三类问题，建立了三个判别函数
⎧ g1 ( x) = − x1 + x2 ⎪ ⎨ g 2 ( x) = x1 + x2 − 5 ⎪ g ( x) = − x + 1 2 ⎩ 3
5
⎧ g1 ( x ) > 0 ⎪ ⎨ g 2 ( x) < 0 ⎪ g ( x) < 0 ⎩ 3
x2
IR 1
+
g1 ( x ) = 0
−
⇒ 三个判别边界
⎧ − x1 + x2 = 0 ⎪ ⎨ x1 + x2 − 5 = 0 ⎪ − x +1 = 0 2 ⎩
如 x ∈ ω1 ，由
⎧ g1 ( x) = − x1 + x2 > 0 ⎪ g 2 ( x) < 0 ⎨ 确定。 ⎪ g 3 ( x) < 0 ⎩
ω1 , ω2 ,L, ωc 个类中的哪一类，即 x ∈ ω（ i i = 1,2, L, c) 。
二、线性与非线性判别函数 判别函数（边界）
x2
ω2
ω1
x1
边界
线性判别
线性 广义线性
ω3
非线性判别函数（分段线性判别函数、二次判别函数等）
2
3.2 线性判别函数 一、线性判别函数的表示 判别函数是指由 x 的各个分量的线性组合而成的函数
g ( y ) = wT y = ∑ ci yi
i =1 3
转化为 y 的线性函数，维数由 1
3
20
一般地：
g ( x) = w0 + w1φ1 ( x) + w2φ2 ( x) + L + wnφn ( x)
= ∑ wi φi ( x) （取 φ0 ( x) = 1 ）
i =0 n
= wT y
其中 w = ( w0 , w1 , L , wn ), y = (1, φ1 ( x), L , φn ( x)) ,
16
ω : 分类： 1 ⎨
⎧ g12 > 0 ⎧− x1 + 3 x2 − 2 > 0 ，即 ⎨ − 3 x + 9 > 0 ，正侧 g 0 > 1 ⎩ ⎩ 13 ⎧ g 21 > 0 ⎧ g 31 > 0 : ω ， 3 ⎨g > 0 g 0 > ⎩ 23 ⎩ 32
T
ω2 : ⎨
模式样本 x = (0,2) ，归于何类？
第三章 判别函数及线性分类器
3.1 3.2 3.3 3.4 3.5 基本概念 线性判别函数 广义线性判别函数 线性分类器的设计 其他分类器
1
3．1 基本概念
一、模式与类别 任一模式 x ,有 n 个特征， x = ( x1 , x2 ,L, xn )T ，根据 n 个特征，判别它属于
g(x)
b
a
x
ω1
ω2
ω1
19
⎧ > 0, x ∈ ω1 g ( x ) ⎨ 决策： ⎩< 0, x ∈ ω 2
一般二次函数可写成：
⎡1⎤ ⎥ g ( x) = c0 + c1 x + c2 x 2 = (c0 , c1 , c2 ) ⎢ x ⎢ ⎥ 2 ⎢ ⎣x ⎥ ⎦
令 则
ω = (c0 , c1 , c2 )T , y = (1, x, x 2 )
T
为了区分出其中的某一个类型 ωi ， 需要 k 个判别函数，k ≤ c 决策： g i ( x ) > g j ( x ), j = 1,2, L , k , j ≠ i 或：
g i ( x) = max {g j ( x)}
j =1, 2 ,L, k
这是一个最大值判别规则 令 g ij ( x ) = g i ( x ) − g j ( x ) = ( wi − w j ) x 其中 wij = wi − w j
4
决策规则： 如果
g ( x) > 0, x ∈ ω1 g ( x) < 0, x ∈ ω2
g ( x) = 0, 可将 x 分到任一类，或拒绝（状态不确定）
几何意义：假设 x1 和 x2 都在超平面 H 上， 则有 或
wT x1 + w0 = wT x2 + w0
wT ( x1 − x2 ) = 0
g1 ( x) = −1 < 0 ⎫ ⎪ g 2 ( x) = 6 > 0 ⎬ ⇒ x ∈ ω2 g 3 ( x) = −4 < 0⎪ ⎭