模式识别-第7讲-非线性判别函数

对于任一模式X如果它的 g1(x) >0 ， g2(x) <0 ， g3(x) <0 则该模式属于ω1类。相应ω1类的区域由直线-x2+1=0 的正边、直线-x1+x2-5=0 和直线-x1+x2=0的负边来确定。
5
g1( x) 0 g 2 (x) 0 g (x) 0 3

0 .5



1

g 2 ( x) g1 ( x) g 2 (x) g3 (x)
线性判别函数


我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即:
i ( , 2 ) , M 2
T
1
1. 二维情况 ：取两个特征向量
X ( x1 , x 2 ) , n 2
T
这种情况下 判别函数:
g ( x ) w1 x1 w 2 x 2 w 3
3。第三种情况（续）
右图所示是M=3
的例子。对于ω 1类模式，
g1 ( x) g 2 ( x)
必然满足g1(x)
>g2(x) 和 g1(x) >g3(x) 。
假设判别函数为：
g 1 ( x ) x1 x 2 g 2 ( x ) x1 x 2 1 g (x) x 2 3
2 判别区
g
21
x2 5 3 x2 x2 5 0 3 0 x2 0
0, g
23
0
5
x2


g 23 ( x ) 0
判别区
3
1 判别区
g 12 0 g 13 0
g 31 0 g 32 0
5
3
g 13 ( x ) 0


g 12 ( x ) 0
3。第三种情况（续）
用上列方程组作图如下：

0 .5



1

0 .5
g 2 ( x) g1 ( x) g 2 (x) g3 (x)
g1 ( x) g 2 ( x) g1 ( x) g 3 ( x)
2
3
1 .0
g1 ( x) g 3 ( x) 0
1。第一种情况（续）
如果某个X使得>=2个判别函数 gi(x)
>0 ,则此模式X就无 法作出确切的判决,如图中IR1,IR3,IR4区域。
另一种情况是IR2区域，判别函数都为负值。IR1，IR2，
IR3，IR4。都为不确 定区域。
5
g1( x) 0 g 2 ( x) 0 g ( x) 0 3
2

x1
2. n维情况

现抽取n个特征为：
X ( x 1 , x 2 , x 3 ,... x n )
T
判别函数： ( x ) w1 x1 w 2 x 2 ...... w n x n w n 1 g
W 0 X w n 1
T
W 0 ( w 1 , w 2 ,..., w n ) 为权向量，
x2

1
3

g1 ( x) 0
2
g3 (x) 0


g 2 (x) 0
x1
1。第一种情况（续）
例：已知三类ω1,ω2,ω3的判别函数分别为：
g 1 ( x ) x1 x 2 g 2 ( x ) x1 x 2 5 g (x) x 1 2 3

g 2 (x) g3 (x) 0
g3 (x) g 2 (x) g 3 ( x) g1 ( x) g1 ( x) g 2 ( x) 0

结论：不确定区间没有了，所以这种是最好情况。
3。第三种情况（续）

问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数：g 1 ( x ), g 2 ( x ), g 3 ( x ). 得判别函数为：g 1 ( x ) 0 , g 2 ( x ) 1, g 3 ( x ) 1 因为 g 2 ( x ) g 3 ( x ), g 2 ( x ) g 1 ( x ) 所以模式x= (1,1)T属于 2 类。
x2
IR 1

g1 ( x) 0



2
g1( x ) 0 g 2( x ) 0 g 3( x ) 0
1
IR 4
1
IR 2


3
IR 3
g3 (x) 0
x1
g1( x) 0 g 2 (x) 0 g (x) 0 3
5


g 2 (x) 0

x1
2。第二种情况（续）
结论：判别区间增大，不确定 区间减小，比第一种情况小的多. 问:未知模式X=(x1,x2)T=(4,3)T属 于那一类

5
2判 别 区
x2 g 12 0
g
23
0


g 23 ( x ) 0
1
判别区
代入判别函数可得:
g 12 ( x ) 2 , g 13 ( x ) 1, g 23 ( x ) 1
T
2. n维情况
模式分类：
g (x) W
T
0, x 1 X 0, x 2
当 g1(x)
=WTX=0 为判别边界 。当n=2时，二维 情况的判别边界为一直线。当n=3时，判别边界 为一平面，n>3时，则判别边界为一超平面。
(二) 多类问题

对于多类问题，模式有 ω1 ,ω2 , … , ωc 个类别。可分 三种情况： 1。第一种情况：每一模式类与其它模式类间可用单 个判别平面把一个类分开。这种情况，M类可有M个判 别函数，且具有以下性质：
w 为参数， x 1 , x 2 为坐标向量
1. 二维情况
在两类别情况，判别函数 g (x) 具有以下性质：
0, X 1 gi (x) 0, X 2
g ( x ) 0 , X 不定
这是二维情况下判别由判别边界分类. 情况如图：
x2

1
g ( x ) w1 x1 w 2 x 2 w 3
模式识别
授课教师 薛耀红 xueyh@cust.edu.cn
第7讲 非线性判别函数
本节课主要内容
1 多类情况下的线性判别函数 2 分段线性判别函数 3 二次判别函数

判别函数

Байду номын сангаас
假设对一模式X已抽取n个特征，表示为：
X ( x1 , x 2 , x 3 , ..., x n )
T
X 是 n维 空 间 的 一 个 向 量
x2
IR 1

g1 ( x) 0



2
g1( x ) 0 g 2( x ) 0 g 3( x ) 0
1
IR 4
1
IR 2


3
IR 3
g3 (x) 0
x1
g1( x) 0 g 2 (x) 0 g (x) 0 3
5


g 2 (x) 0
12


判别函数： g ij ( x ) W ij 判别边界： g ij ( x ) o
T
X
2
g 23 ( x ) 0

1

0 当 x i g i j 判别条件： ij ( x ) 0 当 x j
g 13 ( x ) 0

3


gi (x) Wi
T
0, X i X 0 , 其 它 , i 1, 2 , ..., C。
T
式中 W i ( w i 1 , w i 2 ,..., w in , w in 1 , ) 为第 i 个判别函数的 权向量。
1。第一种情况

每一类别可用单个判别边界与其它类别相分开 。 如果一模式X属于ω1，则由图可清楚看出:这时g1(x) >0而 g2(x) <0 ， g3(x) <0 。 ω1 类与其它类之间的边界由 g1(x)=0确定.
1。第一种情况（续）

问当x=(x1,x2)T=(6,5)T时属于那一类
代入判别函数方程组 :
g 1 ( x ) x1 x 2 g 2 ( x ) x1 x 2 5 g (x) x 1 2 3
得：
g 1 ( x ) 1, g 2 ( x ) 6 , g 3 ( x ) 4 .

因此三个判别边界为：
g 1 ( x ) x1 x 2 0 g 2 ( x ) x1 x 2 5 0 g (x) x 1 0 2 3
1。第一种情况（续）
作图如下：
5
x2
IR 1

g1 ( x) 0

g1( x) 0 g 2 (x) 0 g (x) 0 3
1
g1 ( x) g 3 ( x)
2
3
g 2 (x) g3 (x)
则判别边界为：
g 1 ( x ) g 2 ( x ) 2 x1 1 0 g 1 ( x ) g 3 ( x ) x1 2 x 2 0 g (x) g (x) x 2 x 1 0 3 1 2 2

结论： g1(x) <0 ， g2(x) >0 ， g3(x) <0所以它属于ω 2 类
2。第二种情况：
每个模式类和其它模式类间可分别用判别平面分开。
M(M _ 1)/2个判别平面。 对于两类问题，M=2，则有一个判别平面。 g 同理，三类问题则有三个判别平面。 ( x ) 0
这样 有
5


x1
3。第三种情况
每类都有一个判别函数,存在M个判别函数


g 判别函数： k ( x ) Wk X
T
k 1, 2 ,..., M
判别规则：g i ( x )
Wk
T
最大，当 X 小，其它
xi
判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判 别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0来 确定。
T
X ＝ ( x 1 , x 2 ,..., x n ) 为模式向量。
另外一种表示方法： g ( x ) W
T
T
T
X
W ( w 1 , w 2 , ..., w n , w n 1 ) 为 增 值 权 向 量 ， X ＝ ( x1 , x 2 , ..., x n， 为 增 值 模 式 向 量 。 1)
g 12 0 g 13 0
3 判别区
g 31 0 g 32 0
把下标对换可得:
g 21 ( x ) 2 , g 31 ( x ) 1, g 32 ( x ) 1
3
因为 结论：所以X 属于ω 3类
g3 j (x) 0
g 13 ( x ) 0


g 12 ( x ) 0
1
IR 4
1

2
g1( x) 0 g 2 (x) 0 g (x) 0 3
IR 2
3
g1( x) 0 g 2 (x) 0 g (x) 0 3
5

g3 (x) 0
IR 3
x1


g 2 (x) 0
1。第一种情况（续）


2。第二种情况（续）
判别函数性质： g ij ( x ) g ji ( x )
g 12 ( x ) x 1 g 13 ( x ) x 1 假设判别函数为： g (x) x 1 23 g 12 ( x ) x 1 判别边界为： g 13 ( x ) x 1 用方程式作图： g 23 ( x ) x 1

模式识别问题就是根据模式X的n个特征来判 别模式属于ω1 ,ω2 , … , ωc 类中的那一类。
判别函数（续）
例如下图：三类的分类问题，它们的边界线就是一 个判别函数 x2

2
1
x1
边界
3
判别函数（续）

判别函数包含两类：
一类 是线性判别函数： 线性判别函数
广义线性判别函数
（所谓广义线性判别函数就是把非线性判别函数映射到另 外一个空间变成线性判别函数） 另一类是非线性判别函数 分段线性判别函数 二次判别函数