模式识别中的模式判别

W T X1 wn 1 W T X 2 wn 1 0 W ( X1 X 2 ) 0
Tห้องสมุดไป่ตู้
由于(X1-X2)一定在决策面H上，而W 与(X1-X2) 垂直，即权向量W与决策面H正交。 • 决策面H把特征空间分成两个空间。即Ω1,Ω2空 间，当样本X在Ω1空间时g(x)>0,W指向Ω1，为 H的正侧，反之为H的负侧.
结论
• 决策面H与权向量W正交，方向由W决定
• 决策面H的位置由wn+1决定 • g(X)正比于X到决策面H的代数距离||r||
• X在H的正面，g(X)>0，否则，反之
x2
wn 1 q W
W
X
g( X ) r W
Xp
x1
H
• 要想求得决策函数g(X),就需要求解权向量 W*，其实也就是分类器的训练过程，使用 已知类别的训练样本来获得分类器的权向 量被称为有监督的分类 • 利用已知类别学习样本来获得权向量的原 理： 已知 X1*∈ω1, 通过检测调整增广权向量 W* ，最终使W*TX1* >0 ； 已知 X2*∈ω2, 通过检测调整增广权向量 W* ，最终使W *TX2*<0； 这样就可以通过有限的样本去决定权向量
w1 w2
x1 x 2 wn wn 1 xn
W X wn 1
T
W ( w1 , w2 ,..., wn ) 为权向量
T
X＝ ( x1 , x2 ,..., xn )T 为特征向量
• 另外一种表示方法
g ( X ) w1 x1 w2 x2 ...... wn xn wn 1 x1 x2 wn , wn 1 xn 1
当n=2时，二维情况的决策边界为一直线。
当n=3时，决策边界为一平面
当n>3时，决策边界为一超平面。
• 求取合适的决策函数的基本原理
– 对于用g(X)表示的分界面
• 当点落在分界面上时g(X)=0；
• 当点落在分界面正侧时， g(X)>0；
• 当点落在分界面负侧时， g(X)<0；
– 对两类问题，希望获得满足以下条件的g(X)
1011 1011 0 -1 1 0 0 -1 1 0 0 -1 1 0 0 0 21 -1 -1 2 0 -1 -1 2 0 -1 -1 2 0 -1 -1 2 0 -1 -1 2 0 -1 -1 2 0
广义线性决策函数
• 只要各类别是可分的，即无重叠，就可以找 到广义线性决策函数，将类别分离 • 一般形式
成线性判别函数。
0, X 1 g ( X ) wi fi ( X ) W Y g (Y ) i 1 0, X 2
k 1 T
w1 w 2 W ... wk w k 1
为广义权向量
f1 ( X ) f (X ) 2 Y ... fk ( X ) f ( X ) k 1
• 例：有两类模式ω1, ω2，选择三个特 征来描述它们，每类分别有两个训练 样本，测量它们的特征得到如下结果
– ω1={(1 0 1)T,(0 1 1)T} – ω2 ={(1 1 0)T,(0 1 0)T}
• 把ω1, ω2中的训练样本写成增广向量
– ω1={(1 0 1 1)T,(0 1 1 1)T} – ω2 ={(1 1 0 1)T,(0 1 0 1)T}
X ( x1 , x2 )T , n 2, 此时X 代表一个样本
这种情况下线性决策函数可表示为:
g ( X ) w1x1 w2 x2 w3
• 直线的参数用WT=(w1,w2)表示，注意是w不是 ω//课本P.21有印刷错误
两类别情况，要求决策函数 g (X) 具有以下性质：
0, X 1 gi ( X ) 0, X 2
• 例如下图：三类的分类问题，它们的 边界线就是一个决策函数
x2
2
1
x1
边界
3
决策函数(续)
• 决策函数包含两类
– 线性决策函数
• 线性决策函数 • 广义线性决策函数
• 分段线性决策函数
– 非线性决策函数
线性决策函数
• 两类问题 即
( , 2 ), C 2
1
– 两个特征，组成二维特征向量
g( X ) W X
*T
*
w1 x1 w2 x2 ...... wn xn wn1
x1 x2 …….
w1 w2
W 1 X1
W 2 X2
g(x)=wTx
∑
xn
1
wn
wn+1
W n Xn
检测 (已知类别)
Wn+1
W W
因此问题用数学语言描述为： 对二类二维判别函数g(X) = w1x1+ w2x2 +w3 已知训练样本集：Xa, Xb, Xc, Xd其中 Xa, Xb ∈ω1, X c, X d ∈ ω 2 当样本X ∈ω1 即X= Xa, Xb时要求g(X)＞0 当样本X ∈ω2 即X= Xc, Xd时要求g(X)＜0 X = (x1, x2)T 判别函数可联立成： xa1w1+ xa2w2+ w3＞0 ① xb1w1+ xb2w2+ w3＞0 ② xc1w1+ xc2w2+ w3＜0 ③ xd1w1+ xd2w2+ w3＜0 ④ 求出w1 , w2, w3
– 问题最终转化为，找到合适的g(X)，使得
• 对于代表其中一类的训练样本集 X={X 1, X 2,… X k}，有g(X i)>0,i=1…k
• 它对于代表另外一类的训练样本集 Y={Y1,Y2,…Ym}，有g(Yi)<0,i=1…m
性质一
• 权向量W与决策面H正交。 • 假设X1,X2是决策面H上的两个向量
• 初始增广权向量W=(0 0 0 0)T
迭代 次数
Y
WTY
WTY应有的符号
结果权向 量
1
2
3
1011 0111 1101 0101 1011 0111 1101 0101 1011 0111 1101 0101
0 +2 +2 -1 +1 0 +1 -1 +1 +1 -2 -1
+ + + + + + -
为广义特征
向量
例 1：
x a, or, x b, 则x 1 a x b, 则x 2
要用二次判别函数才可把二类分开:
0, x 1 g ( x ) ( x a )( x b) ab ( a b) x x 0, x 2
2
g ( X ) w1 f1 ( X ) w2 f 2 ( X ) ... wk f k ( X ) wk 1 wi fi ( X ), i 1, 2,..., k
i 1 k 1
•
fi ( X ) 是单值函数，fk 1 ( X ) 1
•这样一个非线性判别函数通过映射，变换
• 我们介绍一种感知器算法中的固定增量法，把全部样本 看作一个序列，每当权向量把某个样本错分时，就利用 该样本的信息对这个权向量做一次修正.
• 感知准则函数是五十年代由Rosenblatt提出的一 种自学习判别函数生成方法，由于Rosenblatt企 图将其用于脑模型感知器，因此被称为感知准则
函数。其特点是随意确定的判别函数初始值，在
w1
w2
W *T X * W * ( w1 , w2 ,..., wn , wn1 )T 增广权向量
X *＝( x1 , x2 ,..., xn， 1)T 增广特征向量
两类问题分类
g( X ) W
当
*T
X
*
0, X 1 0, X 2
g(X) =W*TX*=0 为决策边界 。
g ( X ) 0, X 不定
二维情况下判别由判别边界分类.
x2


1
g ( X ) w1x1 w2 x2 w3
2
x1
• 推广至两类、n个特征 X ( x1 , x2 , x3 ,...xn )
T
• 决策函数 g ( X ) w1 x1 w2 x2 ...... wn xn wn 1
• 其中一类的训练样本落在g(X)表示的分界面的一 侧；即对该类所有的训练样本X,g(X)>0 • 另一类训练样本落在g(X)表示的分界面的另一侧； 即对该类所有的训练样本Y, g(Y)<0
• 求取合适的分界面的基本原理（续）：
– 多类问题都可以转化为两类问题的分类
• 成对可分：将多个类别两两进行分类 • 绝对可分：将其中一类视为一类，而剩余所有类 视为另外一类进行分类
x2
W
Ω1
X1
Ω2
g(x)<0
g(x)>0
X2
H
x1
性质二
•样本点X到H代数距离 r 与 g ( X 值成正比 )
g( X ) r W
X p是X在决策面H上的投影向量
W W
r是X到决策面H 的垂直距离。
是W方向的单位向量。
x2
W
X
r
Xp
x1
H
W X Xp r Xp r W
g ( X ) W X wn1 W ( X p r ) wn1
g ( X ) W T X wn 1 wn 1 ( X 0) g ( X ) wn 1 r q W W 因X = 0, X 到H 的投影 r q Wn 1 q W
x2
q
0
x1
H
性质四
• 若wn+1>0,则决策面H在原点正侧
• 若wn+1<0,则决策面H在原点负侧 • 若wn+1=0,则决策面H通过原点
0, x 1 映射：g ( x ) W Y g (Y ) 0, x 2
T T
W X p W r wn1
T T
X p 在H 上W X p wn1 0
T
T W W W T T g( X ) W r W ( r ) r r W W W
g( X ) r W
性质三
wn 1 q , 原点到H的距离与wn 1成正比 W
第二章 模式判别
• 模式判别的基本任务：判断一个未知 类别的样本属于哪一个待选类别。 • 模式判别的基本思路：
– 对待选的c个类别有个基本的了解 – 给出每个类别的代表样本，也就是训练 样本，这些样本分别代表的待选类别的 典型特征 – 选择n个合适的特征对提供的训练样本进 行描述 – 将特征进行量化描述，则每个训练样本 就可以用特征空间中的一个点来表示。
x2
2
1
x1
3
决策函数
• 假设对一模式X已抽取n个特征，表示为：
X ( x1 , x2 , x3 ,..., xn )
T
X是n维空间的一个向量
• 模式识别问题就是根据模式X的n个特征来 判别模式属于ω1 ,ω2 , … , ωm 类中的那一 类。//表示类别的符号是ω，不是w
决策函数(续)
• 模式判别的基本思路（续）：
– 所有的训练样本都表示为特征空间中的 点的形式
x2
2
1
x1
3
• 模式判别的基本思路（续）：
– 对于空间中的训练样本，希望能够找到 合适的分界面将各个类别所在的空间分 割开来
x2
2
1
x1
3
• 模式判别的基本思路（续）：
– 获得合适的分界面后，分界面将整个空 间分割成若干个区域，这样空间中每个 区域分别属于一个类别 – 当出现未知类别样本时，也将其特征量 化，表示成空间中的点 – 根据点落在空间中的具体区域，来判别 该未知类别样本属于哪一类别。 – 这样判别未知类别样本该属于哪一类的 工作就转换为获取合适的分界面的问题
对样本分类训练过程中逐步修正直至最终确定。
1、将ω1, ω2两类训练样本集写成增广向量形式。 假设希望ω1在分界面正侧；ω2在分界面负侧 2、设初始增广权向量W*=(0…0)T 3、把ω1, ω2集合中的样本Y*依次取出， 若Y*∈ω1，而W*TY*≤0，则用W*+Y*代替W* 若Y*∈ω2，而W*TY*≥0，则用W*-Y*代替W* 若Y*∈ω1，而W*TY*>0，则W*保持不变 若Y*∈ω2，而W*TY*<0，则W*保持不变 4、将ω1, ω2中所有样本处理一遍，称为迭代一次， 若某次迭代中W*保持不变，则转步骤5；若某次 迭代中W*变化，则转步骤3 5、结束，得到W*为增广权向量