第三章判别函数分类器

矩阵的迹、行列式值与特征值 之间的关系
矩阵A有N个特征值1，2，…， N， 则有如下关系：
N
tr A i i 1
N
det(A) i i 1
矩阵对数值变量微分
矩阵A(t)=[aij(t)]M*N，元素aij(t)是变量t 的函数，矩阵A(t)对t的微分：
dA(t) dt
W=(w1, w2, …, wN , 1)T称为增广的权矢 量。
两类问题线性判别准则
0,
d X WT X 0,
0,
X 1 X 2 拒识
多类问题（情况一）
每一类模式可以用一个超平面与其它类 别分开；
这种情况可以把M个类别的多类问题分 解为M个两类问题解决；
判别准则：
di
X
max 1 jM
dj X
X i
3.2 两类别线性判别函数的学习
一、问题的表达 二、感知器算法 三、最小均方误差算法(LMSE)
问题的表达
已知两个类别的训练样本集合：
1 :X1, X2, , XL
2 : XL1, XL2, , XM
当d2(X)≥0，而d1(X)<0且d3(X)<0时，判 别X属于Ω2；
当d3(X)≥0，而d1(X)<0且d2(X)<0时，判 别X属于Ω3；
其它情况，拒识。
多类问题（情况二）
每两类之间可以用一个超平面分开，但 是不能用来把其余类别分开；
需要将M个类别的多类问题转化为 M(M-1)/2个两类问题。
d X0 w1x1 w2x2 wnxn wn1 W0T X0 wn1
X0=(x1, x2,…, xN)T为待识模式的特征矢 量；
W0=(w1, w2, …, wN)T称为权矢量。
线性判别函数的增广形式
d X WT X
X=(x1, x2,…, xN, 1) T称为增广的特征矢 量；
xMN
常用矢量微分的性质
X和W为N维矢量，A为M*N的矩阵：
f X XT W f X WT X
df X
W dX
df X W
dX
f X XT AX
df X (A AT )X
dX
3.1 线性判别函数
一、两类问题 二、多类问题
两类问题的线性判别函数
设W和X为N维列矢量
w1x1
WXT


w2
x1


wN
x1
w1x2 w2 x2
wN x2
w1xN
w2 xN


wN
xN

结果是一个N*N维的矩阵。
矢量与矩阵的乘法
设W为N维列矢量，A为一个N*M的矩
阵：


N
wi
ai1

i1

N

WT
A


求向量W，使得d(X)=WTX，能够区分 Ω1类和Ω2类。
问题的表达
X1T W 0, XT2 W 0, , XTL W 0 XTL1W 0, XTL2W 0, , XTM W 0
矩阵所有列向量的最大无关组个数称为 列秩；
一个矩阵的行秩等于列秩，称为矩阵的 秩。
转置
列矢量W的转置WT为一个行矢量；
N*M的矩阵A的转置AT为一个M*N的矩 阵。
矢量与矢量的乘法(1)
设W和X为N维列矢量
N
WT X wi xi i 1
结果是一个数。
矢量与矢量的乘法(2)


daij (t) dt
M N
矩阵函数对矩阵的微分
矩阵X=(xij)M*N，M*N元函数f(X)，定义 f(X)对矩阵X的导数：
f
df dX


f xij
M N


x11 f
xM1
f
x1N


f

第i类与第j类之间的判别函数的为：
dij X WiTj X i j
多类问题（情况二）判别准则
如果对任意j≠i ，有dij(X) )≥0 ，则决策X 属于Ωi。
其它情况，则拒识。
多类问题（情况二）
d12 X x1 x3 5 d13 X x1 3 d23 X x1 x2
矩阵的特征值和特征向量
A为一个N*N的方阵，如果有：
Aξ ξ
数称为A的特征值，矢量ξ 称为A的特 征矢量。
矩阵的迹和行列式值
A为一个N*N的方阵，A的迹为主对角线 元素之和：
N
tr A aij i 1
A为一个N*N的方阵，A的迹为主对角线 元素之和：
det A
多类问题（情况一）
d1 X x1 x2 d2 X x1 x2 5 d3 X x2 1
x2
d
2
(X)=0
IR
d
(X)=0
1
类别一 IR
IR 类别三
类别二
d3(X)=0 IR
x1
多类问题（情况一）判别规则
当d1(X)≥0，而d2(X)<0且d3(X)<0时，判 别X属于Ω1；
i 1
wi ai 2



N
Fra Baidu bibliotek



i 1
wi aiN

结果是一个N维列矢量。
正交
设W和X为N维列矢量，如果W与X的内 积等于零：
WT X 0
则称W与X正交，也称W垂直于X。
逆矩阵
A为一个N*N的方阵，A的逆阵用A-1表 示，满足：
AA1 A1A I
其中I为单位阵。 一个矩阵的逆阵存在条件：1)是一个方阵， 2)是一个满秩矩阵，矩阵的秩为N
第三章 判别函数分类器
矢量
矢量X可以看作是N维欧氏空间中的一个 点，用一个列矢量表示：
x1
X


x2



xN

矩阵
矩阵可以看作是由若干个矢量构成的：
A


X1T XT2


XTM

矩阵的秩
矩阵所有行向量的最大无关组个数称为 行秩；
+
d12(X)=0
-
类别一
类别二
d 13(X)=0 -
+
类别三
d
23
(X)=0
+
-
多类问题（情况三）
情况三是情况二的特例，不存在拒识区 域。
(X)=0
d 12
类别一
类别二
d 13(X)=0
类别三
d
23
(X)=0
多类问题（情况三）判别函数
M个类别需要M个线性函数：
di X WiT X wi1x1 wi2x2 wiN xN wi(N1)