模式识别计算
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
试判断X0=[1,1]T属于哪一类，且分别给出三类的判决界面。 解：①
d1 ( X 0 ) 1 1 0 d 2 ( X 0 ) d1 ( X 0 ) d 2 ( X 0 ) 1 1 1 1 X 0 2 d 2 ( X 0 ) d 3 ( X 0 ) d 3 ( X 0 ) 1
故W (4) W (3) X3 -1,0,0
T
故W (5) W (4) -1,0,0
T
有两个WT(k)Xi ≤0的情况（错判），进行第二轮迭代。
第二轮： W T (5) X1 0 0 , 故W (6) W (5) X1 -1,0,1T
W T (6) X 2 1 0 , 故W (7) W (6) -1,0,1
最小平方误差的准则函数
• 定义误差矢量e，用e长度的平方作为准则 函数：
e Ya b
J S ( a ) Ya b (a yi bi ) 2
2 i 1 N
使得 J S ( a ) 最小的解 a* 称为最小二乘解，又称为伪逆解 或MSE解。由上式定义的准则函数也称为MSE准则函数。
i 1
P(2 | X )
0.5 0.05 0.116 0.05 0.5 0.95 0.2
0.2 0.95 0.884 0.05 0.5 0.95 0.2
P(2 | X ) P(1 | X )
X 2
[方法2]：利用先验概率和类概率密度计算。
d1 ( X ) 0
(7, 5)
1：d1 0
其他 0
1
2：d 2 0
其他 0
1
d3 ( X ) 0
0
3：d3 0
其他 0
4
步骤：
-1
x1
a) 画出界面直线。 b) 判别界面正负侧：找特殊点带入。
d2 (X ) 0 c) 找交集。
例2.3 一个三类问题，三个判决函数为： d12 ( X ) x1 x2 5 d13 ( X ) x1 3 d 23 ( X ) x1 x2
2 x1 1 0 d 2 ( X ) d3 ( X ) x1 2 x2 1 0
1
1
0.5 d1 d2 d1 d3
d2 d1 d2 d3
2
0.5 d3 d1 d3 d2 3
3 类的判决函数：
d31 ( X ) d13 ( X )
x1
2 : X3 1 , 0 T
1 : X1 0 , 0 T
X2 0 , 1 X4 1 , 1
T
T
用感知器算法求出将模式分为两类的权向量解和判别函数。 解：所有样本写成增广向量形式； 进行规范化处理，属于ω2的样本乘以(－1)。
X1 0,0,1
T
X 2 0,1,1
W T (10) X 2 1 0 , 故W (11 W (10) )
W T (11) X 3 1 0 , 故W (12) W (11)
W T (12) X 4 1 0 , 故W (13) W (12)
第四轮： W T (13) X 1 0 , 故W (14) W (13) 1
d2 ( X ) 0, d1 ( X ), d3 ( X ) 0 X 2
三个判别界面分别为：
x1 x2 1 0
图示如下：
x1 x2 4 0
x2 1 0
x2
4
d1 ( X ) x1 x2 1 d2 ( X ) x1 x2 4 d3 ( X ) x2 1
问模式 X [4,3]T 属于哪类？ d12(X)=0 5 (4,3) x1 0 3 d13(X)=0 x2
方法一：图示法
方法二 解：计算得 d12 ( X ) 2, d23(X)=0 d13 ( X ) 1 , d23 ( X ) 1
d 可写成： 21 ( X ) 2, d31 ( X ) 1 , d32 ( X ) 1
d 31 ( X ) 0 d 32 ( X ) 0 X 4,3 T 3
5
与 d12 ( X )值无关。
d12(X)=0 5
x2
d 21 0 d 23 0
d23(X)=0
2
d12 ( X ) x1 x2 5
d13 ( X ) x1 3 d 23 ( X ) x1 x2
T
X3 1,0,1
T
X 4 1,1,1
T
任取W(1)=0，取c=1，迭代过程为： 第一轮：
0 W T (1) X 1 0,0,00 0, 0, 1 0 W T (2) X 2 0,0,11 1, 0, 1
权值矢量的求解(伪逆求解法)
J S ( a ) N 2( a yi bi ) yi 2Y ( Ya b ) 0 a i 1
Y Ya Y b
ˆ a ( Y Y ) Y b Yb
* 1
(★)
ˆ ( Y Y )1 Y Y
ˆ Y称为Y的伪逆矩阵
d3 ( X ) x2 1
现有一模式，X=[7,5]T，试判定应属于哪类？并画出三类模式 的分布区域。 解：将X=[7,5]T代入上三式，有：
d1 ( X ) 7 5 1 1 0 d2 ( X ) 7 5 4 8 0
d3 ( X ) 5 1 4 0
x2
d1 ( X ) d 2 (X ) 0
d1 ( X ) d 3 (X ) 0
1
d1 d 2 d1 d 3
0
d 2 d1 d2 d3
2
x1
3
d 3 d1 d3 d 2
d 2 ( X ) d 3 (X ) 0
3. 收敛性 收敛性：经过算法的有限次迭代运算后，求出了一个使所有样
3）模式类别可分性判别 可以证明：当模式类线性可分，且校正系数c满足 0 c 1 时，该算法收敛，可求得解W。 理论上不能证明该算法到底需要迭代多少步才能达到收
敛，通常在每次迭代计算后检查一下XW(k) 和误差向量e(k) ， 从而可以判断是否收敛。
分以下几种情况： ① 如果e(k)=0 ，表明XW(k)=B(k) >0，有解。 ② 如果e(k)>0 ，表明XW(k)>B(k) >0， 隐含有解。继续迭代， 可使e(k) →0 。 ③ 如果e(k)<0（所有分量为负数或零，但不全为零），停止迭 代，无解。此时若继续迭代，数据不再发生变化。
X1 0,0,1
T
X 2 0,1,1
T
X3 1,0,1
T
X 4 1,1,1
T
3. 收敛性 收敛性：经过算法的有限次迭代运算后，求出了一个使所有样
本都能正确分类的W，则称算法是收敛的。
可以证明感知器算法是收敛的。 收敛条件：模式类别线性可分。 例2.8 已知两类训练样本
则 X i 类
若 p( X | i ) P ( i ) max p( X | j ) P( j ) j 1, 2,L , c 则 X i 类
② 1 类的判决函数： d1 ( X ) d2 ( X ) 2x1 1 0
d1 ( X ) d3 ( X ) x1 2 x2 0
x2
d1( X) d2 (X) 0
2 类的判决函数：
d 2 ( X ) d1 ( X )
d1( X) d3 (X) 0
本都能正确分类的W，则称算法是收敛的。
可以证明感知器算法是收敛的。 收敛条件：模式类别线性可分。 例2.8 已知两类训练样本
2 : X3 1 , 0 T
1 : X1 0 , 0 T
X2 0 , 1 X4 1 , 1
T
T
用感知器算法求出将模式分为两类的权向量解和判别函数。 解：所有样本写成增广向量形式； 进行规范化处理，属于ω2的样本乘以(－1)。
故W (2) W (1) X1 0,0,1
T
故W (3) W (2) 0,0,1
T
- 1 W T (3) X 3 0,0,10 -1, 0, - 1 - 1 W T (4) X 4 - 1,0,0- 1 1, 0, - 1
T
W T (7) X3 0 0 , 故W (8) W (7) X3 - 2,0,0
W T (8) X 4 2 0 , 故W (9) W (8) - 2,0,0
T
T
第三轮： W T (9) X1 0 0 , 故W (10) W (9) X1 - 2,0,1T
p( X | 1 ) P(1 ) 0.5 0.05 0.025 p( X | 2 ) P(2 ) 0.2 0.95 0.19 p( X | 2 ) P(2 ) p( X | 1 ) P(1 ) X 2 ，是正常细胞。
多类情况的最小错误率贝叶斯准则
2．判别函数正负值的确定 判别界面的正负侧，是在训练判别函数的权值时确定的。
x2
2
－ ＋
d(X ) 0
1
O
x1
图2.3 判别函数正负的确定
d(X) 表示的是一种分类的标准，它可以是1、2、3Baidu Nhomakorabea的， 也可以是更高维的。
例2.1 设有一个三类问题，其判别式为： d1 ( X ) x1 x2 1 d 2 ( X ) x1 x2 4
1
d2 ( X) d3 (X) 0
d32 ( X ) d23 ( X )
判决界面如图所示。
i j 两分法特例
除边界之外不存在不确定区域
定义 dij ( X ) di ( X ) d j ( X ) di ( X ) max dk ( X ) , k 1,L , M , 若X i
例2.1 假定在细胞识别中，病变细胞的先验概率和正常细胞的 先验概率分别为 P(1 ) 0.05, P(2 ) 0.95 。现有一待识别细胞， 其观察值为X，从类条件概率密度分布曲线上查得： p( X | 1 ) 0.5 p( X | 2 ) 0.2 试对细胞X进行分类。
解：[方法1] 通过后验概率计算。 p ( X | 1 ) P (1 ) P (1 | X ) 2 p( X | i ) P(i )
相应的判别函数为：d ( X ) 2 x1 1
x2
X 2 (0,1)
d ( X ) 2x1 1 0
X 4 (1,1)
判别界面d(X)=0如图示。
当c、W(1)取其他值
1
2
时，结果可能不一样， 所以感知器算法的解不是 单值的。
X 3 (1,0)
X 1 (0,0)
x1
d 12 0 d 13 0
d 31 0 d 32 0
3
1
0 3 5
x1
d 12 0 d 13 0 IR d 23 0
d13(X)=0
例2.5 一个三类模式（M=3）分类器，其判决函数为：
d1 ( X ) x1 x2 d 2 ( X ) x1 x2 1 d3 ( X ) x2
W T (14) X 2 1 0 , 故W (15) W (14)
W T (15) X 3 1 0 , 故W (16) W (15)
W T (16) X 4 1 0 , 故W (17) W (16)
该轮迭代的分类结果全部正确，故解向量W 2,0,1T
d1 ( X 0 ) 1 1 0 d 2 ( X 0 ) d1 ( X 0 ) d 2 ( X 0 ) 1 1 1 1 X 0 2 d 2 ( X 0 ) d 3 ( X 0 ) d 3 ( X 0 ) 1
故W (4) W (3) X3 -1,0,0
T
故W (5) W (4) -1,0,0
T
有两个WT(k)Xi ≤0的情况（错判），进行第二轮迭代。
第二轮： W T (5) X1 0 0 , 故W (6) W (5) X1 -1,0,1T
W T (6) X 2 1 0 , 故W (7) W (6) -1,0,1
最小平方误差的准则函数
• 定义误差矢量e，用e长度的平方作为准则 函数：
e Ya b
J S ( a ) Ya b (a yi bi ) 2
2 i 1 N
使得 J S ( a ) 最小的解 a* 称为最小二乘解，又称为伪逆解 或MSE解。由上式定义的准则函数也称为MSE准则函数。
i 1
P(2 | X )
0.5 0.05 0.116 0.05 0.5 0.95 0.2
0.2 0.95 0.884 0.05 0.5 0.95 0.2
P(2 | X ) P(1 | X )
X 2
[方法2]：利用先验概率和类概率密度计算。
d1 ( X ) 0
(7, 5)
1：d1 0
其他 0
1
2：d 2 0
其他 0
1
d3 ( X ) 0
0
3：d3 0
其他 0
4
步骤：
-1
x1
a) 画出界面直线。 b) 判别界面正负侧：找特殊点带入。
d2 (X ) 0 c) 找交集。
例2.3 一个三类问题，三个判决函数为： d12 ( X ) x1 x2 5 d13 ( X ) x1 3 d 23 ( X ) x1 x2
2 x1 1 0 d 2 ( X ) d3 ( X ) x1 2 x2 1 0
1
1
0.5 d1 d2 d1 d3
d2 d1 d2 d3
2
0.5 d3 d1 d3 d2 3
3 类的判决函数：
d31 ( X ) d13 ( X )
x1
2 : X3 1 , 0 T
1 : X1 0 , 0 T
X2 0 , 1 X4 1 , 1
T
T
用感知器算法求出将模式分为两类的权向量解和判别函数。 解：所有样本写成增广向量形式； 进行规范化处理，属于ω2的样本乘以(－1)。
X1 0,0,1
T
X 2 0,1,1
W T (10) X 2 1 0 , 故W (11 W (10) )
W T (11) X 3 1 0 , 故W (12) W (11)
W T (12) X 4 1 0 , 故W (13) W (12)
第四轮： W T (13) X 1 0 , 故W (14) W (13) 1
d2 ( X ) 0, d1 ( X ), d3 ( X ) 0 X 2
三个判别界面分别为：
x1 x2 1 0
图示如下：
x1 x2 4 0
x2 1 0
x2
4
d1 ( X ) x1 x2 1 d2 ( X ) x1 x2 4 d3 ( X ) x2 1
问模式 X [4,3]T 属于哪类？ d12(X)=0 5 (4,3) x1 0 3 d13(X)=0 x2
方法一：图示法
方法二 解：计算得 d12 ( X ) 2, d23(X)=0 d13 ( X ) 1 , d23 ( X ) 1
d 可写成： 21 ( X ) 2, d31 ( X ) 1 , d32 ( X ) 1
d 31 ( X ) 0 d 32 ( X ) 0 X 4,3 T 3
5
与 d12 ( X )值无关。
d12(X)=0 5
x2
d 21 0 d 23 0
d23(X)=0
2
d12 ( X ) x1 x2 5
d13 ( X ) x1 3 d 23 ( X ) x1 x2
T
X3 1,0,1
T
X 4 1,1,1
T
任取W(1)=0，取c=1，迭代过程为： 第一轮：
0 W T (1) X 1 0,0,00 0, 0, 1 0 W T (2) X 2 0,0,11 1, 0, 1
权值矢量的求解(伪逆求解法)
J S ( a ) N 2( a yi bi ) yi 2Y ( Ya b ) 0 a i 1
Y Ya Y b
ˆ a ( Y Y ) Y b Yb
* 1
(★)
ˆ ( Y Y )1 Y Y
ˆ Y称为Y的伪逆矩阵
d3 ( X ) x2 1
现有一模式，X=[7,5]T，试判定应属于哪类？并画出三类模式 的分布区域。 解：将X=[7,5]T代入上三式，有：
d1 ( X ) 7 5 1 1 0 d2 ( X ) 7 5 4 8 0
d3 ( X ) 5 1 4 0
x2
d1 ( X ) d 2 (X ) 0
d1 ( X ) d 3 (X ) 0
1
d1 d 2 d1 d 3
0
d 2 d1 d2 d3
2
x1
3
d 3 d1 d3 d 2
d 2 ( X ) d 3 (X ) 0
3. 收敛性 收敛性：经过算法的有限次迭代运算后，求出了一个使所有样
3）模式类别可分性判别 可以证明：当模式类线性可分，且校正系数c满足 0 c 1 时，该算法收敛，可求得解W。 理论上不能证明该算法到底需要迭代多少步才能达到收
敛，通常在每次迭代计算后检查一下XW(k) 和误差向量e(k) ， 从而可以判断是否收敛。
分以下几种情况： ① 如果e(k)=0 ，表明XW(k)=B(k) >0，有解。 ② 如果e(k)>0 ，表明XW(k)>B(k) >0， 隐含有解。继续迭代， 可使e(k) →0 。 ③ 如果e(k)<0（所有分量为负数或零，但不全为零），停止迭 代，无解。此时若继续迭代，数据不再发生变化。
X1 0,0,1
T
X 2 0,1,1
T
X3 1,0,1
T
X 4 1,1,1
T
3. 收敛性 收敛性：经过算法的有限次迭代运算后，求出了一个使所有样
本都能正确分类的W，则称算法是收敛的。
可以证明感知器算法是收敛的。 收敛条件：模式类别线性可分。 例2.8 已知两类训练样本
则 X i 类
若 p( X | i ) P ( i ) max p( X | j ) P( j ) j 1, 2,L , c 则 X i 类
② 1 类的判决函数： d1 ( X ) d2 ( X ) 2x1 1 0
d1 ( X ) d3 ( X ) x1 2 x2 0
x2
d1( X) d2 (X) 0
2 类的判决函数：
d 2 ( X ) d1 ( X )
d1( X) d3 (X) 0
本都能正确分类的W，则称算法是收敛的。
可以证明感知器算法是收敛的。 收敛条件：模式类别线性可分。 例2.8 已知两类训练样本
2 : X3 1 , 0 T
1 : X1 0 , 0 T
X2 0 , 1 X4 1 , 1
T
T
用感知器算法求出将模式分为两类的权向量解和判别函数。 解：所有样本写成增广向量形式； 进行规范化处理，属于ω2的样本乘以(－1)。
故W (2) W (1) X1 0,0,1
T
故W (3) W (2) 0,0,1
T
- 1 W T (3) X 3 0,0,10 -1, 0, - 1 - 1 W T (4) X 4 - 1,0,0- 1 1, 0, - 1
T
W T (7) X3 0 0 , 故W (8) W (7) X3 - 2,0,0
W T (8) X 4 2 0 , 故W (9) W (8) - 2,0,0
T
T
第三轮： W T (9) X1 0 0 , 故W (10) W (9) X1 - 2,0,1T
p( X | 1 ) P(1 ) 0.5 0.05 0.025 p( X | 2 ) P(2 ) 0.2 0.95 0.19 p( X | 2 ) P(2 ) p( X | 1 ) P(1 ) X 2 ，是正常细胞。
多类情况的最小错误率贝叶斯准则
2．判别函数正负值的确定 判别界面的正负侧，是在训练判别函数的权值时确定的。
x2
2
－ ＋
d(X ) 0
1
O
x1
图2.3 判别函数正负的确定
d(X) 表示的是一种分类的标准，它可以是1、2、3Baidu Nhomakorabea的， 也可以是更高维的。
例2.1 设有一个三类问题，其判别式为： d1 ( X ) x1 x2 1 d 2 ( X ) x1 x2 4
1
d2 ( X) d3 (X) 0
d32 ( X ) d23 ( X )
判决界面如图所示。
i j 两分法特例
除边界之外不存在不确定区域
定义 dij ( X ) di ( X ) d j ( X ) di ( X ) max dk ( X ) , k 1,L , M , 若X i
例2.1 假定在细胞识别中，病变细胞的先验概率和正常细胞的 先验概率分别为 P(1 ) 0.05, P(2 ) 0.95 。现有一待识别细胞， 其观察值为X，从类条件概率密度分布曲线上查得： p( X | 1 ) 0.5 p( X | 2 ) 0.2 试对细胞X进行分类。
解：[方法1] 通过后验概率计算。 p ( X | 1 ) P (1 ) P (1 | X ) 2 p( X | i ) P(i )
相应的判别函数为：d ( X ) 2 x1 1
x2
X 2 (0,1)
d ( X ) 2x1 1 0
X 4 (1,1)
判别界面d(X)=0如图示。
当c、W(1)取其他值
1
2
时，结果可能不一样， 所以感知器算法的解不是 单值的。
X 3 (1,0)
X 1 (0,0)
x1
d 12 0 d 13 0
d 31 0 d 32 0
3
1
0 3 5
x1
d 12 0 d 13 0 IR d 23 0
d13(X)=0
例2.5 一个三类模式（M=3）分类器，其判决函数为：
d1 ( X ) x1 x2 d 2 ( X ) x1 x2 1 d3 ( X ) x2
W T (14) X 2 1 0 , 故W (15) W (14)
W T (15) X 3 1 0 , 故W (16) W (15)
W T (16) X 4 1 0 , 故W (17) W (16)
该轮迭代的分类结果全部正确，故解向量W 2,0,1T