题1：在一个10类的模式识别问题中,有3类单独满足多类情况1,其余的

题1：在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。

问该模式识别问题所需判别函数的最少数目是多少？答：将10类问题可看作4类满足多类情况1的问题，可将3类单独满足多类情况1的类找出来，剩下的7类全部划到4类中剩下的一个子类中。

再在此子类中，运用多类情况2的判别法则进行分类，此时需要7*（7-1）/2=21个判别函数。

故共需要4+21=25个判别函数。

题2：一个三类问题，其判别函数如下：d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-11.设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。

2.设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。

绘出其判别界面和多类情况2的区域。

3.设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。

答：三种情况分别如下图所示：1．2．3．题3：两类模式，每类包括5个3维不同的模式，且良好分布。

如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。

）答：（1）若是线性可分的，则权向量至少需要14N n =+=个系数分量； （2）若要建立二次的多项式判别函数，则至少需要5!102!3!N ==个系数分量。

题4：用感知器算法求下列模式分类的解向量w : ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}解：将属于2w 的训练样本乘以(1)-，并写成增广向量的形式x1=[0 0 0 1]',x2=[1 0 0 1]',x3=[1 0 1 1]',x4=[1 1 0 1]';x5=[0 0 -1 -1]',x6=[0 -1 -1 -1]',x7=[0 -1 0 -1]',x8=[-1 -1 -1 -1]';迭代选取1C =，(1)(0,0,0,0)w '=，则迭代过程中权向量w 变化如下：(2)(0 0 0 1)w '=；(3)(0 0 -1 0)w '=；(4)(0 -1 -1 -1)w '=；(5)(0 -1 -1 0)w '=；(6)(1 -1 -1 1)w '=；(7)(1 -1 -2 0)w '=；(8)(1 -1 -2 1)w '=；(9)(2 -1 -1 2)w '=； (10)(2 -1 -2 1)w '=；(11)(2 -2 -2 0)w '=；(12)(2 -2 -2 1)w '=；收敛所以最终得到解向量(2 -2 -2 1)w '=，相应的判别函数为123()2221d x x x x =--+。

题5：用多类感知器算法求下列模式的判别函数： ω1: (-1 -1)T ，ω2: (0 0)T ，ω3: (1 1)T解：采用一般化的感知器算法，将模式样本写成增广形式，即1231011,0,1111x x x -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪=-== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭取初始值123000w w w ⎛⎫⎪=== ⎪ ⎪⎝⎭，取1C =，则有第一次迭代：以1x 为训练样本，123(1)(1)(1)0d d d ===，故123111(2)1,(2)1,(2)1111w w w -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪=-== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭第二次迭代：以2x 为训练样本，123(2)1,(2)1,(2)1d d d ==-=-，故123111(3)1,(3)1,(3)1002w w w -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪=-== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭第三次迭代：以3x 为训练样本，123(3)2,(3)2,(3)0d d d =-==，故123102(4)1,(4)0,(4)2011w w w -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪=-== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭第四次迭代：以1x 为训练样本，123(4)2,(4)1,(4)5d d d ==-=-，故112233(5)(4),(5)(4),(5)(4)w w w w w w ===第五次迭代：以2x 为训练样本，123(5)0,(5)1,(5)1d d d ==-=-，故123102(6)1,(6)0,(6)2102w w w -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪=-== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭第六次迭代：以3x 为训练样本，123(6)3,(6)0,(6)2d d d =-==，故112233(7)(6),(7)(6),(7)(6)w w w w w w ===第七次迭代：以1x 为训练样本，123(7)1,(7)0,(7)6d d d ===-，故112233(8)(7),(8)(7),(8)(7)w w w w w w ===第八次迭代：以2x 为训练样本，123(8)1,(8)0,(8)2d d d =-==-，故112233(9)(8),(9)(8),(9)(8)w w w w w w ===由于第六、七、八次迭代中对312,,x x x 均以正确分类，故权向量的解为：1231021,0,2102w w w -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪=-== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭，可得三个判别函数为：112231210222d x x d d x x =---==+-题6： 采用梯度法和准则函数2(,,)21()8t tw x b J w x b w x b x⎡⎤=---⎣⎦，式中实数b 〉0，试导出两类模式的分类算法。

解：)]sgn(*[*|]|)[(||||412b x w x x b x w b x w x w J tt t -----=∂∂ 其中：⎩⎨⎧≤-->-=-0,10,1)sgn(b x w b x w b x w tt t得迭代式：2(1)()[(())|()|]*[*sgn(())]4||||t t tC w k w k w k x b w k x b x x w k x b x +=+----- 200(1)()()t t t w x b w k w k C b w x x w x b x ⎧->⎪+=+-⎨-≤⎪⎩题7：用LMSE 算法求下列模式的解向量： ω1: {(0 0 0)T , (1 0 0)T , (1 0 1)T , (1 1 0)T }ω2: {(0 0 1)T , (0 1 1)T , (0 1 0)T , (1 1 1)T }解：写出模式的增广矩阵X ：00011001101111010011011101011111X ⎛⎫⎪ ⎪ ⎪⎪⎪= ⎪--⎪--- ⎪ ⎪-- ⎪ ⎪----⎝⎭#11000110010111000110110111000100010111110100010111()()001011010011001011011111111101111111111101011111t tX X X X --⎛⎫⎪ ⎪⎪--⎛⎫⎛⎫⎪ ⎪ ⎪------ ⎪⎪ ⎪== ⎪ ⎪ ⎪--------⎪ ⎪ ⎪----------- ⎪⎝⎭⎝⎭⎪-- ⎪ ⎪----⎝⎭=121121212(2)11222224-⎛⎫ ⎪ ⎪ ⎪ ⎪⎝⎭01110001000101110010110111111111-⎛⎫ ⎪--- ⎪⎪--- ⎪----⎝⎭ 200102011002141112-⎛⎫ ⎪- ⎪=⎪- ⎪---⎝⎭01110001000101110010110111111111-⎛⎫⎪--- ⎪⎪--- ⎪----⎝⎭1111111111111111111111111421001011--⎛⎫ ⎪------ ⎪=⎪------ ⎪--⎝⎭取(1)(11111111)t b 和1C第一次迭代：#(1)(1)(1110.5)t X w b(1)(1)(1)(0.50.50.50.50.50.50.50.5)t X e w b#(2)(1)(1)(1.5 1.51.50.75)t CX w w e(2)(1)[(1)(1)](12111211)t C b b e e第二次迭代：e w b(2)(2)(2)(0.250.250.250.250.250.250.250.25)tX#w w eCX(3)(2)(2)(1.75 1.75 1.750.875)tb b e e(3)(2)[(2)(2)](1 2.5111 2.511)tC第三次迭代：e w bX(3)(3)(3)(0.1250.1250.1250.1250.1250.1250.1250.125)t#w w eCX(4)(3)(3)(1.875 1.875 1.8750.9375)tCb b e e(4)(3)[(3)(3)](1 2.75111 2.7511)t第四次迭代：e w b(4)(4)(4)(0.06250.06250.06250.06250.06250.06250.06250.0625)tX#(5)(4)(4)(1.9375 1.9375 1.93750.9688)tw w eCXb b e e(5)(4)[(4)(4)](1 2.875111 2.87511)tC第五次迭代：e w b(5)(5)(5)(0.03130.03130.03130.03130.03130.03130.03130.0313)tX#w w eCX(6)(5)(5)(1.9688 1.9688 1.96880.9844)tb b e e(6)(5)[(5)(5)](1 2.9375111 2.937511)tC第六次迭代：e w bX(6)(6)(6)(0.01560.01560.01560.01560.01560.01560.01560.0156)t#w w eCX(7)(6)(6)(1.9844 1.9844 1.98440.9922)tb b e e(7)(6)[(6)(6)](1 2.9688111 2.968811)tC第七次迭代：e w bX(7)(7)(7)(0.00780.00780.00780.00780.00780.00780.00780.0078)t#w w eCX(8)(7)(7)(1.9922 1.9922 1.99220.9961)tCb b e e(8)(7)[(7)(7)](1 2.9844111 2.984411)t第八次迭代：e w b(8)(8)(8)(0.00390.00390.00390.00390.00390.00390.00390.0039)tX#(9)(8)(8)(1.9961 1.99611.99610.9980)t CX w w e(9)(8)[(8)(8)](1 2.9922111 2.992211)t C b b e e第九次迭代：(9)(9)(9)(0.00200.00200.00200.00200.00200.00200.00200.0020)tX e w b#(10)(9)(9)(1.9980 1.99801.99800.9990)t CX w w e(10)(9)[(9)(9)](1 2.9961111 2.996111)t C b b e e第十次迭代：3(10)(10)(10) 1.010(0.97660.97660.97660.980.980.980.980.98)tX e w b#(11)(10)(10)(1.9990 1.99901.99900.9995)t CX w w e(11)(10)[(10)(10)](1 2.9980111 2.998011)t C b b e e由于31.010e，可以认为此时权系数调整完毕，最终的权系数为：(2221)t w相应的判别函数为：1231()222d x x x x题8：用二次埃尔米特多项式的势函数算法求解以下模式的分类问题ω1: {(0 1)T , (0 -1)T } ω2: {(1 0)T , (-1 0)T }111201022212011222331201222441211021551211121226612112212()(,)()()1()(,)()()2()(,)()()42()(,)()()2()(,)()()4()(,)()()2(4x x x H x H x x x x H x H x x x x x H x H x x x x x H x H x x x x x H x H x x x x x x H x H x x x ϕϕϕϕϕϕϕϕϕϕϕϕ=========-=========2771221021288122112212299122122122)()(,)()()42()(,)()()2(42)()(,)()()(42)(42)x x x H x H x x x x x H x H x x x x x x H x H x x x ϕϕϕϕϕϕ-===-===-===--所以，势函数91(,)()()k iiki K x x x x ϕϕ==∑第一步：取1101X w ⎛⎫=∈ ⎪⎝⎭，故2222212211212()152040243264K X x x x x x x x =-+++-- 第二步：取2101X w ⎛⎫=∈⎪-⎝⎭，12()50K X =>，故21()()K X K X = 第三步：取3210X w ⎛⎫=∈ ⎪⎝⎭，23()90K X =>，故223232211()()(,)20162016K X K X K X X x x x x =-=+--第四步：取4210X w -⎛⎫=∈ ⎪⎝⎭，34()40K X =>，故222224342121212()()(,)152********K X K X K X X x x x x x x x =-=+---+ 第五步：取5101X w ⎛⎫=∈ ⎪⎝⎭，45()270K X =>，故54()()K X K X =第六步：取6101X w ⎛⎫=∈ ⎪-⎝⎭，56()130K X =-<，故2265612()()(,)3232K X K X K X X x x =+=-+ 第七步：取7210X w ⎛⎫=∈ ⎪⎝⎭，67()320K X =-<，故76()()K X K X =第八步：取8210X w -⎛⎫=∈⎪⎝⎭，78()320K X =-<，故 87()()K X K X =第九步：取9101X w ⎛⎫=∈ ⎪⎝⎭，89()320K X =>，故98()()K X K X =第十步：取10101X w ⎛⎫=∈ ⎪-⎝⎭，910()320K X =>，故109()()K X K X =从第七步到第十步的迭代过程中，全部模式都已正确分类，故算法已经收敛于判别函数：221012()()3232d X K X x x ==-+ 题9：用下列势函数2||||(,)k X X k K X X eα--=求解以下模式的分类问题ω1: {(0 1)T, (0 -1)T}ω2: {(1 0)T, (-1 0)T}选取1α=，在二维情况下，势函数为1222212(,)exp{||||}exp{[()()]}k k k k K X X X X x x x x =--=--+-以下为势函数迭代算法：第一步：取1101X w ⎛⎫=∈ ⎪⎝⎭，故22112()exp{(1)}K X x x =---第二步：取2101X w ⎛⎫=∈⎪-⎝⎭，12()exp{4}0K X =->，故21()()K X K X = 第三步：取3210X w ⎛⎫=∈ ⎪⎝⎭，23()exp{1}0K X =->，故22223231212()()(,)exp{(1)}exp{(1)}K X K X K X X x x x x =-=-------第四步：取4210X w -⎛⎫=∈ ⎪⎝⎭，34()exp{2}exp{4}0K X =--->，故222222434121212()()(,)exp{(1)}exp{(1)}exp{(1)}K X K X K X X x x x x x x =-=---------+-第五步：取5101X w ⎛⎫=∈ ⎪⎝⎭，45()1exp{2}exp{2}0K X =---->，故54()()K X K X =第六步：取6101X w ⎛⎫=∈⎪-⎝⎭，56()exp{4}exp{2}exp{2}0K X =-----<，故 2222656121222221212()()(,)exp{(1)}exp{(1)} exp{(1)}exp{(1)}K X K X K X X x x x x x x x x =+=--++---------+-第七步：取7210X w ⎛⎫=∈ ⎪⎝⎭，67()exp{2}exp{2}1exp{4}0K X =-+----<，故76()()K X K X =第八步：取8210X w -⎛⎫=∈⎪⎝⎭，78()exp{2}exp{2}exp{4}10K X =-+----<，故 87()()K X K X =第九步：取9101X w ⎛⎫=∈ ⎪⎝⎭，89()exp{4}1exp{2}exp{2}0K X =-+---->，故98()()K X K X =第十步：取10101X w ⎛⎫=∈⎪-⎝⎭，910()1exp{4}exp{2}exp{2}0K X =+----->，故 109()()K X K X =从第七步到第十步的迭代过程中，全部模式都已正确分类，故算法已经收敛于判别函数：222210121222221212()()exp{(1)}exp{(1)} exp{(1)}exp{(1)}d X K X x x x x x x x x ==--++---------+-。