第三章 复习题答案

第三章习题答案一、设一3类问题有如下判决函数d1(x) = - x1d2(x) = x1 + x2 -1d3(x) = x1 - x2 -1试画出下列各种情况的判决边界及各类的区域：（1）满足3.4.2节中的第一种情况；（2）满足3.4.2节中的第二种情况, 且令d12(x) = d1(x)，d13(x) = d2(x)，d23(x) = d3(x)；（3）满足3.4.2节中的第三种情况。

解：w w两分法1、/i iX1d1(x)=-x1D2(x)=x1+x2-1 2、Wi/Wj 两分法13、没有不确定区的Wi/Wj两分法232(x)=2x d 1x二、证明感知器的收敛性。

证明：如果模式是线性可分的，则存在判别函数的最佳权向量解*w ，利用梯度下降法求解函数的极小值点，即为*w 。

构造准则函数()('')J w k w x w x =- （k<0） 当'w x <０时，''2'0w x w x w x -=-> 当'0w x ≥时，''0w x w x -=，min ()0J w =∵训练模式已符号规范化，∴寻求()J w 的最小值，且满足'0w x ≥。

令k=1/2,求得准则函数的梯度1'0sgn(')1'0w x w x w x ⎧>=⎨≤⎩由梯度下降法，增广权矢量的修正迭代公式为：(1)()(())()[sgn['()]]2(),'()0(),'()0;0k kk k k k k k k k w k w k J w k w k x w k x x w k w k x w k x w k x ρρρρ+=-∆=--⎧>⎪=⎨+≤>⎪⎩若若 取k ρ＝１，则上述准则下的梯度下降法的迭代公式与感知器训练算法是一致的。

∵梯度下降法是收敛到极小值点的，∴感知器算法也是收敛的。

三、习题3.4 证明：MSE 解为''X X w X b =其中：1111222(1)1(1)(1)(1)11121(1)(1)(1)(1)221222(1)(1)(1)(1)12(2)(2)(2)(2)111211(2)2(2)(2)12(2)m m N N N N m m N N N m i X X X X X X X X X X X X X X X X X X X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥----⎢⎥⎢⎥-⎢⎥⎢⎥⎢⎥---⎢⎥-⎣⎦(2)11111111⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦12111120112122(),()N n n N n N N N N w N N w N w w b N w w N N N w N N N ++⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎡⎤⎢⎥⎢⎥====⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦则对应的12(1)(1)(1)11211(2)(2)(2)21212211()1()()'()iN i m i N im i i i i x w m X m m m N m Xm m m N Sw X m X m ===∈=====--∑∑∑∑化简 ''X X w X b =''1111111121212122'11121112222122221122()1/1/1/1/1/1/()()''1/'''1/'1/'1/'()''N N N X N X N X N w X N X N X N N N NN N N X X X N X X w X N X N X N N N NX X X X ⎡⎤⎢⎥⎡⎤⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥------⎢⎥⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦⎡⎤⎢⎥--⎡⎤⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥------⎢⎥⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦+201122111122''()'0n w N m N m N m m w N m N m N +⎡⎤⎡⎤⎡⎤+-=⎢⎥⎢⎥⎢⎥+⎣⎦⎣⎦⎣⎦由上式可得：11220112111222011221()0(1)['']('')()'(2)n n N m N m w Nw Sw N m m N m m w N m N m w N m m ++++=++++=-由（1）式可得：121210()n N Nw m m w N N+=-+ 代入（2）式得：1211122201122112121012111222011221122['']('')()'(2)()1['']('')()()'[n n Sw N m m N m m w N m N m w N m m N Nw m m w N NSw N m m N m m w N m N m N m N m N m m N++++++=-=-+++-++=-2222111222111222112121021221212121201212022'''''']()'[()'()]()'()'(NSw NN m m NN m m N m m N m m N N m m N N m m w N m m NSw N N m m m m w N m m N N NSww m m m N N++----=-+--=-+-12120)()'m w m m -=-∵120()m m w -为标量∴1212121202()'()(1)()'N N m m m m w m m N α----α为一标量∴121201120(1)()'()'()'Sww m m m m N N w Sw m m αα-+--=-=-∵1m 、2m 设为行向量，如果设为列向量 则 1120()Nw Sw m m α-=-而Fisher 最佳判别矢量为112()Sw m m αμλ-=- 不考虑标量因子的影响，0w 和μ完全一致 ∴当余量矢量1122(,)N N N Nb N N N N =时 MSE 解等价于Fisher 解。

四、 解：设1x 、2x 在判别界面π中011021'0(1)'0(2)n n w x w w x w +++=+=（1） －（2）得012'()0w x x -= ∵12x x -在判别界面中 ∴0w ⊥平面π则平面π的单位法矢量为w n w =设点P 在判别界面d(x )=0中，则()'()cos ,n x p n x p n x p ⎡⎤•-=•-•-⎣⎦∵1n =∴()()cos ,n x px p n x p •--=⎡⎤-⎣⎦当x p -和n 方向相同时，即x p -为点x 到平面π的距离时min()x pn x p -=•-000''w w x p w w =•-•01001000''()n n w w x w w w x w w d x w w ++=•++==ϒ=五、以下列两类模式为样本，用感知器算法求其判决函数。

（令 w(1) = (-1,-2,-2)T ） w1：{(0,0,0)’, (1,0,0)’, (1,0,1)’, (1,1,0)’,} w2：{(0,0,1)’, (0,1,1)’, (0,1,0)’, (1,1,1)’,}解（1）将训练样本分量增广化及符号规范化，将训练样本增加一个分量1,且把来自2w 类的训练样本的各分量乘以－1,则得到训练模式集：1(0,0,0,1)',x = 2(1,0,0,1)'x = 3(1,0,1,1)',x = 4(1,1,0,1)'x =5(0,0,1,1)',x =-- 6(0,1,1,1)'x =--- 7(0,1,0,1)',x =-- 8(1,1,1,1)'x =----（2）运用感知器算法，任意给增广权矢量赋初值(1)(1,1,2,1)'w =---，取增量1ρ=，迭代步数k=1，则有1(2)(1)2(3)(2)23(4)(3)1,,()'()10,2,,()'()00,(0,2,2,2)3,,()'()00,k k k k k k k k k k x x d x w k x w w k x x d x w k x w w x k x x d x w k x w w ===•=>====•===+=--===•===34(5)(4)5(6)(5)56(1,2,1,3)4,,()'()20,5,,()'()20,(1,2,2,2)6,,()'()2k k k k k k k k k x k x x d x w k x w w k x x d x w k x w w x k x x d x w k x +=--===•=>====•=-<=+=--===•=(7)(6)0,w w >=k 77k=7, x =x ,() =w(k)'=0, w(8)= w(7)+x k k d x x k 8k=8, x =x ,() =w(k)'=3>0, w(9)= w(8)k k d x xk 1k=9, x =x ,() =w(k)'=1>0, w(10)= w(9)k k d x xk 2k=10, x =x ,() =w(k)'=2>0, w(11)= w(10)k k d x x k 33k=11, x =x ,() =w(k)'=0, w(12)= w(11)+x (2,3,1,2)k k d x x =--k 4k=12, x =x ,() =w(k)'=1>0, w(13)= w(12)k k d x xk 55k=13, x =x ,() =w(k)'=-1<0, w(14)= w(13)+x (2,3,2)k k d x x =--k 6k=14, x =x ,() =4>0, w(15)= w(14)k d x k 7k=15, x =x ,() =2>0, w(16)= w(15)k d x k 8k=16, x =x ,() =2>0, w(17)= w(16)k d xk 1k=17, x =x ,() =1>0, w(18)= w(17)k d x k 2k=18, x =x ,() =3>0, w(19)= w(18)k d xk 3k 44k 55k 6k=19, x =x ,() =1>0, w(20)= w(19)k=20, x =x ,() =0, w(21)= w(20)+x (3,2,2,2)'k=21, x =x ,() =0, w(22)= w(21)+x (3,2,3,1)'k=22, x =x ,() =4>0, w(23)k k k k d x d x d x d x =--=--k 7k 8k 1= w(22)k=23, x =x ,() =1>0, w(24)= w(23)k=24, x =x ,() =1>0, w(25)= w(24)k=25, x =x ,() =1>0, w(26)= w(25)k k k d x d x d xk 2k=26, x =x ,() =4>0, w(27)= w(26)k d xk 3k=27, x =x ,() =1>0, w(28)= w(27)k d x4k k=28, x =x ,() =2>0, w(29)= w(28)k d x 5k k=29, x =x ,() =2>0, w(30)= w(29)k d x(3)由上面的结果可以看出，经过迭代w(22)能对所有训练样本正确分类∴*w ＝(3,-2,-3,1)'判别界面方程为 3x 1-2x 2-3x 3+1=0六、用MSE (梯度法)算法检验下列模式的线性可分性。