PR部分习题解答

第二章：贝叶斯决策理论 主要考点：

1. 最小错误率贝叶斯分类器；

2. 最小风险贝叶斯分类器；

3. 多元正态分布时的最小错误率贝叶斯分类器。 典型例题：Ｐ４５，２.２３，２.２４。

例题1：在一个一维模式两类分类问题中，设12()1/3,()2/3p p ωω==，两类的类概率密度分别为

2212(/)(1)),(/)(1))p x x p x x ωω=

-+=

--

1）求最小错误率贝叶斯分类器的阈值。

2）设损失为0310L ⎛⎫

= ⎪⎝⎭

，求最小风险贝叶斯分类器的阈值。

解：由于p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值

θ=p(w2)/p(w1)=2

其相应的决策规则为：

,)

1()

2()2/()1/(w p w p w x p w x p >< 则21{w w x ∈

2>< 即 1

2ln 2

4ln 24w x x w x ⎧<-

⎪⎪∈⎨⎪>-

⎪⎩ （2） 当L=

0310

时，122221113,01,0λλλλ====

从而最小风险贝叶斯决策规则的阈值为：

1222221111()()(30)*1/3

.3/2()()(10)*2/3

p w p w λλλλλ--=

==--

判决规则为：

12(/)

(/)

p x w p x w λ><,则21{w w x ∈

23/2==>exp(4)3/2x -= 12ln(3/2)

4

ln(3/2)4w x x w x ⎧<-

⎪⎪∈⎨⎪>-

⎪⎩

例２ｐ45,2.23

解：这里两类协方差矩阵相等。

负对数似然比判别规则为

1112

22(/)()

ln

ln 0(/)()x p x p x p x p ωωωωωω∈<⎧--=⇒⎨

∈>⎩ ()()()()1

1

111/2

112221/2

11

1122112211exp(()())(/)2||2ln ln

11(/)exp(()())2||2[()()(1

1())()]/2

1111exp ,222020T i i i i n

T T T T i

x x p x p x x x x x x x x x p x x x x x x μμωπωμμπωμμπμμμμ------⎡⎤

=

---⎢∑--∑-∑-=---∑-∑=-∑---∑

-+⎛⎫=+-- ⎪-⎝⎭⎥⎣⎦

∑∑=I.故

()1111202021x x x x -⎛⎫

-- ⎪

-⎝⎭

=

例３2.24 解：

()

()()112111

211111/2

11122221/2

2

21112/34/32/34/311

exp(()())(1

1()exp ,22/)2||2ln ln

11(/)exp(()())2||2[()(T T T i i i i n

T i

x x p x p x p x x x x x x x μμωπωμμπμωμμπ------⎛⎫⎛⎫∑∑ ⎪ ⎪-⎝⎭⎝⎭

--∑-∑-=--⎡⎤

=

---⎢⎥-∑-∑=-⎣⎦

∑-∑∑

4/3-2/34/32/3=,=故

()()1121221122

)()()]/211111120112020202/34/32/34/381

ln

2

13/4

ln

234433/T x x x x x x x x x x x x x μμμ---∑-++-⎛⎫⎛⎫⎛⎫⎛⎫=+----+ ⎪ ⎪ ⎪ ⎪---⎝⎭⎝

⎭⎝⎭⎝⎭=-∑∑

4/3-2/34/32/3

例４：假设两类二维正态分布参数如下，试给出负对数似然比判别规则。

12121210.5()(),(1,2),(0,1),0.51T

T

p p ωωμμ⎡⎤

==-=∑=∑=⎢⎥⎣⎦

解：负对数似然比判别规则为

1112

22(/)()

ln ln (/)()x p x p x p x p ωωωωωω∈<⎧-⇒⎨

∈>⎩'1111'1222'1

'1

1122'1

'1

'

1

1122

211211

exp(()())

(/)2||2ln ln

11(/)exp(()())2||2[()()()()]/2

()2

224

x x p x p x x x x x x x x x x μμωπωμμπμμμμμμμμμμ---------∑-∑-=---∑-∑=-∑---∑-∑

-+

=-∑

=-+∑

所以，决策规则为：121

2

20x x x x ωω∈<

⎧⇒⎨

∈-+>⎩

实验一：贝叶斯分类器设计

3）设计基于最小错误率的贝叶斯分类器； 4）计算测试样本的错误率 5）分析实验结果

上机步骤：第一步：生成各种随机数 d1=1+sqrt(4)*randn(1,300); % d2=2+sqrt(6)*randn(1,300);

train_data1=[d1;d2]; %合成一个二维正态分布的训练样本，类别为１; d3=5+sqrt(5)*randn(1,200); d4=3+sqrt(1)*randn(1,200);

train_data2=[d3;d4]; ％生成一个二维正态分布的训练样本，类别为２； d5=4+sqrt(2)*randn(1,200);

d6=7+sqrt(9)*randn(1,200); ％生成一个二维正态分布的训练样本，类别为３； c1=1+sqrt(4)*randn(1,100); % c2=2+sqrt(6)*randn(1,100);

test_data1=[c1;c2]; %合成一个二维正态分布的训练样本，类别为１; c3=5+sqrt(5)*randn(1,100); c4=3+sqrt(1)*randn(1,100);

test_data2=[c3;c4]; %生成一个二维正态分布的训练样本，类别为２； c5=4+sqrt(2)*randn(1,100);

c6=7+sqrt(9)*randn(1,100);%生成一个二维正态分布的训练样本，类别为３； test_data2=[c5;c6];

第二步：计算各类的均值与协方差矩阵； miu1=mean(train_data1); miu2=mean(train_data2); miu3=mean(train_data3); cov1=cov(train_data1'); cov2=cov(train_data1'); cov3=cov(train_data1');

第三步：设计基于最小错误率的贝叶斯分类器，这属于三类问题，第三种情况：各类的协方差均不相等。分类函数见书上P33,公式２－２０７～２－１１２； 第四步：将生成的测试样本依次用分类函数分类，计算所有样本的正确分类次数及正确分类率；

第五步：与理论计算相比较，分析结果。

第四章 线性判别函数

要求掌握线性判别的一般步骤，fisher 分类器的设计步骤。

例１p117,4.4 解:

112021021()222

21,2T

T

x g x x x w x w x x w x w x ⎛⎫⎛⎫=+-=+=- ⎪ ⎪⎝⎭⎝⎭

⎛⎫⎛⎫

= ⎪ ⎪⎝⎭⎝⎭

故＝，＝２

广义齐次函数1221()12T

T

g x a y x x -⎡⎤⎛⎫

⎪⎢⎥== ⎪

⎢⎥ ⎪⎢⎥⎝⎭

⎣⎦

实验二： 线性分类器训练

2）设计Fisher 分类器；

3) 计算测试样本的错误率 4) 分析实验结果

实验步骤：

１．生成服从二维正态分布的二类样本，方法同实验一；

２．计算各类样本均值向量12,m m ，样本类间散度矩阵12,s s ，总散度矩阵12w s s s =+； ３．求使得Fisher 准则函数J F (w)取极大值时的解，*112()w s m m -=-； ４．分类器为：*T y w x =

５．将测试样本输入分类器，一一测试其分类。具体方法见ｐ９０。

第五章 非线性判别函数、最领近法

要求：掌握最领近法的分类及图解、马氏距离的计算，主成分分析方法 典型例题：ｐ１６０，６。５ 例题：设两类模式的特征向量分别服从正态分布，均值向量及协方差矩阵分别为：

1212 1.10.3(0,0),(2,3),0.3 1.9T T μμ⎛⎫

==-∑=∑=

⎪⎝⎭

，

一未知类别样本的特征向量(1,2)T x = 1）利用Mahalanobis 距离判别x 的类别；

2）计算 x 的主成分特征。

解：（1）由马氏距离的定义1

2

()

()T

x x γμμ-=--∑

，则

12

1

111

()()T

x x γμμ-=--∑

,1

2

2222

()

()T

x x γμμ-=--∑

而 1.10.30.3 1.9⎛⎫= ⎪⎝⎭∑，则10.950.150.150.55--⎛⎫= ⎪-⎝⎭

∑

从而2

1100.950.1510 2.55200.150.5520T

γ⎡⎤-⎡⎤⎛⎫⎛⎫⎛⎫⎛⎫⎛⎫=--=⎢⎥⎢⎥ ⎪ ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝

⎭⎝⎭⎝⎭⎣⎦⎣⎦

2

2120.950.151216.2230.150.5523T

γ⎡⎤-⎡⎤⎛⎫⎛⎫⎛⎫⎛⎫⎛⎫=--=⎢⎥⎢⎥ ⎪ ⎪ ⎪ ⎪ ⎪---⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭⎣⎦⎣⎦

2212,x γγ<∴属于第一类。

（2） 两类模式的协方差矩阵

12 1.10.30.3 1.9⎛⎫

== ⎪⎝⎭

∑∑

它所对应的特征值

1.1

0.3

(1)(2)00.3 1.9

E λλλλλ---=

=--=--∑

故特征值

121,2λλ==。

而1λ

所对应的特征向量ξ⎛= ⎝

， 2λ

所对应的特征向量η=。 则1λ的贡献率为1

2

1

11/333.3%i

i p λλ

==

==∑，

2λ的贡献率为2

22

1

2/366.7%i

i p λλ

==

==∑

故第一主成分为121y x =

，将(1,2.2)T x =代入得1y =2.4033

第二主成分为212y x =，将(1,2.2)T x =代入得2y =-0.2531。

例２ 设有七个二维样本分属于两类：

1123:(0.5,0),(1,0),(0,1),T T T x x x ω==-=-

24567:(0,1.5),(0,2.5),(1,3),(2,2)T T T T x x x x ω====

假定前三个为ω1类,后四个为ω2类. 1) 画出最近邻法的决策面;

2) 求各类样本均值,若按与各类样本均值的最小距离分类, 试给出决策函数,并画出决策面.

解：（1）这是一个两类问题，第1类有3个样本，第2类有4个样本。我们规定

1(1,2)w i =的判别函数为2()min ,1,2....k i i k

g x x x k N =-=，其中k i x 的下标

i 表示wi 类，k 表示wi 类的第k 个样本。则决策规则

2()min (),1,2i i

g x g x i ==，则决策i x w ∈。

按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A 类与四个B 类训练样本可能构成的分界面最大数量为3×4＝12。实际分界面有４条线组成，

（2） w1类的样本均值：

11/3[(0.5,0)(1,0)(0,1)(1/6,1/3)T T T T μ=+-+-=--，

w2类的样本均值：

21/4[(0,1.5)(0,2.5)(1,3)(2,2)](3/4,9/4)T T T T T μ=+++=。

对未知样本x ，决策函数为

2211()()()()()T T g x x x x x μμμμ=-----。

若g(x)>0,则1x w ∈，若g(x)<0,则2x w ∈ 决策面g(x)=0如图：

。

例３设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。

试问：

（1）按近邻法分类，这两类最多有多少个分界面

（2）画出实际用到的分界面

解：按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×4＝12。实际分界面如下图所示，由9条线段构成。

以上分界面的画法，请同学们自己仔细的在草稿纸上画一遍！