模式识别实验报告

学院：信息工程学院班级：智能08

姓名：XXX

学号：xxxxxxxx

2011年6月

实验一 Bayes 分类器的设计

一、 实验目的：

1. 对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识；

2. 理解二类分类器的设计原理。

二、 实验条件：

1. PC 微机一台和MATLAB 软件。

三、 实验原理：

最小风险贝叶斯决策可按下列步骤进行：

1. 在已知)(i P ω，)|(i X P ω，c i ,,1 =及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率：

∑==c

j j

j i i i P X P P X P X P 1)()|()

()|()|(ωωωωω c j ,,1 =

2. 利用计算出的后验概率及决策表，按下式计算出采取

i α决策的条件风险： ∑==c j j j i i X P X R 1)

|(),()|(ωωαλα a i ,,1 =

3. 对2中得到的a 个条件风险值

)|(X R i α（a i ,,1 =）进行比较，找出使条件风险最小的决策

k α，即：

)|(m i n )|(,,1X R X R k c i k αα ==， 则k α就是最小风险贝叶斯决策。

四、 实验内容：

假定某个局部区域细胞识别中正常（1ω）和非正常（2ω）两类先验概率分别为： 正常状态：)(1ωP =0.9；

异常状态：)(2ωP =0.1。

现有一系列待观察的细胞，其观察值为x ：

-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531

-2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752

-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682

-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532

)|(1ωx P )|(2ωx P 类条件概率分布正态分布分别为（-2，0.25）（2,4）。决策表为011=λ(11λ表示),(j i ωαλ的简写)，12λ=6, 21λ=1，22λ=0。

试对观察的结果进行分类。

五、 实验程序及结果：

试验程序和曲线如下，分类结果在运行后的主程序中：

实验结果如下：

实验二 基于Fisher 准则的线性分类器设计

一、 实验目的：

1. 进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识；

2. 理解Fisher 准则方法确定最佳线性分界面方法的原理，以及拉格朗日乘子求解的原理。

二、 实验条件：

1. PC 微机一台和MATLAB 软件。

三、 实验原理：

设有一个集合包含N 个d 维样本N x x x ,,,21 ，其中1N 个属于1ω类，2N 个属于2ω类。线性判别函数的一般形式可表示成0)(w x W x g T +=,其中T d w w W ),,(1 =。

根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为： W

S W W S W W J w T b T F =)( T W

m m S W )(211*-=- 其中：

∑==i

N j j i i x N m 1

1 2,1=i j x 为i N 类中的第j 个样本 w S 为类内离散度，定义为：∑∑==--=2111))((i N j T i j j w i

m x m x S

b S 为类间离散度，定义为：T b m m m m S ))((2121--=

上面的公式是使用Fisher 准则求最佳法线向量的解，我们称这种形式的运算

为线性变换，其中)(21m m -是一个向量，1-W S 是W S 的逆矩阵，如)(21m m -是d 维，

1-W S 和W S 都是d ×d 维，得到的*W 也是一个d 维的向量。

向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原

d 维特征向量求加权和的权值。

以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量*W 的计算方法，但是判别函数中的另一项0w 尚未确定，一般可采用以下几种方法确定0w 如

2)

(21*0m m W w T +-= 或者2

12211*0)

(N N m N m N W w T ++-=

或当)(1ωP 与)(2ωP 已知时可用

]2

)]

(/)(ln[2)([212121*0-+-+-=N N P P m m W w T ωω

当0w 确定之后，则可按以下规则分类，

10*ω∈→->x w X W T

20*ω∈→-

四、 实验内容：

已知有两类数据1ω和2ω二者的概率已知)(1ωP =0.6，

)(2ωP =0.4。 1ω中数据点的坐标对应一一如下：

1x =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974

0.2908 0.2518 0.6682 0.5622 0.9023 0.1333

-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315

0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655

0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152

0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099

1y =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155

2.0681 2.1213 2.4797 1.5118 1.9692 1.8340

1.8704

2.2948 1.7714 2.3939 1.5648 1.9329

2.2027 2.4568 1.7523 1.6991 2.4883 1.7259

2.0466 2.0226 2.3757 1.7987 2.0828 2.0798

1.9449

2.3801 2.2373 2.1614 1.9235 2.2604