Bayes分类器设计

实验一 Bayes 分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。

【实验条件】

Matlab 软件

【实验原理】

根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式，用此判别函数设计分类器。数据随机生成，比如生成两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如50个）样本点，假设每类样本点服从二维正态分布，随机生成具体数据，然后估计每类的均值与协方差，在下列各种情况下求出分类边界。先验概率自己给定，比如都为0.5。如果可能，画出在两类协方差不相同的情况下的分类边界。

若第一类的样本为{}12,,n x x x ，则第一类均值的估计为1

1ˆn k k x n μ==∑，协方差的估计为1

1ˆˆˆ()()n T k k k x x n μμ=∑=--∑。则在两类协方差不相同的情况下的判别函数为：

判别边界为g1(x)-g2(x)=0，是一条一般二次曲线（可能是椭圆、双曲线、抛物线等）。

【实验内容】

1、

自动随机生成两类服从二维正态分布的样本点 2、

计算两类样本的均值和协方差矩阵 3、

按照两类协方差不相同情况下的判别函数，求出判别方程曲线。 4、 通过修改不同的参数（均值、方差、协方差矩阵），观察判别方程曲线的变化。

【实验程序】

clear all;

close all;

samplenum = 50;%样本的个数

n1(:,1) = normrnd(8,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差

n1(:,2) = normrnd(6,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差

n2(:,1) = normrnd(14,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差

n2(:,2) = normrnd(16,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差

scatter(n1(1:samplenum,1),n1(1:samplenum,2),'ro');%画出样本

hold on

scatter(n2(1:samplenum,1),n2(1:samplenum,2),'g*');%画出样本

u1 = mean(n1);%计算第一类样本的均值

e1=0;

for i=1:20

e1 = e1+(n1(i,:)-u1)'*(n1(i,:)-u1);%计算协方差矩阵

end;

u2 = mean(n2);%计算第二类样本的均值

e2=0;

for i=1:20

e2 = e2+(n2(i,:)-u2)'*(n2(i,:)-u2);%计算协方差矩阵

end;

e2=e2/20;%计算协方差矩阵

e1=e1/20;%计算协方差矩阵

%-------------通过改变条件来完成不同的曲线---------

% e2 = e1;

%--------------------------------------------------

u1 = u1';

u2 = u2';

scatter(u1(1,1),u1(2,1),'b+');%画出样本中心

scatter(u2(1,1),u2(2,1),'b+');%画出样本中心

line([u1(1,1),u2(1,1)],[u1(2,1),u2(2,1)]); %画出样本中心连线

%求解分类方程

W1=-1/2*inv(e1);

w1=inv(e1)*u1;

w10=-1/2*u1'*inv(e1)*u1-1/2*log(det(inv(e1)))+log(0.5);%假设w1的先验概率为0.5

W2=-1/2*inv(e2);

w2=inv(e2)*u2;

w20=-1/2*u2'*inv(e2)*u2-1/2*log(det(inv(e2)))+log(0.5);% 假设w2的先验概率为0.5

syms x y;

fn = [x,y]*(W1-W2)*[x,y]'+(w1-w2)'*[x,y]'+w10-w20;

ezplot(fn,[0,30]);