实验三：分类算法实验教学提纲

HUNAN UNIVERSITY 人工智能实验报告题目实验三：分类算法实验学生姓名蒙寿伟学生学号201408070120专业班级智能科学与技术1401班指导老师袁进日期2017年5月15日一．实验目的1.了解朴素贝叶斯算法和决策树算法的基本原理；2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类3.学会对于分类器的性能评估方法二、实验的硬件、软件平台 硬件：计算机软件：操作系统：WINDOWS 2000 应用软件：C,Java 或者Matlab三、实验相关知识贝叶斯定理：)()()|()|(P A P B P B A P A B =P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。

P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。

P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。

P(B)是 B 的先验概率，也作标淮化常量（normalizing constant ）。

以第一条数据为例：vhigh,vhigh,2,2,small,low,unaccClassValues: unacc, acc, good, vgood 对应P(Bi)。

（i=0,1,2,3）分别算出 取其中的最大值，其中，P(A)的值相同，可以不算出来。

If(P(B|A)最大 == 测试样例.ClassValues) return true; Else return false;buying:vhigh,high,med,low.maint:vhigh,high,med,low.doors:2,3,4,5more.Persons:2,4,more.lug_boot:small,med,big.safety:low,med,high.（i=0,1,2,3）)()0()0|()|0(P A P B P B A P A B =)()1()1|()|1(P A P B P B A P A B =)()2()2|()|2(P A P B P B A P A B =)()3()3|()|3(P A P B P B A P A B =四、实验内容及步骤实验内容：利用贝叶斯算法或者决策树算法进行数据分类操作数据集：汽车评估数据集(见附录)实验步骤：1．仔细阅读并了解实验数据集；2．使用任何一种熟悉的计算机语言(比如C,Java或者matlab)实现朴素贝叶斯算法或者决策树算法；3．利用朴素贝叶斯算法或者决策树算法在训练数据上学习分类器,训练数据的大小分别设置为：前100个数据，前200个数据，前500个数据，前700个数据，前1000个数据，前1350个数据；4．利用测试数据对学习的分类器进行性能评估；5．统计分析实验结果并上交实验报告；<1>定义和初始化变量<2>统计并计算条件概率P(Ai|Bi),(i=0,1,2,3），当训练数据比较小时会出现Bi等于0的情况，这时P(Ai|Bi)=nan,所以可以加一个判断，当P(Ai|Bi)<0或P(Ai|Bi)>1时，让P(Ai|Bi)=0.<3>计算)() ()|()|(PAP BiPBiAPABi （四个里面取最大）<4>实验结果四、思考题：1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。

其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。

使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。

不同于贝叶斯算法，决策树的构造过程不依赖领域知识，它使用属性选择度量来选择将元组最好地划分成不同的类的属性。

所谓决策树的构造就是进行属性选择度量确定各个特征属性之间的拓扑结构。

决策树的成功率为：61.80372% ，贝叶斯成功率为：68.7831% (贝叶斯更好一点）相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置，因此在实际应用中，对于探测式的知识发现，决策树更加适用。

2. 提出一种提高分类器性能的方法并通过实验验证。

五、实验心得通过这次实验加深了我对朴素贝叶斯的认识，学会了用朴素贝叶斯算法解决具体的问题。

朴素贝叶斯分类是一种十分简单的分类算法，对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就觉得此待分类项属于哪个类别。

朴素贝叶斯的原理决定了其成功率不可能太高，但是朴素贝叶斯的简单易用性使得其在一些日常生活中应用广泛。

附件（代码）#include<iostream>#include<cstdlib>#include<cstring>#include<vector>#include<fstream>#include<stdio.h>using namespace std;int countTrain = 0;//训练样本数目int countTest = 0;//测试样本数目int countTestSuc = 0;//测试样本正确的数目int countF=100; //训练和测试的分界string CVname[4]={"unacc","acc","good","vgood"};int ClassValues[4]; //unacc, acc, good, vgoodint buying[4][4]; //vhigh, high, med, low.int maint[4][4]; // vhigh, high, med, low.int doors[4][4]; //2, 3, 4, 5more.int persons[4][4]; //2, 4, more.int lug_boot[4][4]; //small, med, big.int safety[4][4]; //low, med, high.float ClassValuesL[4]; //unacc, acc, good, vgoodfloat buyingL[4][4]; //vhigh, high, med, low.float maintL[4][4]; // vhigh, high, med, low.float doorsL[4][4]; //2, 3, 4, 5more.float personsL[4][4]; //2, 4, more.float lug_bootL[4][4]; //small, med, big.float safetyL[4][4]; //low, med, high.**///统计个数void Tonji(string a,string b,string c,string d,string e,string f,string g){//cout<<a<<" "<<b<<" "<<c<<" "<<d<<" "<<e<<" "<<f<<" "<<g<<endl; for(int i=0;i<4;i++)if(g==CVname[i]){ClassValues[i]++;//buying: vhigh, high, med, low.if(a=="vhigh") buying[0][i]++;else if(a=="high") buying[1][i]++;else if(a=="med") buying[2][i]++;else if(a=="low") buying[3][i]++;//maint: vhigh, high, med, low.if(b=="vhigh") maint[0][i]++;else if(b=="high") maint[1][i]++;else if(b=="med") maint[2][i]++;else if(b=="low") maint[3][i]++;//doors: 2, 3, 4, 5more.if(c=="2") doors[0][i]++;else if(c=="3") doors[1][i]++;else if(c=="4") doors[2][i]++;else doors[3][i]++;//persons: 2, 4, more.if(d=="2") persons[0][i]++;else if(d=="4") persons[1][i]++;else persons[2][i]++;//lug_boot: small, med, big.if(e=="small") lug_boot[0][i]++;else if(e=="med") lug_boot[1][i]++;else if(e=="big") lug_boot[2][i]++;//safety: low, med, high.if(f=="low") safety[0][i]++;else if(f=="med") safety[1][i]++;else if(f=="high") safety[2][i]++;break;}}//读取文件void ReadFileTrain(){ifstream fin("CarDatas.txt");string a,b,c,d,e,f,g;int i = countF;while((i--)>0 && fin>>a && fin>>b&& fin>>c && fin>>d && fin>>e && fin>>f && fin>>g){countTrain++;Tonji(a,b,c,d,e,f,g);}fin.close();cout<<"训练样本countTrain="<<countTrain<<endl;}//统计得到在各类别下各个特征属性的条件概率估计void CalAP(){ //概率P(yi)for(int i=0;i<4;i++){ClassValuesL[i] = (float) ClassValues[i]/countTrain;}//特别注意的是P(ai|yi)=ai/0的情况！！！，会使 P(ai|yi)等于nan;for(int i=0;i<4;i++){ //概率P(ai|yi)for(int j=0;j<4;j++){buyingL[i][j] = (float) buying[i][j]/ClassValues[j]; if(buyingL[i][j]<0 || buyingL[i][j]>1) buyingL[i][j]=0;maintL[i][j] = (float) maint[i][j]/ClassValues[j];if(maintL[i][j]<0 || maintL[i][j]>1) maintL[i][j]=0;doorsL[i][j] = (float) doors[i][j]/ClassValues[j];if(doorsL[i][j]<0 || doorsL[i][j]>1) doorsL[i][j]=0;}}for(int i=0;i<3;i++){ //概率P(ai|yi)for(int j=0;j<4;j++){personsL[i][j] = (float) persons[i][j]/ClassValues[j]; if(personsL[i][j]<0 || personsL[i][j]>1) personsL[i][j]=0;lug_bootL[i][j] = (float) lug_boot[i][j]/ClassValues[j];if(lug_bootL[i][j]<0 || lug_bootL[i][j]>1) lug_bootL[i][j]=0;safetyL[i][j] = (float) safety[i][j]/ClassValues[j]; if(safetyL[i][j]<0 || safetyL[i][j]>1) safetyL[i][j]=0;}}}//一行数据的准确与否,P(Bi|A)=P(A|Bi)P(Bi)/P(A),其中P(A)相同，只需比较分子的大小即可bool TestLine(string ai,string bi,string ci,string di,string ei,stringfi,string gi){int b, m, d, p, l, s;//buying:if(ai=="vhigh") b=0;else if(ai=="high") b=1;else if(ai=="med") b=2;else if(ai=="low") b=3;//maint:if(bi=="vhigh") m=0;else if(bi=="high") m=1;else if(bi=="med") m=2;else if(bi=="low") m=3;//doors:if(ci=="2") d=0;else if(ci=="3") d=1;else if(ci=="4") d=2;else d=3;//persons:if(di=="2") p=0;else if(di=="4") p=1;else p=2;//lug_boot:if(ei=="small") l=0;else if(ei=="med") l=1;else if(ei=="big") l=2;//safety:if(fi=="low") s=0;else if(fi=="med") s=1;else if(fi=="high") s=2;float Bi;float MaxB=0;int t=0;//计算四个P(Bi|A)的概率取最大的for(int i=0;i<4;i++){Bi=buyingL[b][i] * maintL[m][i] * doorsL[d][i] * personsL[p][i] * lug_bootL[l][i] * safetyL[s][i] * ClassValuesL[i];if(MaxB < Bi && Bi<=1){MaxB = Bi;t = i;}}//判断预测和事实是否相等if(CVname[t]==gi) return true;else return false;}//读取并测试文件void ReadFileTest(){ifstream fin("CarDatas.txt");string a,b,c,d,e,f,g;bool t=false;int i=0;while(++i && fin>>a && fin>>b&& fin>>c && fin>>d && fin>>e && fin>>f && fin>>g){if(i>countF){countTest++;t=TestLine(a,b,c,d,e,f,g);if(t) countTestSuc++;}}fin.close();}void setZero();int main(){int a[5]={100,200,500,700,1350};for(int i=0;i<5;i++){setZero();countF=a[i]; //训练和测试的分界ReadFileTrain(); //读取文件并且统计个数CalAP(); //计算条件概率ReadFileTest(); //测试样本cout<<"预测正确countTestSuc="<<countTestSuc<<endl;cout<<"测试样本countTest="<<countTest<<endl;cout<<"准确率为："<<100.0*((float)countTestSuc/(float)countTest)<<"%"<<endl<<endl;}return 0;}void setZero(){countTrain = 0;//训练样本数目countTest = 0;//测试样本数目countTestSuc = 0;//测试样本正确的数目for(int i=0;i<4;i++)for(int j=0;j<4;j++){ClassValues[i]=0; //unacc, acc, good, vgoodbuying[i][j]=0; //vhigh, high, med, low.maint[i][j]=0; // vhigh, high, med, low.doors[i][j]=0; //2, 3, 4, 5more.persons[i][j]=0; //2, 4, more.lug_boot[i][j]=0; //small, med, big.safety[i][j]=0; //low, med, high.ClassValuesL[i]=0; //unacc, acc, good, vgoodbuyingL[i][j]=0; //vhigh, high, med, low.maintL[i][j]=0; // vhigh, high, med, low.doorsL[i][j]=0; //2, 3, 4, 5more.personsL[i][j]=0; //2, 4, more.lug_bootL[i][j]=0; //small, med, big.safetyL[i][j]=0; //low, med, high.}}。