智能数据实验报告一

理学院

上机实验报告

课程名称: 大数据分析

实验名称: 实验一

学院: 理学院

专业: 信息与计算科学

年级: 2013级

实验日期: 实验成绩: 指导老师:

实验报告1

1.1基于最小错误率的贝叶斯决策

1.2基于最小风险的贝叶斯决策

一、实验目的

（1）通过本次综合设计，了解模式识别的基本原理、贝叶斯最小错误率分类器的原理。

（2）本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的。

二、实验设备及条件

matlab软件

三、实验原理

分类是一项非常基本和重要的任务，并有着极其广泛的应用。分类是利用预定的已分类数据集构造出一个分类函数或分类模型(也称作分类器)，并利用该模型把未分类数据映射到某一给定类别中的过程。分类器的构造方法很多，主要包括规则归纳、决策树、贝叶斯、神经网络、粗糙集、以及支持向量机(SVM)等方法。其中贝叶斯分类方法建立在贝叶斯统计学[v1和贝叶斯网络[s1基础上，能够有效地处理不完整数据，并且具有模型可解释、精度高等优点，而被认为是最优分类模型之一[9]。尤其是最早的朴素贝叶斯分类器[l0l虽然结构简单，但在很多情况下却具有相当高的分类精度，可以达到甚至超过其它成熟算法如c4.5[l’]的分类精度，而且对噪声数据具有很强的抗干扰能力。因此，对贝叶斯分类算法的深入研究，无论对其理论的发展，还是在实际中的应用，都具有很重要的意义。

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN和GBN。

贝叶斯网络是一个带有概率注释的有向无环图，图中的每一个结点均表示一个随机变量,图中两结点间若存在着一条弧，则表示这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。网络中任意一个结点X 均有一个相应的条件概率表(Conditional Probability Table，CPT)，用以表示结点X 在其父结点取各可能值时的条件概率。若结点X 无父结点,则X 的CPT 为其先验概率分布。贝叶斯网络的结构及各结点的CPT 定义了网络中各变量的概率分布。

贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c1 , c2 , ... , cm)，还包含一组结点X = ( X1 , X2 , ... , Xn)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x = ( x1 , x2 , ... , x n) ，则样本D 属于类别ci 的概率P( C = ci | X1 = x1 , X2 = x 2 , ... , Xn = x n) ，( i = 1 ,2 , ... , m) 应满足下式：

P( C = ci | X = x) = Max{ P( C = c1 | X = x) , P( C = c2 | X = x ) , ... , P( C = cm | X = x ) }

而由贝叶斯公式：

P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x) 其中，P( C = ci) 可由领域专家的经验得到,而P( X = x | C = ci) 和P( X = x) 的计算则较困难。

应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT 学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP 完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，Naive Bayes、TAN、BAN、GBN 就是其中较典型、研究较深入的贝叶斯分类器。贝叶斯网络分类器是一种典型的基于统计方法的分类模型。它以贝叶斯定理为理论基础 ,巧妙地将事件的先验概率与后验概率联系起来 ,利用先验信息和样本数据确定事件的后验概率。错误率最小的贝叶斯分类器设计思想是寻找一种划分方式，使“错判”率最小。

四、实验内容与步骤

1、基于最小错误率的贝叶斯决策

（1）理论

参考幻灯片，11-20页面

（2）例子

假设在某个局部地区细胞识别中正常(ω1)和异常(ω2)两类先验概率分别为正常状态：P (ω1)=0.9；异常状态：P (ω2)=0.1。现有一待识的细胞，其观察值为x ，从类条件概率密度分布曲线上查得p (x |ω1)=0.2，p (x |ω2)=0.4。试对该细胞x 进行分类。

解：利用贝叶斯公式，分别计算出ω1及ω2的后验概率。

P (ω2|x )=1－ P (ω1|x )=1－0.818=0.182

根据贝叶斯决策规则(2)，有

P (ω1|x ) = 0.818 > P (ω2|x ) = 0.182

所以合理的决策是把 x 归类于正常状态。

（3）程序

x = [-3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 ,

4.2532 ] disp(x)

818.01

.04.09.02.09.02.0)()|()()|()x |(21111=⨯+⨯⨯==∑=j j j P x p P x p P ωωωωω