贝叶斯决策理论-模式识别课程作业

研究生课程作业
贝叶斯决策理论
课程名称模式识别
姓名xx
学号xxxxxxxxx
专业软件工程
任课教师xxxx
提交时间2019.xxx
课程论文提交时间：2019 年3月19 日
需附上习题题目
1. 试简述先验概率，类条件概率密度函数和后验概率等概念间的关系：
先验概率
针对M 个事件出现的可能性而言，不考虑其他任何条件
类条件概率密度函数
是指在已知某类别的特征空间中，出现特
征值X 的概率密度，指第 类样品其属性X 是如何分布的。

后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。

贝叶斯公式可以计算出该样品分属各类别的概率，叫做后验概率；看X 属于那个类的可能性最大，就把X 归于可能性最大的那个类，后验概率作为识别对象归属的依据。

贝叶斯公式为
类别的状态是一个随机变量．而某种状态出现的概率是可以估计的。

贝叶斯公式体现了先验概率、类条件概率密度函数、后验概率三者关系的式子。

2. 试写出利用先验概率和分布密度函数计算后验概率的公式
3. 写出最小错误率和最小风险决策规则相应的判别函数（两类问题）。

最小错误率
如果12(|)(|)P x P x ωω>，则x 属于1ω 如果12(|)(|)P x P x ωω<，则x 属于2ω 最小风险决策规则 If
12(|)
(|)
P x P x ωλω< then 1x ω∈
If
12(|)
(|)
P x P x ωλω> then 2x ω∈
4. 分别写出以下两种情况下，最小错误率贝叶斯决策规则： （1）两类情况，且12(|)(|)P X P X ωω= （2）两类情况，且12()()P P ωω=
最小错误率贝叶斯决策规则为：
If 1...,(|)()max (|)i i j j c
p x P P x ωωω==, then i x ω∈
两类情况：
若1122(|)()(|)()p X P p X P ωωωω>,则1X ω∈ 若1122(|)()(|)()p X P p X P ωωωω<,则2X ω∈
(1) 12(|)(|)P X P X ωω=, 若12()()P P ωω>，则1X ω∈
若12()()P P ωω<，则2X ω∈
(2) 12()()P P ωω=,若12(|)(|)p X p X ωω>,则1X ω∈
若12(|)(|)p X p X ωω<,则2X ω∈
5. 对两类问题，证明最小风险贝叶斯决策规则可表示为， 若
112222221111(|)()()
(|)()()
P x P P x P ωλλωωλλω->-
则1x ω∈，反之则2x ω∈ 计算条件风险
2
111111221(|)(|)(|)(|)j j j R x p x P x P x αλωλωλω===+∑
2
222112221
(|)(|)(|)(|)j j j R x p x P x P x αλωλωλω===+∑
如果 111122(|)(|)P x P x λωλω+<211222(|)(|)P x P x λωλω+ 2111112222()(|)()(|)P x P x λλωλλω->-
211111122222()()(|)()()(|)P p x P p x λλωωλλωω->-
112222221111(|)()()
(|)()()
P x P P x P ωλλωωλλω->-
所以，如果
112222221111(|)()()
(|)()()
P x P P x P ωλλωωλλω->- ，则1x ω∈，反之则2x ω∈
6. 表示模式的特征向量d x R ∈，对一个c 类分类问题，假设各类先验概率相等，每一类条件概率密度为高斯分布。

（1）请写出类条件概率密度函数的数学形式；（2）请写出在下面两种情况下的最小错误率决策判别函数：(a)类协方差矩阵不等; (b)所有类协方差矩阵相等。

（1）类条件概率密度函数的数学形式 (|)(,)i i i p N ω∑x μ
121211(|)exp(()())(2)||2
T
i d i
i p ωπ-=
---∑∑x x μx μ 12(,,....,)T d x x x =x
12()(,,....,),()T d i i E E x μμμμ===μx
2
*{()()}()T ij d d i E σ=--=∑x μx μ 2[()()]ij i i j j E x x σμμ=--=
（2）类协方差矩阵不等
111
g ()()()ln ||ln ()22
T i i i i i i x P ω-=----+∑∑x μx μ
=0T T i i i W ω++x x w x 所有类协方差矩阵相等
1
1g ()()()ln ()2
T i i i i P ω-=---+∑x x μx μ
当()()i j P P ωω=时 1
2g ()()()T i i i γ-==--∑x x μx μ
7.假设在某个地区的疾病普查中，正常细胞1ω和异常细胞2ω的先验概率分别为1()P ω=0.9
2()P ω=0.1现有一待识别细胞，
其观察值为X ，从类概率密度分布曲线上查得1(|)p X ω=0.2
2(|)p X ω=0.4，除已知的数据外，若损失函数的值分别为110L =，126L =，211L =，220L =，试用最小风险贝叶斯决策规则对细胞进行分
类。

后验概率：
1112
1
(|)()
(|)(|)()
j
j
j p X P p x P X P ωωωωω==
∑=0.818 2222
1
(|)()
(|)(|)()
j
j j p X P p x P X P ωωωω
ω==
∑=0.182
计算风险
2
111111221(|)(|)(|)(|)j j j R x L p x L P x L P x αωωω===+∑=1.092
2222112221
(|)(|)(|)(|)j j j R x L p x L P x L P x αωωω===+∑=0.818
决策
1,2,...arg min (|)i i a
R x αα===2 2x ω∈
8 贝叶斯决策程序设计题
BayesTest.java 中的包括读取样本数据，将数据存入Array List中，算样本的两种结果的概率，以及测试样本属于哪一类的概率
JavaBean对样本的属性设置设置get和set函数。