贝叶斯决策理论与统计判别方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a projection P onto a line defined by vector a—leads to N(μ, σ2) measured along that line A whitening transform, Aw , leads to a circularly symmetric Gaussian
三维下的决策面方程
正态分布概率模型下的最小错误率 贝叶斯决策
线性分类器总结 在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差 矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实 现。 而最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率 相等。
正态分布概率模型下的最小错误率 贝叶斯决策
模式识别
徐蔚然 北京邮电大学信息工程学院
本节和前节的关系
上节: 基本概念 阶段性的总结
本节: 概念具体化 结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器 的种种情况
本节重点
什么叫正态分布 高斯分布的表达式 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布
i=1,…，c i=1,…，c i,j=1,…，c
正态分布概率模型下的最小错误 率贝叶斯决策
(1)Σi=σ2I
i=1,…，c
2 0
每个i 类的协方 差矩阵都相等
类内各特征间相互独立 2
0 各特征具有相同的方差σ2
正态分布概率模型下的最小错误率 贝叶斯决策
(1)Σi=σ2I
多元正态分布的边缘分布和条件分布仍然是正态分布
(6)线性变换的正态性
这是指多元正态分布的随机向量的线性变换仍然是多 元正态分布的随机向量
(7)线性组合的正态性
这是指多元正态分布的随机向量，在经过线性组合后 得到的一维随机变量也是正态分布的。
A, takes the source distribution into distribution N(At,AtA)
多元正态分布
多元正态分布
μ是X的均值向量，也是d维， μ＝E{X}＝[μ1，μ2，…，μd]T
Σ是d×d维协方差矩阵
Σ－1是Σ的逆矩阵 |Σ|是Σ的行列式
Σ＝E{(X－μ)(X－μ) T}
Σ是非负矩阵，在此我们只考虑正定阵，即|Σ|＞0。
多元正态分布
讨论二元正态分布 二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布 不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系
单变量正态分布
单变量正态分布 思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后 验概率P(ωi|X)？ 不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。
单变量正态分布
单变量正态分布具体化
其中ωi, σi分别是对ω及σ的具体化。
i=1,…，c
再分两种情况
先验概率P(ωi)与P(ωj)不相等 先验概率P(ωi)与P(ωj)相等
正态分布概率模型下的最小错误率 贝叶斯决策
(1.1)Σi=σ2I
P(ωi)P(ωj)
原判别函数:
判别函数可简化为
由于二项XTX与类别号i无关,可进一步简化:
判别函数为一线性函数
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
(3)ΣiΣj
i,j=1,…，c
最一般的情况
原判别函数
判别函数的化简
进一步整理得
正态分布概率模型下的最小错误率 贝叶斯决策
判别面方程，根据gi(X)－gj(X)＝0有
在一情况下决策面为二次超曲面 随着Σi及P(ωi)的不同而呈现不同形式的超二次曲面 如超球面、超椭球面、超抛物面、超双曲面，也可能是超平面
各 类 协 方 差 矩 阵 不 相 等 的 情 况
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
最小距离分类器与线性分类器
两者都是线性分类器 最小距离分类器是线性分类器的一个特例 最小距离分类器在正态分布情况下，是按超球体分布
以及先验概率相等的前提下，才体现最小错误率的 只有在一定条件下，最小距离分类器同时又是最小错
误率分类器 最小距离分类器的概念是分类器中是最常用的，因为
它体现了基于最相似性的原则，即被分类事物与哪一 种作为标准的事物相像，就判为该类这一原则
二维向量的协方差矩阵
多元正态分布
协方差矩阵 协方差矩阵并不只对正态分布有用 特性: 协方差矩阵是一个对称矩阵 特性: 协方差矩是正定的
多元正态分布的性质
(1)参数μ与Σ对分布具有决定性
与单变量相似，记作p(X)～N(μ，Σ)
(2)等密度点分布在超椭球面上
(x－μ)ＴΣ－１(x－μ)＝常数 二维时表示一个椭圆，在三维表示椭球，在高维
The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distribution.
正态分布概率模型下的最小错误率 贝叶斯决策
(4)不相关性等价于独立性
两个随机变量不相关: E[xixj]＝E[xi]·E[xj]
两个随机变量统计独立: p(xixj)＝p(xi)p(xj)
两个随机变量不相关，不意味着它们一定独立 相互独立的随机变量，它们之间是不相关的 正态分布中不相关性等价于独立性
多元正态分布的性质
(5)边缘分布和条件分布的正态性
最小距离分类器的定义 每个样本以它到每类样本均值的欧氏距离的最小值确定其分类，即 如果 则X∈ωi
正态分布概率模型下的最小错误率 贝叶斯决策
最小欧氏距离是决定分类的准则
正态分布概率模型下的最小错误率 贝叶斯决策
(2)Σi=Σ 也是一种比较简单的情况 各类协方差矩阵都相等 从几何上看各类别样本集中于以该类均值为中心的同样大小和形状的超 椭球内
P(ωi)=P(ωj)时决策面方程
WT(X－X1)＝0
W＝μi-μj W＝μi-μj
正态分布概率模型下的最小错误率 贝叶斯决策
一维特征
正态分布概率模型下的最小错误率 贝叶斯决策
二维特征
正态分布概率模型下的最小错误率 贝叶斯决策
三维特征
正态分布概率模型下的最小错误率 贝叶斯决策
在Σi=σ2I P(ωi)=P(ωj)条件下，正态分布概率模型下的最小错误率贝 叶斯决策等价于最小距离分类器
Fra Baidu bibliotek
正态分布时的统计决策
研究正态分布的原因 数学上比较简单 物理上的合理性
单变量正态分布
单变量正态分布 单变量正态分布概率密度函数定义为
μ表示随机变量x的数学期望
σ2为其方差，而σ则称为标准差。
A univariate normal distribution has roughly 95% of its area in the range |x − μ| ≤ 2σ, as shown. The peak of the distribution has value p(μ) = 1/√2πσ.
正态分布概率模型下的最小错误率 贝叶斯决策
在二维特征空间的情况
正态分布概率模型下的最小错误率 贝叶斯决策
原判别函数:
判别函数可简化为
如果c类先验概率都相等，可进一步简化为
r2就是Mahalanobis距离
正态分布概率模型下的最小错误率 贝叶斯决策
原判别函数:
判别函数可简化为
判别函数为一线性函数
打开乘积，去掉与i无关的项(二次项),只剩下一次项和常数项
正态分布概率模型下的最小错误率 贝叶斯决策
决策面方程 gi(X)－gj(X)＝0
在这里
正态分布概率模型下的最小错误率 贝叶斯决策
二维下的决策面方程
正态分布概率模型下的最小错误率 贝叶斯决策
二维下的决策面方程
正态分布概率模型下的最小错误率 贝叶斯决策
Samples drawn from a two-dimensional Gaussian lie in a cloud centered on the mean . The ellipses show lines of equal probability density of the Gaussian.
是表示超椭球 (X-μ)ＴΣ －１(X-μ)称为向量X到向量μ的Mahalanobis
距离的平方，即
r2＝(x－μ)ＴΣ －１(x－μ)
可将mahalanolbis距离与欧氏距离作比较
前者是一个椭圆，而后者则是圆
多元正态分布的性质
(3)多元正态分布的离散程度由参数|Σ|１／２决定
与单变量时由标准差σ决定是对应一致的
两个二元正态分布的各个分量相同,(即期望(μ1和μ2)方差σ1 和σ2都相同),但这两个特征向量在空间的分布却不相同
多元正态分布
协方差矩阵 用E[(x2-μ2)](x1-μ1)] 来衡量相关性，称为协方差,用符号Σ表示 协方差越大，说明两个变量的相关度越高 非对角元素正表示了两个分量之间的相关性 主对角元素则是各分量本身的方差
决策面方程
通用表达式: 这里
gi(X)－gj(X)＝0
整理，可得: WT(X－X0)＝0
W＝μi-μj
正态分布概率模型下的最小错误率 贝叶斯决策
决策面性质 决策面为一超平面 其法线方向为(μi－μj) 当P(ωi)≠P(ωj)时，该超平面的位置要向远离先验概率大的方向偏， 偏离的程度和先验概率比值有关，但超平面方向不变。
最小错误率决策规则
如果
因此则判X别∈ω函i 数为
是多元正态分布，
判别函数采用对数形式:
正态分布概率模型下的最小错误率 贝叶斯决策
而相应的决策面方程为:
正态分布概率模型下的最小错误率 贝叶斯决策
不同情况下决策面的特点
参数: 协方差矩阵和先验概率
这里我们讨论三种情况。
(1)Σi=σ2I (2)Σi=Σ (3)ΣiΣj
正态分布概率模型下的最小错误率 贝叶斯决策
一维特征
正态分布概率模型下的最小错误率 贝叶斯决策
二维特征
正态分布概率模型下的最小错误率 贝叶斯决策
三维特征
正态分布概率模型下的最小错误率 贝叶斯决策
(1.2)Σi=σ2I
P(ωi)=P(ωj)
P(ωi)P(ωj)时决策面方程
WT(X－X0)＝0
三维下的决策面方程
正态分布概率模型下的最小错误率 贝叶斯决策
线性分类器总结 在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差 矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实 现。 而最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率 相等。
正态分布概率模型下的最小错误率 贝叶斯决策
模式识别
徐蔚然 北京邮电大学信息工程学院
本节和前节的关系
上节: 基本概念 阶段性的总结
本节: 概念具体化 结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器 的种种情况
本节重点
什么叫正态分布 高斯分布的表达式 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布
i=1,…，c i=1,…，c i,j=1,…，c
正态分布概率模型下的最小错误 率贝叶斯决策
(1)Σi=σ2I
i=1,…，c
2 0
每个i 类的协方 差矩阵都相等
类内各特征间相互独立 2
0 各特征具有相同的方差σ2
正态分布概率模型下的最小错误率 贝叶斯决策
(1)Σi=σ2I
多元正态分布的边缘分布和条件分布仍然是正态分布
(6)线性变换的正态性
这是指多元正态分布的随机向量的线性变换仍然是多 元正态分布的随机向量
(7)线性组合的正态性
这是指多元正态分布的随机向量，在经过线性组合后 得到的一维随机变量也是正态分布的。
A, takes the source distribution into distribution N(At,AtA)
多元正态分布
多元正态分布
μ是X的均值向量，也是d维， μ＝E{X}＝[μ1，μ2，…，μd]T
Σ是d×d维协方差矩阵
Σ－1是Σ的逆矩阵 |Σ|是Σ的行列式
Σ＝E{(X－μ)(X－μ) T}
Σ是非负矩阵，在此我们只考虑正定阵，即|Σ|＞0。
多元正态分布
讨论二元正态分布 二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布 不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系
单变量正态分布
单变量正态分布 思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后 验概率P(ωi|X)？ 不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。
单变量正态分布
单变量正态分布具体化
其中ωi, σi分别是对ω及σ的具体化。
i=1,…，c
再分两种情况
先验概率P(ωi)与P(ωj)不相等 先验概率P(ωi)与P(ωj)相等
正态分布概率模型下的最小错误率 贝叶斯决策
(1.1)Σi=σ2I
P(ωi)P(ωj)
原判别函数:
判别函数可简化为
由于二项XTX与类别号i无关,可进一步简化:
判别函数为一线性函数
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
(3)ΣiΣj
i,j=1,…，c
最一般的情况
原判别函数
判别函数的化简
进一步整理得
正态分布概率模型下的最小错误率 贝叶斯决策
判别面方程，根据gi(X)－gj(X)＝0有
在一情况下决策面为二次超曲面 随着Σi及P(ωi)的不同而呈现不同形式的超二次曲面 如超球面、超椭球面、超抛物面、超双曲面，也可能是超平面
各 类 协 方 差 矩 阵 不 相 等 的 情 况
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
正态分布概率模型下的最小错误率 贝叶斯决策
最小距离分类器与线性分类器
两者都是线性分类器 最小距离分类器是线性分类器的一个特例 最小距离分类器在正态分布情况下，是按超球体分布
以及先验概率相等的前提下，才体现最小错误率的 只有在一定条件下，最小距离分类器同时又是最小错
误率分类器 最小距离分类器的概念是分类器中是最常用的，因为
它体现了基于最相似性的原则，即被分类事物与哪一 种作为标准的事物相像，就判为该类这一原则
二维向量的协方差矩阵
多元正态分布
协方差矩阵 协方差矩阵并不只对正态分布有用 特性: 协方差矩阵是一个对称矩阵 特性: 协方差矩是正定的
多元正态分布的性质
(1)参数μ与Σ对分布具有决定性
与单变量相似，记作p(X)～N(μ，Σ)
(2)等密度点分布在超椭球面上
(x－μ)ＴΣ－１(x－μ)＝常数 二维时表示一个椭圆，在三维表示椭球，在高维
The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distribution.
正态分布概率模型下的最小错误率 贝叶斯决策
(4)不相关性等价于独立性
两个随机变量不相关: E[xixj]＝E[xi]·E[xj]
两个随机变量统计独立: p(xixj)＝p(xi)p(xj)
两个随机变量不相关，不意味着它们一定独立 相互独立的随机变量，它们之间是不相关的 正态分布中不相关性等价于独立性
多元正态分布的性质
(5)边缘分布和条件分布的正态性
最小距离分类器的定义 每个样本以它到每类样本均值的欧氏距离的最小值确定其分类，即 如果 则X∈ωi
正态分布概率模型下的最小错误率 贝叶斯决策
最小欧氏距离是决定分类的准则
正态分布概率模型下的最小错误率 贝叶斯决策
(2)Σi=Σ 也是一种比较简单的情况 各类协方差矩阵都相等 从几何上看各类别样本集中于以该类均值为中心的同样大小和形状的超 椭球内
P(ωi)=P(ωj)时决策面方程
WT(X－X1)＝0
W＝μi-μj W＝μi-μj
正态分布概率模型下的最小错误率 贝叶斯决策
一维特征
正态分布概率模型下的最小错误率 贝叶斯决策
二维特征
正态分布概率模型下的最小错误率 贝叶斯决策
三维特征
正态分布概率模型下的最小错误率 贝叶斯决策
在Σi=σ2I P(ωi)=P(ωj)条件下，正态分布概率模型下的最小错误率贝 叶斯决策等价于最小距离分类器
Fra Baidu bibliotek
正态分布时的统计决策
研究正态分布的原因 数学上比较简单 物理上的合理性
单变量正态分布
单变量正态分布 单变量正态分布概率密度函数定义为
μ表示随机变量x的数学期望
σ2为其方差，而σ则称为标准差。
A univariate normal distribution has roughly 95% of its area in the range |x − μ| ≤ 2σ, as shown. The peak of the distribution has value p(μ) = 1/√2πσ.
正态分布概率模型下的最小错误率 贝叶斯决策
在二维特征空间的情况
正态分布概率模型下的最小错误率 贝叶斯决策
原判别函数:
判别函数可简化为
如果c类先验概率都相等，可进一步简化为
r2就是Mahalanobis距离
正态分布概率模型下的最小错误率 贝叶斯决策
原判别函数:
判别函数可简化为
判别函数为一线性函数
打开乘积，去掉与i无关的项(二次项),只剩下一次项和常数项
正态分布概率模型下的最小错误率 贝叶斯决策
决策面方程 gi(X)－gj(X)＝0
在这里
正态分布概率模型下的最小错误率 贝叶斯决策
二维下的决策面方程
正态分布概率模型下的最小错误率 贝叶斯决策
二维下的决策面方程
正态分布概率模型下的最小错误率 贝叶斯决策
Samples drawn from a two-dimensional Gaussian lie in a cloud centered on the mean . The ellipses show lines of equal probability density of the Gaussian.
是表示超椭球 (X-μ)ＴΣ －１(X-μ)称为向量X到向量μ的Mahalanobis
距离的平方，即
r2＝(x－μ)ＴΣ －１(x－μ)
可将mahalanolbis距离与欧氏距离作比较
前者是一个椭圆，而后者则是圆
多元正态分布的性质
(3)多元正态分布的离散程度由参数|Σ|１／２决定
与单变量时由标准差σ决定是对应一致的
两个二元正态分布的各个分量相同,(即期望(μ1和μ2)方差σ1 和σ2都相同),但这两个特征向量在空间的分布却不相同
多元正态分布
协方差矩阵 用E[(x2-μ2)](x1-μ1)] 来衡量相关性，称为协方差,用符号Σ表示 协方差越大，说明两个变量的相关度越高 非对角元素正表示了两个分量之间的相关性 主对角元素则是各分量本身的方差
决策面方程
通用表达式: 这里
gi(X)－gj(X)＝0
整理，可得: WT(X－X0)＝0
W＝μi-μj
正态分布概率模型下的最小错误率 贝叶斯决策
决策面性质 决策面为一超平面 其法线方向为(μi－μj) 当P(ωi)≠P(ωj)时，该超平面的位置要向远离先验概率大的方向偏， 偏离的程度和先验概率比值有关，但超平面方向不变。
最小错误率决策规则
如果
因此则判X别∈ω函i 数为
是多元正态分布，
判别函数采用对数形式:
正态分布概率模型下的最小错误率 贝叶斯决策
而相应的决策面方程为:
正态分布概率模型下的最小错误率 贝叶斯决策
不同情况下决策面的特点
参数: 协方差矩阵和先验概率
这里我们讨论三种情况。
(1)Σi=σ2I (2)Σi=Σ (3)ΣiΣj
正态分布概率模型下的最小错误率 贝叶斯决策
一维特征
正态分布概率模型下的最小错误率 贝叶斯决策
二维特征
正态分布概率模型下的最小错误率 贝叶斯决策
三维特征
正态分布概率模型下的最小错误率 贝叶斯决策
(1.2)Σi=σ2I
P(ωi)=P(ωj)
P(ωi)P(ωj)时决策面方程
WT(X－X0)＝0