第3章-正态分布时的统计决策

第3章 正态分布时的统计决策在统计决策理论中，涉及到类条件概率密度函数)|(i w x P 。

对许多实际的数据集，正态分布通常是合理的近似。

如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本比较少，此时用正态分布作为这一类的概率模型是合理的。

另外，正态分布概率模型有许多好的性质，有利于作数学分析。

概括起来就是： （1） 物理上的合理性 （2） 数学上的简单性下面重点讨论正态分布分布及其性质，以及正态分布下的Bayes 决策理论。

3.1 正态分布概率密度函数的定义及性质 1．单变量正态分布 定义：])(21ex p[21)(2σμσπρ--=x x（3.1-1）其中：μ为随机变量x 的期望，也就是平均值；2σ为x 的方差，σ为均方差，又称为标准差。

⎰∞∞-⋅==dx x x x E )()(ρμ （3.1-2）⎰∞∞-⋅-=dx x x )()(22ρμσ（3.1-3）概率密度函数的一般图形如下：)(x ρ具有一下性质：)(,0)(∞<<-∞≥x x ρ1)(=⎰∞∞-dx x ρ （3.1-4）从)(x ρ的图形上可以看出，只要有两个参数2σμ和就可以完全确定其曲线。

为了简单，常记)(x ρ为),(2σμN 。

若从服从正态分布的总体中随机抽取样本x ，约有95％的样本落在)2,2(σμσμ+-中。

样本的分散程度可以用σ来表示，σ越大分散程度越大。

2．多元正态分布 定义：∑---∑=-)]()(21ex p[||)2(1)(1212μμπρx x x T d（3.1-5）其中： T d x x x x ],,,[21 =为d 维随机向量，对于d 维随机向量x ，它的均值向量μ是d 维的。

也就是：T d ],,,[21μμμμ =为d 维均值向量。

∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，||∑为∑的行列式。

协方差矩阵∑是对称的，其中有2/)1(+⨯d d 个独立元素。

由于)(x ρ可由μ和∑完全确定，所以实际上)(x ρ可由2/)1(+⨯+d d d 个独立元素来确定。

T x )(μ-是)(μ-x 的转置，且：}{x E =μ}))({(T x x E μμ--=∑μ、∑分别是向量x 和矩阵T x x ))((μμ--的期望。

具体说：若i x 是x 的第i 个分量，i μ是μ的第i 个分量，2ij σ是∑的第i 、j 个元素。

⎰⎰∞∞-===i i i i i i dx x x dx x x x E )()(][ρρμ（3.1-6）其中)(i x ρ为边缘分布，⎰⎰∞∞-∞∞-=di dx dx dx x x 21)()(ρρ―――――――――――――――――――――――――――“对于二维随机变量X 和Y 作为一个整体，其分布函数F （x ，y ），而X 和Y 都是随机变量，各别也有分布函数F X (x)、F Y (y)，分别称为二维随机变量（X ，Y ）关于X 和Y 的边缘分布函数。

有：),()(+∞=x F x F X 和),()(y F y F Y +∞=。

对于离散随机变量有：∑∑≤∞==+∞=x x j ijX i p x F x F 1),()(从中得到X 的分布律为：∑∞===1}{j ij i p x X P 同样，Y的分布律为∑∞===1}{i ij j p y Y P 。

对于连续型随机变量（X ，Y ），假定它的概率密度为),(y x f ，由：dx dy y x f x F x F xX ⎰⎰∞-+∞∞-=+∞=]),([),()(知道，X 的概率密度为：⎰+∞∞-=dy y x f x f X ),()(同样也可以求出Y 的概率密度函数。

”―――――――――――――――――――――――――――――而：)])([(j 2j i i ijx x E μμσ--=]),())((j j i j i j i i dx dx x x x x ρμμ⋅--=⎰⎰∞∞-∞∞-（3.1-7）协方差矩阵：⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=∑222212222221221212211dd d d d d σσσσσσσσσ （3.1-8）是一个对称矩阵，只考虑∑为正定矩阵的情况，也就是||∑所有的子式都大于0。

即0||211≥σ，0222212212211≥σσσσ，…… 同单变量正态分布一样，多元正态分布)(x ρ可以由μ和∑完全确定，常记为),(∑μN 。

3．多元正态分布的性质（1）参数∑和μ对分布的决定性对于d 维随机向量x ，它的均值向量μ也是d 维的，协方差矩阵是对称的，其中有2/)1(+d d 个独立元素。

)(x ρ可由∑和μ完全确定，实际上)(x ρ可由2/)1(++d d d 个独立元素决定。

常记为：)(x ρ～),(∑μN 。

（2）等密度点的轨迹为一超椭球面由)(x ρ的定义公式（3.1-5）可知，当右边指数项为常数时，密度)(x ρ的值不变，所以等密度点满足：常数=-∑--)()(1μμx x T可以证明，上式的解是一个超椭球面，其主轴方向取决于∑的本征向量（特征向量），主轴的长度与相应的本征值成正比。

如下图所示：从上图可以看出，从正态分布总体中抽取的样本大部分落在由μ和∑所确定的一个区域里，这个区域的中心由均值向量μ决定，区域的大小由协方差矩阵决定。

在数理统计中，令： )()(12μμγ-∑-=-x x T式中γ称为x 到μ的马氏距离（Mahalanobis ）距离。

所以，等密度点轨迹是x 到μ的马氏距离γ为常数的超椭球面。

该超椭球面构成的球体的大小是样本对于均值向量的“离散度度量”。

体积：dd γνν⋅∑⋅=21||⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-⋅⋅=-!)!21(2)!2(2)1(2d d d d d d d ππν 如果d 确定了，则d ν不变，v 与21||∑有关。

也就是对于给定的维数d ，样本离散度随21||∑而变。

（3）不相关性等价于独立性概率论中，两个随机变量i x 和j x 之间不相关，并不意味着它们一定独立。

如果i x 和j x 之间不相关，则j i x x 的数学期望有：)()()(j i j i x E x E x x E ⋅=如果i x 和j x 相互独立，则有：)()(),(j i j i x P x P x x P ⋅=独立性是比不相关更强的条件。

不相关反映了i x 和j x 的总体性质。

如果i x 和j x 相互独立，则它们之间一定不相关，反之则不成立。

但是对服从正态分布的两个分量i x 和j x ，若i x 与j x 互不相关，则它们之间一定独立。

证明：根据定义，i x 和j x 的协方差)])([(2j j i i ijx x E μμσ--= 又根据不相关定义)()(),(j i j i x E x E x x E ⋅=有：)()()])([(2j j i i j j i i ij x E x E x x E μμμμσ-⋅-=--=又：)(i i x E =μ，0)()()()[(=-=-=-i i i i i i x E E x E x E μμμ所以：有02=ijσ d 为偶数d 为奇数协方差矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=∑2211ddσσ 成为对角阵。

可以计算出：⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=∑-221111001dd σσ∏==∑di ii 12||σ，∏==∑di ii121||σ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡--=-∑⋅--d d dd d d x x x x x T x μμσσμμμμ 1122111111001],,[)()(21)(∑=-=di iiii x σμ因此，∑---∑=-)]()(21ex p[||)2(1)(1212μμπρx x x T d∏∏===⎭⎬⎫⎩⎨⎧--⋅=di i ii i i di iix x 121)()(21ex p 21ρσμσπ根据独立性的定义：正态分布随机向量的各分量间互不相关性与相互独立等价。

（4）边缘分布与条件分布的等价性不难证明正态随机向量的边缘分布与条件分布仍服从正态分布。

从（3）证明得出的结论)(x ρ表达式，如果x 用1x 表示，有：))(21exp(21)(211111σμσπρ--⋅=x x ii也就是说，边缘分布)(1x ρ服从均值为1μ，方差为211σ的正态分布：),(~)(21111σμρN x同理，),(~)(22222σμρN x另外，条件分布，给定1x 的条件下2x 的分布：)(),()|(12112x x x x x ρρρ=[]⎭⎬⎫⎩⎨⎧----+-∑-∑=))(()()(||21exp ||21),(22112122222112112222121μμσμσμσπρx x x x x x 代入上式，)|(12x x ρ服从正态分布，同理)|(21x x ρ也服从正态分布。

（5）线性变换的正态性对于多元随机向量的线性变换，仍为多元正态分布的随机向量。

就是：x 服从正态分布),(~)(∑μρN x ，对x 作线性变换Ax y =，其中A 为线性变换矩阵，且0||≠A ，则y 服从正态分布：),(~)(T A A A N y ∑μρ（6）线性组合的正态性若x 为多元正态随机向量，则线性组合x a y T =是一维的正态随机变量：),(~)(a a a N y T T ∑μρ其中，a 与x 同维。

3.2 正态分布中的Bayes 分类方法在上一章，我们已经把基于Bayes 公式的几种分类判决规则抽象为相应的判决函数和决策面方程。

这几种方法中Bayes 最小错误率判决规则是一种最基本的方法。

如果取0－1损失函数，最小风险判决规则和最大似然比判决规则均与最小错误判决规则等价。

为了方便，我们以最小错误判决规则为例来研究Bayes 分类方法在正态分布中的应用。

由最小错误率判决规则抽象出来的判决函数如下：)()|()(i i i w P w x x g ⋅=ρc i ,,2,1 =如果类概率密度是正态分布的，则)|(i w x ρ～),(i i N ∑μ。

∑---∑=-)]()(21exp[||)2()()(1212i i Ti i d i i x x w P x g μμπ 由于对数函数是一个单调变化的函数，上式右边取对数后作为判决函数使用不会改变类型区域的划分。

因此：)(ln ||ln 212ln 2)()(21)(1i i i i T i i w P d x x x g +∑-----=∑-πμμ其中，π2ln 2d 与类型无关，所有函数皆加上此项后，并不影响区域的划分，可以去掉。

下面对几种特殊情况进行讨论。

1．情况一：I i2σ=∑，c i ,,2,1 =该情况下，每类的协方差矩阵相等，而且类的各特征间相互独立（由上节的性质③得知），具有相等的方差2σ。