多元正态分布

的联合概率密度为
f (x1,...,xp )
1
exp{ 1 (x )1(x )}
(2 ) p 1/ 2
2
其中，x和μ都是p维向量，Σ是p阶正定阵，则称
随机向量X ( X 1 , X 2 ,..., X p ) 服从p元正态分布，
或称p维正态随机向量，简记为X～N p（μ，Σ）
第2章 多元正态分布 及其参数估计
本章内容概述
本章是多元分析的理论基础部分，是必 不可少的内容。
主要从复习一元的概率统计入手，进而 介绍多元统计的基本概念，特别是以多 元正态分布为重点，学习相关概念及其 表示，然后是多元正态分布的参数估计。
最后介绍维希特（Wishart）分布
主要内容包括：
§2.1 一元（概率）分布简要复习 §2.2 多元（概率）分布基本概念 §2.3 多元正态分布定义及其性质 §2.4 多元统计中的基本概念 §2.5 多元正态分布的参数估计
对任意实数x1
,...,x
都成立
p
... f (t1,...,t p )dt1...dtp 1
25
3.p元随机向量的数字特征
随机向量的数字特征主要有均值向量和协方差矩阵。
1.均值向量就是每一个分量的均值（或叫期望）所组成 的常数向量。用数学符号表示如下：
设p元随机向量为 且每个分量的期望
F (x1,..., x p ) ... f (t1,...,t p )dt1...dt p
对任意的
(x1, x2 ,...,xp ) R p
都成立，则称p元函数f(·)为p元随机
向量的概率密度函数，并称随机向量
为连续型的。 24
联合概率密度函数的基本性质
两条性质是：
f (x1,...,xp ) 0,
P(X ak ) pk , k 1,2,....
第二种是用表格的形式表示：
X a1 , a2 ,...,an P p1 , p2 ,..., pn
6
这两种表达形式揭示出了离散性随机变量 概率分布的实质，即它们都表达出了两层 含义：
一是随机变量的所有取值是哪些？ 二是随机变量取每一个值的概率有多大？
P13。
29
综上，可以对一元与多元在概率分布、数字特 征等方面进行简单的对比学习，这样容易清楚 二者的区别与联系。
请仔细阅读指导书上的第一部分内容中的两张 对比的比较表．
30
一个简单对比
一元分布情形 多元分布情形
概率分 布
数字特 征
名称
随机变量
p元随机向量
分布名 称
期望
概率分布 均值是数μ
方差 方差是一个非负数 σ2
欣慰的是，同学们已经学过二元随机向量 的相关知识，只要将维度扩展到更高元 （或维度）就可以理解了．
17
P元（维）随机向量的定义
设
X 1 , X 2 ,..., X p 为p个随
机变量，将它们合在一起组成的一
个整体的向量
X ( X 1, X 2 ,..., X p )
称作p元随机向量。
注意：X是列向量，所以横着写时需 要转置一下。
3
1. 一元随机变量的概率分布 （简称一元分布）
众所周知，一元统计分析是多元统计分析的 基础，尤其是一元正态分布自然是多元正态 分布的基础，它在统计学的理论和实际应用 方面都有着重要的地位。
在一元统计分布中，经常会用到随机变量X 的概念及其概率分布问题。
4
（1）随机变量的定义：对于每一个随机结果都对 应着某个变量的一个数值，这种对应就是一个函数， 用随机变量来表示。
18
2.联合分布函数与密度函数
与一元随机变量一样，也可将随机向量分为离散性和 连续型两类，但是在表达其概率分布时，就非常不方 便了（因为当它是离散型时，需要用多维表格表示概 率分布，但超过两维时就不容易表示了），这时我们 就必须借助于分布函数来刻画它的概率分布。这就充 分体现出分布函数在表达联合概率分布时的优势。
F (x1, x2 ,..., x p ) P( X1 x1,..., X p x p )
该定义与一元分布函数的定义是类似的，只是 改变为多元函数而已
23
联合密度函数的定义
对于多元连续型随机向量来说，其概 率分布也可以用密度函数来描述。
若存在一个非负的p元函数f(·)，满
足
x1 x p
R.V.特点： a.取值的随机性 ，即事先不能确定其取哪一个值； b.取值的统计规律性，即完全可以确定x 取某个值或
在某个区间内取值的概率。
5
（2）R.V.的分类：主要分为离散型和连续型 下面介绍最重要的随机变量概率分布的含义 （3）R.V.概率分布的定义：对于离散型随机 变量x，其概率分布有两种表达形式：一种是 用公式表示：
26
P元随机向量的协方差阵
注意：一元随机变量与多元随机向量在第二个数字 特征方面的表示有很大不同，其原因是在多元情形 中还要体现出分量之间的相关关系。
一元的称为方差，而多元的改称为协方差阵。详见 教材P13和指导书上的比较表.
以二元的为例，就会出现两个分量之间的协方差的 概念。
27
二元随机向量协方差阵的定义
可以证明：其期望（也叫均值）正好是参数μ，
方差正好是 ，它2 是一非负数 。
13
有时候，仅仅用一个随机变量来描述随机现象就 不够了，需要用多个随机变量来共同描述的随机 现象和问题，而且这些随机变量间又有联系，所 以必须要将它们看做一个整体来研究（即不能一 个一个地单独研究多个一元随机变量），这就出 现了多元随机向量的问题和概念．
(2)对于多元正态分布，已经有一套统计推断方法， 并且得到了许多完整的结果。
•多元正态分布是最常用的一种多元概率分布，下 一节就是多元正态分布的定义。
32
§2.3 多元正态分布定义及基本性质
在多元分布中，最常见也是最重要的分布就是正
态分布。
定义：若 p 维随机向量 X ( X 1 , X 2 ,..., X p )
联合概率分布
均值向量量是向
协方差矩阵Σ
31
•多元正态分布在多元统计分析中的重要地位，就 如同一元统计分析中一元正态分布所占重要地位 一样，多元统计分析中的许多重要理论和方法都 是直接或间接建立在正态分布的基础上。
•原因是: (1)许多实际问题研究中的随机向量确 实遵从正态分布，或者近似遵从正态分布；
对于多元的随机向量，就对应地需要用联合分布函数 来刻画其概率分布。
19
复习：二元随机向量的联合分布函数
定义: 设(X,Y)为二维随机变量,对任意实数 x,y,二
元函数 F(x, y) P(X x,Y y)
称为二维随机变量(X,Y)的联合分布函数.
如果把(x,y)看成是平面上随机点的坐标,则联合分布函数 F(x, y) 在点(x,y)处的函数值就是随机点(X,Y)落在平面上的 矩形区域 G {(X ,Y ) | X x, Y y}的概率.
连续型
正态分布（下面将复习一元正态分布）
12
5.一元正态分布（Normal distribution）的定义
若某个随机变量X 的密度函数是
f (x)
1
2
2
exp{ 1 2
(x )2 2 },
x (,)
则称X服从一元正态分布，也称X是一元正态随 机变量（其中有两个参数）。
记为 X ～ N (。, 2 )
因而多元随机向量可看作是一元随机变量的推广 而一个随机变量可看作是特殊的一元随机向量．
14
§2.2 多元（概率）分布基本概念
1.二元随机向量的例子
由于我们的研究对象涉及的是多个变量的总体，所 以要用若干个随机变量合在一起看作一个整体，共 同用这个整体来描述随机现象。
•比如，要考察一射击手向一平面靶子射击的水平， 那么，子弹在靶子上的着点位置是随机的，这个平 面上的随机点需要用两个随机变量（即横向的X与纵 向的Y）共同来描述，于是(X,Y)就构成了二元（维） 的随机向量。
§2.6 维希特（Wishart）分布定义及性质
2
§2.1 一元（概率）分布简要复习
内容概览 1.一元随机变量R.V.的概率分布 (1)随机变量(R.V.)的定义、类型 (2)随机变量的概率分布(P.D.)定义、分类 (3)另一种描述概率分布的表达方式——分布函数F(x) 2.一元随机变量R.V.的数字特征——期望与方差 3.期望与方差的性质 4.一元中重要的常见分布 5.一元正态分布的定义
20
二元联合分布函数的几何意义演示图:
F（x,y）=
Y
P(X≤x,Y≤y) ，
y
(x,y)
{ X≤x , Y≤yy } x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
21
对于p元的随机向量来说，就对应地需要 用联合分布函数来刻画其概率分布。
22
联合分布函数的定义：
设 X ( X 1, X 2 ,..., X p ) 是一随机向量， 它的联合分布函数定义为
X ( X 1, X 2 ,..., X p )
，
为
E( X i ) i , i 1,..., p ，则将新向量：
E( X ) (E( X1 ), E( X 2 ),..., E( X p ))
定义为该随机向量的期望，也叫均值向量．
而一元随机变量的第一个数字特征名称却称为均值或期 望．请注意一元与多元在对应概念上的称呼的区别．
Baidu Nhomakorabea 以此可以类推到P元随机向量的协差阵的定义。
28
p元随机向量协方差阵的定义
一个P元随机向量 X ( X 1 , X 2 ,..., 自X 己p )
的方差或协差阵的定义，可用D(X)或Σ表示。
两个p元随机向量 X ( X 1 , X 2 ,..., X p ) 与 Y (Y1 ,Y2 ,..., Yp ) 的协差阵的定义。参见教材
15
射击后的子弹着落点的位置 是随机的
这个点的位置要用两个 随机变量X与Y共同描 述才能确定，即用（X， Y）数组的取值来确定 这个点的位置。
Y
X
·A
这就是二元随机向量。
16
将二元随机向量（虽然有些教材上仍然采 用二元随机变量的叫法，但我认为，用 “向量”二字更能体现出多元的特点）完 全可以推广到三元甚至更多，于是就产生 了多元随机向量问题．
•（4）随机变量X的概率分布函数（简称分布分布） 定义为如下一个普通的函数：
F(a) P(X a)
它全面地描述了随机变量x的统计规律性。也就是说， 用分布函数来研究两类随机变量更加方便，至少不 用分开类型来分别说了，可以将二者统一用分布函 数来研究，即只要知道了某个随机变量的分布函数 也就知道了其概率分布，还有表达简洁的优势。正 因为它有这样的优点，很多随机问题都用分布函数
9
2 随机变量的数字特征——数学 期望和方差
对于离散型随机变量x, 其数学期望（或称 为均值）和方差分别定义为
E(x) ak pk k 1
2 V (x) E( x ) 2 (ak ) 2 pk
对于连续型随机变量x，其k期1 望和方差分别 定义为
E(x) xf (x)dx
7
• 对于连续型型随机变量x来说，其概率分布往 往用所谓的概率密度函数f(x)来描述，
概率密度函数 f (x) 满足： （1）f (x) 0,
（2） f (t)dt 1 这两条性质
8
•为了统一研究这两类，也可以用分布函数来描述随 机变量的概率分布，这一点将在后面的多元情形中 看得更加清楚，也更加有必要用分布函数来刻画概 率分布。
假设二元随机向量为Z=(X,Y),定义其协差阵 为2×2的一个方阵，其4个元素是两两分量之 间的协方差数，用符号Σ表示，即
cov(x, x) cov(y, x)
cov(x, cov(y,
y) y)
11 21
12
22
称此2阶矩阵为Z=(x,Y)协方差矩阵。其中对 角线上的两个数就是分量各自的方差。
2 V (x) E(x )2 (x )2 f (x)dx 10
3 数学期望和方差的性质
(1)期望的性质：
E(k)=k，即常数的期望等于其自身。 E(kX)=kE(X)，即数乘的期望可以直接将该数提
出来 E(X1+X2+…+Xn)=E(X1)+E(X2)+…+E(Xn)
(2)方差的性质：
V(k)=0，即常数的方差为0； V(kX)=k2·V(X)，即数乘的方差等于将常数平方
后再乘以原来的X的方差。 设n个随机变量相互独立，则有 V(X1+ X2 +…+ Xn)= V(X1)+V(X2)+…+V(Xn)
11
4 一些重要和常见的一元分布
两点分布 二项分布 泊松分布
离散型
均匀分布 指数分布