第二章应用多元统计分析PPT

2020 年 4 月 13 日
.
10 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
4. 独立性 设 X1, · · · , Xp 是 p 个随机变量, Xi 的分布函数记为
华 Fi(xi)(i = 1, · · · , p); F (x1, · · · , xp)′ 的联合分布函数. 若对一切实数 北 x1, · · · , xp,
随机向量
随机向量的联合分布、边缘分布、条件分布
X(2) 的边缘分布为
∫∞ ∫∞
华 f2(x(2)) = f2(xr+1, · · · , xp) =
···
f (x1, x2, · · · , xp)dx1 · · · dxr.
−∞
−∞
北 3. 条件分布
电力 设 X((1) 为 r)维随机向量, X(2) 为 p − r 维随机向量. 若 p 维随机向 大 量 X = X(1) , 则给定 X(2) 时, 称 X(1) 的分布为条件分布. 当 X
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
17 / 94
随机向量
均值向量和协方差阵的性质
华 D(AX) = AD(X)A′, COV (AX, BY ) = A · COV (X, Y ) · B′. 北 若 X, Y 相互独立, 则 COV (X, Y ) = 0; 反之, 不成立. 电 若 COV (X, Y ) = 0, 我们称 X 与 Y 不相关, 故有: 两随机向量若 力 相互独立, 则必不相关; 两随机向量若不相关, 则未必相互独立. 大 随机向量 X = (X1, X2, · · · , Xp)′ 的协差阵 D(X) = Σ 是对称非负 学 定阵. 即 Σ = Σ′, α′Σα ≥ 0(α 为任给的 p 维常量).
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
14 / 94
随机向量
随机向量的数字特征
若 Xi 和 Yi 的协方差 Cov(Xi, Yj) 存在 (i = 1, · · · , p; j = 1, · · · , q),
则称 R = (rij) 为 X 的相关阵, 其中
华北rij
=
√ V
Cov(X√i, Yj) ar(Xi) V ar(Xj)
=
σij √σiiσjj
电 其中
力大学 V ar(Xi) = Cov(Xi, Xi) = σii
为随机变量 Xi 的方差.
若记 V 1/2 = diag(√σ11, · · · , √σpp) 为标准差矩阵, 则
石万林 (应用多元统计分析)
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
16 / 94
随机向量
均值向量和协方差阵的性质
华 D(AX) = AD(X)A′, COV (AX, BY ) = A · COV (X, Y ) · B′. 北 若 X, Y 相互独立, 则 COV (X, Y ) = 0; 反之, 不成立. 电 若 COV (X, Y ) = 0, 我们称 X 与 Y 不相关, 故有: 两随机向量若 力大学 相互独立, 则必不相关; 两随机向量若不相关, 则未必相互独立.
Σ = V 1/2RV 1/2
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
15 / 94
随机向量
均值向量和协方差阵的性质
华北 均值向量和协方差阵的性质 电 1. 设 X, Y 为随机向量, A, B 为常数阵, 则
力大学 E(AX) = AE(X), E(AXB) = AE(X)B
电 F (x1, · · · , xp) = F1(x1) · · · Fp(xp) 力大 均成立, 则称 X1, · · · , Xp 相互独立. 在连续型随机变量的情况 学 下,X1, · · · , Xp 相互独立, 当且仅当 X = (X1, · · · , Xp)′ 的联合密度函数
f (x1, · · · , xp) 满足
函数, 简称为多元密度函数或密度函数. .
石万林 (应用多元统计分析)
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
8 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
多元密度函数 f (x1, x2, · · · , xp) 满足以下两条性质:
华 f∫−(∞x∞1,·
x· ·2∫, −·∞·∞·
f (x1, · · · , xp) = f1(x1) · · · fp(xp)
对一切实数 x1, · · · , xp 均成立, 其中 fi(xi) 是 Xi 的密度函数
(i =石万1林, ·(应· ·用多, p元)统.计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
11 / 94
华北 F (x1, x2, · · · , xp) = P {X1 ≤ x1, · · · , Xp ≤ xp} 电力大学 为 X 的联合分布函数
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
8 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
··· ···
Cov(X1, Xp)
Cov(X2, Xp) ...
力 Cov(Xp, X1) Cov(Xp, X2) · · · Cov(Xp, Xp)
大学 = (σij)p×p d=ef Σ
为随机向量 X 的协方差阵. 3. 随机向量 X 和 Y 的协方差阵
若 Xi 和 Yi 的协方差 Cov(Xi, Yj) 存在 (i = 1, · · · , p; j = 1, · · · , q),
5. 多元正态分布的参数估计
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
2 / 94
目录
多元正态分布及参数的估计
华 在多元统计分析中，多元正态分布占有相当重要的地位. 这是因为 北 许多实际问题涉及到的随机向量服从正态分布或近似服从正态; 当样本 电 量很大时, 许多统计量的极限分布往往和正态分布有关; 此外, 对多元正 力 态分布，理论与实践都比较成熟, 已有一整套行之有效的统计推断方法. 大 基于这些理由, 我们在介绍多元统计分析的种种具体方法之前, 首先介绍 学 多元正态分布的定义、性质及多元正态分布中参数的估计问题.
(
)
d=ef X1, X2, · · ·, Xp ,
X(′n)
其中矩阵 X 的第 i 行: X(′i) = (xi1, xi2, · · · , xip)(i = 1, · · · , n) 表示对第 i 个样品的观测值, 在具体观测之前, 它是一个 p 维的随机向量. 矩阵 X
的第 j 列
石万林 (应用多元统计分析)
X (2)
∫∞ ∫∞
f1(x(1)) = f1(x1, · · · , xr) =
···
f (x1, x2, · · · , xp)dxr+1 · · · dxp,
−∞
−∞
X
(2) 的边缘分布为
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
9 / 94
则称石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
13 / 94
随机向量
随机向量的数字特征
Cov(X, Y ) = E[(X − EX)(Y − EY )′]
华
北电力 =
Cov(X1, Y1)
Cov(X2, Y1) ...
Cov(X1, Y2)
Cov(X2, Y2) ...
.
.
2020 年 4 月 13 日
.
4 / 94
随机向量
随机向量
华 本课程所讨论的是多变量总体. 把 p 个随机变量放在一起得 北电X = (X1, X2, · · · , Xp)′
力 为一个 p 维随机向量, 如果同时对 p 维总体进行一次观测, 得到一个样 大 本为 p 维数据. 常把 n 个样品排成一个 n × p 矩阵, 称为样本资料 学 阵或样本数据阵.
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
12 / 94
随机向量
随机向量的数字特征
D(X) = E[(X − EX)(X − EX)′]
华
北电 =
Cov(X1, X1)
Cov(X2, X1) ...
Cov(X1, X2)
Cov(X2, X2) ...
.
.
多元正态分布及参数的估计
华 石万林 北电应用多元统计分析 力大学 2020 年 4 月 13 日
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
1 / 94
目录
目录
1. 随机向量
华北 2. 多元正态分布的定义与基本性质 电力 3. 条件分布和独立性 大学 4. 随机矩阵的正态分布
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
5 / 94
随机向量
随机向量
华北电力大学 记为
X
=
x11
x21 ...
x12
x22 ...
···
··· ...
x1p
x2p ...
d=ef
X(′1) X(′2)
...
xn1 xn2 · · · xnp
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
3 / 94
目录
目录
华 目录 北电 随机变量 力 多元正态分布的定义与基本性质 大 条件分布和独立性 学 随机矩阵的正态分布
多元正态分布的参数估计
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
1. 联合分布
设 X = (X1, X2, · · · , Xp) 是 p 维随机向量, 称 p 元函数
华北 F (x1, x2, · · · , xp) = P {X1 ≤ x1, · · · , Xp ≤ xp}
电 为 X 的联合分布函数
力 若存在非负函数 f (x1, x2, · · · , xp), 使得随机向量 X 的联合分布函
ຫໍສະໝຸດ Baidu
··· ···
Cov(X1, Yq)
Cov(X2, Yq) ...
Cov(Xp, Y1) Cov(Xp, Y2) · · · Cov(Xp, Yq)
大学 为随机向量 X 和 Y 的协方差阵. 若
Cov(X, Y ) = O
则称 X 与 Y 不相关.
4. 随机向量 X 的相关阵 .
石万林 (应用多元统计分析)
大 数对一切 x1, x2, · · · , xp ∈ R 均可表示为
学 ∫ x1
∫ xp
F (x1, · · · , xp) = · · · f (x1, x2, · · · , xp)dx1 · · · dxp,
−∞
−∞
则称 X 为连续型随机向量, 称 f (x1, x2, · · · , xp) 为 X 的联合概率密度
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
6 / 94
随机向量
随机向量
华
北电 Xj =
x1j
x2j ...
力 xnj
(j = 1, 2, · · · , p)
大学 表示对第 j 个变量的 n 次观测, 在具体观测之前, 它是一个 n 维随机向
量; 而样本数据阵 X 是一个随机阵.
随机向量
随机向量的数字特征
1. 随机向量 X 的均值向量
华 若 EXi = µi 存在, 则称
北
电力 E(X) =
EX1 ...
=
µ1 ...
EXp
µp
大学 为随机向量 X 的均值向量.
2. 随机向量 X 的协方差阵
若 Xi 和 Xj 的协方差 Cov(Xi, Xj) 存在 (i, j = 1, · · · , p), 则称
, xp) f (x1
≥ 0, 对一切实数 , x2, · · · , xp)dx1 ·
x1, x2 · · dxp
,··· = 1.
,
xp
;
北 2. 边缘分布 电 称随机向量 X 的部分向量 (Xi1, · · · , Xim)(1 ≤ m < p) 的分布为边 力 缘分布. 大 设 X((1) 为 r)维随机向量, X(2) 为 p − r 维随机向量. 若 p 维随机向 学 量 X = X(1) , 则 X(1) 的边缘分布为
学 X(2)
的密度函数为 f (x(1), x(2)) 时, 给定 X(2) 时 X(1) 的条件密度函数为
f1(x(1)|x(2)) = f (x(1), x(2))/f2(x(2)).
其中 f2(x(2)) 是 X(2) 的密度函数.
.
石万林 (应用多元统计分析)
多元正态分布及参数的估计
.
.
.
.
在多元统计分析中涉及到的都是随机向量, 或是多个随机同放在一
起组成的随机阵本节首先来回顾一下随机向量的有关内容.
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
7 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
1. 联合分布 设 X = (X1, X2, · · · , Xp) 是 p 维随机向量, 称 p 元函数