多元统计基础原理

性质： 任意的常数矩阵A，B有 （1）D(AX)=AD(X)A ′ (2)COV(AX,BY)=ACOV(X)B ′ (3)任意常数a，有D(X＋a)=D(X) (4）设X为n维随机向量，期望与方差都存在，记 µ＝E(X), Σ =D(X) A为n×n 的常数阵，则 E(X ′AX)=tr(A Σ )+ µ ′A µ
则称 X (1) X 相互独立。 (2)
X ( 2 ) 与 X (1) 的相互独立性等价于
f ( x1 , x2 ,⋯, x p ) = f ( x1 , x2 ,⋯, xq )i f ( xq +1 , x2 ,⋯, x p )
三、关于多元正态分布
1.多元正态分布的定义 设y1,…，yq是独立同分布的p（0，1）随机变量，则称 Y = ( y1 , y 2 ,⋯ , y q )′ 服从q元标准正态分布，且E(Y)＝ (0,0,⋯ ,0) ′＝0
3.X与Y的互协方差矩阵
若 X = ( x1 , x2 , ⋯ , x p )′
Y = ( y1, y2 ,⋯, yq )′
cov( X ,Y ) = E[ X − E ( X )][Y − E (Y )]′ cov( x1 , y1 ) cov( x1 , y2 ) ⋯ cov( x1 , yq ) cov( x , y ) cov( x , y ) ⋯ cov( x , y ) 2 1 2 2 2 q = ⋮ ⋮ ⋮ ⋮ cov( x p , y1 ) cov( x p , y2 ) ⋯ cov( x p , yq ) p×q 为X与Y的协方差矩阵。 特别地，当cov( X ,Y )＝0时，X 与Y 不相关。
随机矩阵由定义在同一概率空间上的np维随机变量组成的矩阵称为随机矩阵矩阵中的每个元素都为一随机变量常记为二随机向量的数字特征1
一、多元分布的基本概念
• 1.p维随机向量 把定义在同一概率空间 ( Ω , F , n )上的p个随机 变量 x1 , x2 ,⋯, x p 构成的p维向量 X = (x1, x2 ,⋯, xp )′ 称为p维随机向量 • 2.随机矩阵 由定义在同一概率空间 ( Ω , F , p )上的n×p维随机变 量组成的矩阵 X = ( x i j ) n × p 称为随机矩阵，矩阵中的 每个元素 x i j 都为一随机变量，常记为 ：
两个子向量，也为随机向量。 记
F ( x1 , x2 ,⋯, x p ) 为X的联合分布函数，
分别为 X (1) X ( 2) 边沿分布函数，若
F ( x1 , x2 ,⋯, xq ), F ( xq +1 , x2 ,⋯, x p )
F ( x1 , x2 ,⋯, x p ) = F ( x1 , x2 ,⋯, xq )i F ( xq +1 , x2 ,⋯, x p )
－∞ －∞ ∞ ∞
例2.2，2.3
Ex1 二、随机向量的数字特征 Ex 2 1.随机向量的期望 若 X = ( x1 , x2 , ⋯ , x p )′ ，则E(X)= ⋮ Ex 性质： p 任 意 的 常 数 矩 阵 A， B有
（ 1） E ( A X ) = A E ( X ) (2)E(AXB)=AE(X)B (3)E(AX+BY)=AE(X)+BE(Y）
x11 X =(xij )n×p = x 21 ⋮ xn1
x12 ⋯ x1 p x22 ⋯ x2 p = ( X (1) , X (2) ,⋯ X ( p ) ) = n× p ⋮ ⋮ ⋮ xn 2 ⋯ xnp
′ X (1) X′ (2) ⋮ X (′n )
• 4.相关系数
对于p维随机向量
X = (x1, x2 ,⋯, xp )′ 称 ρij = D(x ) D(x ) , i, j = 1,2,⋯, p i j
cov(xi , x j )
维分量 x i , x j 之间的相关系数。 称R＝(ρij )p×p 为X的相关矩阵。（相关系 数矩阵？）
5.独立性
将p维随机向量X = (x1, x2 ,⋯, xp )′ 分成两个子向量：1 ≤ q<p,
x1 X (1) X = X (1) = ⋮ X (2) x q
X (2)
x q +1 = ⋮ x p
在此 X (1) 与 X (2) 分别表示X的
Cov(Y,Y)=E
(YY ′)
＝
0 ⋯ 0 D( y1 ) 0 D( y2 ) ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 ⋯ D( yq )
= Iq
q×q
简记Y~(o, I q )。 2.独立性 y1 设 ～ N p ( µ 1 , Σ 1 ) ，y2 ∼ ( µ2 , Σ 2 ) 且
－∞ x1 xp －∞
f（t1 , t2， ，t p ) 1dt2 ⋯dt p ⋯ dt
则称X 为连续型随机向量，称f（x1 , x2， ，x p )为分布密度函数，简称密度函数或分布密度。 ⋯ （1）f（x1 , x2， ，x p )≥ 0； ⋯ （2） ⋯∫ ∫
－∞ ∞ ∞ －∞
f（x1 , x2， ，x p ) 1dx2 ⋯dx p = 1 ⋯ dx
µ1 y1 ~ N p+q µ2 则 y2 Σ1 , 0 0 Σ2
y1 y 2 独立，
四、相关性
1.全相关系数 设随机变量Y关于随机向量X的线性回归预测为M(X)，则称Y 与M（X）的相关系数 ρ（Y，M（X））为随机变量Y与X 之间的全相关相关系数。 ρ ( x q + i , xq + j ) 描述的是 xq + i , xq + j 之间的相关程度，不管其 他分量的取值如何。 2.偏相关系数
例2.1证明函数 e− ( x1 + x2 ) , x1 , x1 ≥ 0 f（x1 , x2 )＝ 为随机向量X＝(X1 , X 2 )的密度函数。 0, 其他 （1）满足； （2） ∫ ＝∫
∞ 0 ∞ －∞
∫
∞－∞e来自− ( x1 + x2 )
dx1dx2 = ∫
∞
0
∫
∞
0
e
− ( x1 + x2 )
在给定X（1）＝ x（1）时， X（2）中的分量 xq+i与xq+j之间的条 件协方差记为：σ
q + i , q + j :1,⋯ , q
，则
ρ q +i ,q + j:1,2,⋯,q =
σ q +i ,q + j:1,2,⋯q σ q +i ,q +i:1,2,⋯q σ q + j ,q + j:1,2,⋯q
,
称为xq+i与xq+j之间的q阶偏相关系数。或
ρ q +i ,q + j:1,2,⋯,q =
ρ q +i ,q + j:1,2,⋯q −1 − ρ q +i ,q:1,2,⋯q −1 i ρ q + j ,q:1,2,⋯q −1
1 − ρ 2 q +i ,q:1,2,⋯q −1 ρ 2 q + j ,q:1,2,⋯q −1
n× p
3.多元分布函数 设X ＝（X 1 , X 2， ，X p )′是P维随机向量，它的多元分布函数定义为： ⋯ F x ) ≜ F X 1 , X 2， ，X p ) = P( X 1 ≤ x1 , X 2 ≤ x2 ,⋯, X p ≤ x p ), （ （ ⋯ 记X ～F ( X )，其中（x1 , x2， ，x p )′ ∈ R p , R p 表示P维欧几里德空间。 ⋯
dx1dx2＝∫ 【∫ e−( x1 + x2 ) dx1】dx2
0 0
∞
∞
e－x2 dx2＝1
6.边缘分布 设X＝（X1 , X 2， ，X p )′是P维随机向量，则由它的q(<p)个分量组成的 ⋯ 子向量X (i ) =（Xi1 , Xi 2， ，Xiq )′的分布为X的边缘分布（或边际分布） ⋯ 假设X中的前q个分量形成子向量X (1)，其余的p-q个分量形成另一个子向量X (2) X (1) 则X＝ (2) X 若X的分布函数为F（x1 , x2， ，x p ),则X（1） ⋯ 的分布函数即边缘分布为 F（x1 , x2， ，x p ) = P 1 ≤ x1 ,⋯，Xp ≤ xq ) ⋯ （X = P 1 ≤ x1 ,⋯，Xp ≤ xq , Xq+1 ≤ ∞,⋯Xp ≤ ∞) （X 当X的分布密度函数为f（x1 , x2， ，x p )时，则X（1） ⋯ 的边缘密度函数为 f（x1 , x2， ，xq ) = ∫ ⋯∫ f（x1 , x2， ，x p ) q+1dxq+2 ⋯dx p ⋯ ⋯ dx
ρ3,4:1 − ρ3,2:1 i ρ 4,2:1
1 − ρ 23,2:1 ρ 2 4,2:1
,
ρ3,4:1,2 =
2.方差 若 X = ( x1 , x2 ,⋯ , x p ) ′，则
D( X ) = cov( X , X ) = E[ X − E( X )][ X − E( X )]′ cov( x1 , x1 ) cov( x1 , x2 ) ⋯ cov( x1 , xq ) cov( x , x ) cov( x , x ) ⋯ cov( x , x ) 2 1 2 2 2 q = ⋮ ⋮ ⋮ ⋮ cov( x p , x1 ) cov( x p , x2 ) ⋯ cov( x p , xq ) p×q
4.离散型随机变量 设X＝（X1 , X2， ，X p )′是P维随机向量，若存在有限个或可列个P维随机向量x1 , x2 ,⋯ ⋯ 记P( X = xk ) = pk (k = 1,2,⋯), 且p1＋p2＋⋯＝ 1 则称X 为离散型随机向量。称P( X = xk ) = pk 为X的概率分布。
5.连续型随机变量 设X ~ F ( X ) ≜ F（x1 , x2， ，x p )，若存在一个非负函数f（x1 , x2， ，x p )使得对一切 ⋯ ⋯ x=（x1 , x2， ，x p )′ ∈ Rp有 ⋯ F ( X ) ≜ F（x1 , x2， ，x p )＝∫ ⋯∫ ⋯