《概率论》第4章矩、协方差矩阵
合集下载
概率论-4.4 矩和协方差矩阵
3
目录
上页
下页
返回
对n维随机变量来说，可作类似推广：
其中
c11 c12 L c1n
C
c21
c22
L
c2n
M M
M
Байду номын сангаас
cn1 cn2 L cnn
cij Cov(Xi , X j ) E Xi E(Xi ) X j E(X j ) ,i, j 1, 2,L , n
称C为n维随机变量 (X1, X 2,L , X n ) 的协方差矩阵。
2020年4月26日星期日
2
目录
上页
下页
返回
令
X1 X2
它的转置为
E( )
X1, X2 这时ξ的数学期望为
E(X1)
E
(
X
2
)
类似于一维随机变量，可以对ξ定义二阶中心矩：
E[
E(
)][
E(
)]
E
X1 X2
E(X1) E(X2)
(
X1
E(
X1),
X
2
E(
X
2
))
E
X
2020年4月26日星期日
1
目录
上页
下页
返回
注意到
D(X ) E X E(X )2
自然地推广到
E X E(X )k
称上式为X的k阶中心矩。
E(X kY l ), E X E(X )k Y E(Y )l
分别称为X的k+l阶混合矩和k+l阶混合中心矩。 特别地，当k=1，l=1时，二阶混合中心矩就是协方差。
第四节 矩和协方差矩阵
由于
协方差矩阵和概率分布
协方差矩阵和概率分布（实用版）目录1.协方差矩阵的定义与性质2.概率分布的定义与性质3.协方差矩阵与概率分布的关系4.协方差矩阵在实际应用中的例子正文1.协方差矩阵的定义与性质协方差矩阵是一个数学概念，它用于描述多个随机变量之间的关系。
协方差矩阵是由随机变量的方差和协方差构成的一个矩阵。
具体来说，如果 X 是一个 n 维随机向量，其协方差矩阵是一个 n×n 的矩阵，记作Σ，其中Σ[i,j] 表示随机向量 X 的第 i 个分量和第 j 个分量的协方差。
协方差矩阵具有以下性质：（1）协方差矩阵是对称矩阵，即Σ[i,j]=Σ[j,i]；（2）协方差矩阵的元素代表各个随机变量之间的相关程度，其中正值表示正相关，负值表示负相关，零表示无关。
2.概率分布的定义与性质概率分布是用来描述随机变量取值的概率分布情况。
概率分布可以分为离散型概率分布和连续型概率分布。
离散型概率分布可以用概率质量函数（PMF）表示，连续型概率分布可以用概率密度函数（PDF）表示。
概率分布具有以下性质：（1）概率分布的 PMF 或 PDF 必须满足归一性，即所有可能取值的概率之和为 1；（2）概率分布的 PMF 或 PDF 必须是非负的；（3）离散型概率分布的 PMF 只取有限个非负值，连续型概率分布的PDF 在定义域内处处非负。
3.协方差矩阵与概率分布的关系协方差矩阵与概率分布密切相关。
协方差矩阵可以用来描述多个随机变量的相关程度，而概率分布可以用来描述单个随机变量的取值情况。
在多元统计分析中，协方差矩阵和概率分布一起，可以为我们提供有关随机变量之间的相关性和分布特征的重要信息。
4.协方差矩阵在实际应用中的例子协方差矩阵在实际应用中有广泛的应用，例如在金融、保险、生物统计等领域。
以下是一个简单的例子：假设一个投资者持有三种投资产品 A、B、C，分别在第一天、第二天和第三天进行投资。
我们可以用协方差矩阵来描述这三种投资产品的收益情况。
4.3 协方差与相关系数及矩与协方差矩阵
2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量 若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称 为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即 差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量 若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称 为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即 差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )
概率论与数理统计第四章
上述定理还可以推广到两个或两个以上随 机变量的函数的情况。
02
该公式的重要性在于: 当我们求E[g(X)]时, 不必知道g(X)的分布，而只需知道X的分布就可以了. 这给求随机变量函数的期望带来很大方便.
01
例6
例 7
解：
设(X,Y)在区域A上服从均匀分布，其中A为x轴，y轴和直线x+y+1=0所围成的区域。 求EX，E(-3X+2Y)，EXY。
例5
若将这两个电子装置串联连接组成整机,求整机
寿命(以小时计) N 的数学期望.
的分布函数为
三、随机变量函数的数学期望
1. 问题的提出：
设已知随机变量X的分布，我们需要计算的不是X的期望，而是X的某个函数的期望，比如说g(X)的期望. 那么应该如何计算呢？
一种方法是，因为g(X)也是随机变量，故应有概率分布，它的分布可以由已知的X的分布求出来. 一旦我们知道了g(X)的分布，就可以按照期望的定义把E[g(X)]计算出来.
若设
i=1,2，…，n
则 是n次试验中“成功” 的次数
解
X~B(n,p),
“成功” 次数 .
则X表示n重努里试验中的
于是
i=1,2，…，n
由于X1,X2,…, Xn 相互独立
= np(1- p)
E(Xi)= p,
D(Xi)=
p(1- p) ,
例7
解
1
展开
2
证：D(X)=E[X-E(X)]2
3
=E{X2-2XE(X)+[E(X)]2}
4
=E(X2)-2[E(X)]2+[E(X)]2
5
=E(X2)-[E(X)]2
概率论课件矩、协方差矩阵
中心矩
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程 度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特 性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方 法和技巧，如主成分分析、因子分析、聚类 分析等。通过对矩和协方差矩阵的分析，可 以提取数据集中的主要特征、发现变量之间 的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用 ，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量 的方差，非对角线元素是各个随机变量的 协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机 变量的方差和协方差信息的矩阵，而 协方差矩阵只包含各个随机变量的协 方差信息。
方差-协方差矩阵是协方差矩阵的一个 扩展，它同时包含了随机变量的方差 信息，而协方差矩阵只包含随机变量 的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和 进行假设检验。例如，利用样本矩估计总体矩，然后使 用这些估计值进行假设检验或置信区间的计算。在回归 分析中，矩和协方差矩阵可用于估计回归系数和进行模 型诊断。通过分析回归模型的矩和协方差矩阵，可以检 验模型的假设是否成立、诊断模型的问题等。此外，在 时间序列分析和金融数据分析等领域，矩和协方差矩阵 也具有重要的应用价值。
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程 度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特 性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方 法和技巧，如主成分分析、因子分析、聚类 分析等。通过对矩和协方差矩阵的分析，可 以提取数据集中的主要特征、发现变量之间 的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用 ，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量 的方差，非对角线元素是各个随机变量的 协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机 变量的方差和协方差信息的矩阵，而 协方差矩阵只包含各个随机变量的协 方差信息。
方差-协方差矩阵是协方差矩阵的一个 扩展，它同时包含了随机变量的方差 信息，而协方差矩阵只包含随机变量 的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和 进行假设检验。例如，利用样本矩估计总体矩，然后使 用这些估计值进行假设检验或置信区间的计算。在回归 分析中，矩和协方差矩阵可用于估计回归系数和进行模 型诊断。通过分析回归模型的矩和协方差矩阵，可以检 验模型的假设是否成立、诊断模型的问题等。此外，在 时间序列分析和金融数据分析等领域，矩和协方差矩阵 也具有重要的应用价值。
《概率论》第4章_矩、协方差矩阵
∆1 = c11 = D( X1) ≥ 0 ∆2 = | C | = c11c22 − c21c12 一阶顺序 二阶顺序 = D( X1)D( X2 ) −[Cov( X1, X2 )]2 主子式 2 主子式 = D( X1)D( X2 )( − ρX X ) ≥ 0 1
c11 = E[( X1 − E( X1 ))2 ] = D( X1) c12 = E[( X1 − E( X1))( X2 − E( X2 ))] = Cov( X1, X2 ) c21 = E[( X2 − E( X2 ))( X1 − E( X1))] = Cov( X2 , X1) c22 = E[( X2 − E( X2 ))2 ] = D( X2 )
第四章 随机变量的数字特征
§4 矩、协方差矩阵
6/8
设 ( X1, X2 ,⋅⋅⋅, Xn ) ~ N(µ, C), 则 µ1 E( X1) µ = µ2 = E( X2 ) ,称为 ( X1, X2 ,⋅⋅⋅, Xn )的均值向量 ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ E( X ) µn n
第四章 随机变量的数字特征
§4 矩、协方差矩阵
7/8
( X1, X2 ,⋯, Xn ) ~ N(µ, C) X1, X2 ,⋅⋅⋅, Xn 的任一线性 组合 l1X1 + l2 X2 +⋅⋅⋅+ln Xn 服从一维正态分布
正态r.v的线性变换不变性： 正态r.v的线性变换不变性：设 r.v的线性变换不变性 ( X1, X2 ,⋅⋅⋅, Xn ) ~ N(µ, C) 令
§4 矩、协方差矩阵 对于 r.v X ,Y, 称
E( X k ) ( k = 1 ⋅⋅⋅) ,2,
1/8
为 k阶原点矩，简称 k阶矩 .称 为 k阶中心矩 .称
c11 = E[( X1 − E( X1 ))2 ] = D( X1) c12 = E[( X1 − E( X1))( X2 − E( X2 ))] = Cov( X1, X2 ) c21 = E[( X2 − E( X2 ))( X1 − E( X1))] = Cov( X2 , X1) c22 = E[( X2 − E( X2 ))2 ] = D( X2 )
第四章 随机变量的数字特征
§4 矩、协方差矩阵
6/8
设 ( X1, X2 ,⋅⋅⋅, Xn ) ~ N(µ, C), 则 µ1 E( X1) µ = µ2 = E( X2 ) ,称为 ( X1, X2 ,⋅⋅⋅, Xn )的均值向量 ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ E( X ) µn n
第四章 随机变量的数字特征
§4 矩、协方差矩阵
7/8
( X1, X2 ,⋯, Xn ) ~ N(µ, C) X1, X2 ,⋅⋅⋅, Xn 的任一线性 组合 l1X1 + l2 X2 +⋅⋅⋅+ln Xn 服从一维正态分布
正态r.v的线性变换不变性： 正态r.v的线性变换不变性：设 r.v的线性变换不变性 ( X1, X2 ,⋅⋅⋅, Xn ) ~ N(µ, C) 令
§4 矩、协方差矩阵 对于 r.v X ,Y, 称
E( X k ) ( k = 1 ⋅⋅⋅) ,2,
1/8
为 k阶原点矩，简称 k阶矩 .称 为 k阶中心矩 .称
4-4协方差矩阵
矩与协方差矩阵
二、协方差矩阵
为二元随机变量，其有四个二阶中心矩 设(X,Y)为二元随机变量，其有四个二阶中心矩. 为二元随机变量 主要针对多维随机变量的中心矩与混合中心矩来 以二元随机变量为例. 谈，以二元随机变量为例 ∆
E ( X − EX ) 2 = c11 = COV ( X , X )
2 ∆
E (Y − EY ) = c 22 = COV (Y ,Y ) E ( X − EX )(Y − EY ) = c12 = COV ( X ,Y )
∆
E (Y − EY )( X − EX ) = c 21 = COV (Y , X )
∆
c11 由c11,c12,c21,c22,有 有 c 21 协方差矩阵
n 2
2 σ n n−1 n− 3 n− 3 = ⋅ ⋅ Γ 2 2 π 2 n 22σ n n−1 n− 3 1 1 = ⋅ ⋅ ⋅ ⋯ ⋅ Γ 2 2 2 2 π
= 2 σn
n 2
π
(n − 1)!! ⋅
因而， 因而， E X n
( )
2
n 2
π
=σ
n
(n − 1)!!
σ n (n − 1)!! n为偶数, = n为奇数. 0
1 Γ = π 2
矩与协方差矩阵
E Xn 特别是,当X~N(0, 1),则有 特别是, 则有
( )
σ n (n − 1)!! n为偶数, = 0 n为奇数.
EX
( )
n
(n − 1)!! n为偶数 = , n为奇数 0
c12 称此矩阵为(X,Y)的 的 称此矩阵为 c 22
矩与协方差矩阵
协方差和相关系数矩和协方差矩阵
-0.6630 (0.7850)2 -0.046
首页
上页
返回
下页
结束
4. 协方差的性质
（1） Cov(X,Y) = Cov(Y,X) （2） Cov(aX,bY) = ab Cov(X,Y), a,b 为常数 （3） Cov(X1+X2，Y) = Cov(X1,Y) + Cov(X2,Y) （4）当X与Y相互独立时，有 Cov(X,Y) = 0
12 0 1/6
1/6 1/6 1/12 1/6
¼½
3 1/12 1/4 1/6 1/2
0 1/4
¼
求ρXY
解： E(X) = 2 , E(Y) = 2；
E(XY) =
i
j
xi y j
pij
23 6
Cov(X,Y) = 23/6 – 4 = - 1/6 ;
E(X2) = 9/2 , E(Y2) = 9/2； D(X) =1/2 D(Y) = 1/2 。
3.设Ｘ是随机变量，Ｙ=aX+b(a≠０),
证明
： XY
1 -1
a0 a0
４.设随机变量Ｘ的概率密度为 f (x) 1 e- x (- x ) 2
求Ｘ与|X|的协方差，问Ｘ和|X|是否不相关，是否相互独立．
首页
上页
返回
下页
结束
§4.4 矩和协方差矩阵
1．矩的概念 设X、Y为随机变量，k,l为自然数，即(k,l=1，2，…) 若 E（Xk）存在，则称它为X的k 阶原点矩。
1
xf (x, y)dxdy xdx
1 1- x2 dy
- -
-1
- 1-x2
同样 E（Y）=0
2
方差矩阵是什么,协方差矩阵计算公式
方差矩阵是什么，协方差矩阵计算公式
在统计学与概率论中，协方差矩阵的每个元素是各个向量元素之间的协方差，是从标量随机变量到高维度随机向量的自然推广。
矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，这里默认数据是按行排列。
即每一行是一个observaTIon（or sample），那么每一列就是一个随机变量。
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵
协方差矩阵：
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵
协方差矩阵的维度等于随机变量的个数，即每一个observaTIon 的维度。
在某些场合前边也会出现1 / m，而不是1 / （m - 1）。
在统计学与概率论中，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。
这是从标量随机变量到高维度随机向量的自然推广。
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵
举个例子，矩阵X 按行排列：
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵1. 求每个维度的平均值
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵2. 将X 的每一列减去平均值
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵其中：
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵3. 计算协方差矩阵
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵注意：
有时候在书上或者网上会看到这样的公式，协方差矩阵Σ：
协方差矩阵是什么_协方差矩阵计算公式_如何计算协方差矩阵
这里之所以会是X * X‘ 是因为原始数据集X 是按列排列的，即：。
概率论第四章随机变量的数字特征第4节矩和协方差矩阵
特别，若 X ~ N 0， 1 , 则
E X n
n 1!!
0
n为偶数 n为奇数 ,
n 4时， EX 4 3.
返回主目8 录
练习一下
• 已知随机变量的X和Y的联合分布为
Y X
-2
0
1
-1
0.30
0.12
0.18
1
0.10
0.18
0.12
求X和Y的协差矩阵.
0.96 0.24
0.24 1 .65
DX
所以，
E X n nE Y n
n yn fY
y dy
n
y
n
e
y2 2
dy
2
⑴．当 n为奇数时，由于被积函 数是奇函数，所以
E X n 0 ．
返回主目5 录
第四章 随机变量的数字特征
(2)．当n为偶数时，由于被积函 数是偶函数，所以
EX n
2 n
y
n
e
y2 2
E X n
n
22
n
n
1
n
1
n
22
n
n
1
n
3
n
3
2 2 2 2 2
n
22
n
n
1
n
3
1
1
22
2 2
n
22
n
n 1!!
n
22
n n 1!!
返回主目7 录
第四章 随机变量的数字特征
因而，
§5 矩
E X n
n n 1!!
0
n为偶数 n为奇数
其中，
135 n n为奇数 n!! 2 4 6 n n为偶数
概率论第四章矩、协方差矩阵
1 f X ( x) f Y ( y ) e 2
x2 2
e
y2 2
1 e 2
x2 y2 2
,
f ( x, y ) f X ( x) f Y ( y ). 所以 X 与 Y 不独立.
第四章
小
结
1 阐述了数学期望、方差的概念及背景，要掌握 它们的性质与计算，会求随机变量函数的数学 期望和方差. 2 要熟记（0-1）分布、二项分布、泊松分布、几何 分布、均匀分布、指数分布和正态分布的数学期望 与方差. 3 引进了协方差、相关系数的概念，要掌握它们的 性质与计算. 4 要掌握二维正态随机变量的不相关与独立的等价 性. 5 介绍了矩与协方差矩阵的概念.
例2 设二维随机变量( X , Y )的密度函数为 1 f ( x, y ) [1 ( x, y ) 2 ( x, y )], 2 其中1 ( x, y )和 2 ( x, y )都是二维正态密度函数 ，且它们对应
(1) 求随机变量 X 和 Y 的密度函数 f X ( x) 和 f Y ( y)， 及 X 和 Y 的相关系数
2) 若 ( X1,, X n ) 服从 n 维正态分布， Y1 ,, Yk 是 X j ( j 1,, n) 的线性函数，则 (Y1,, Yk ) 也服从 k 维正态分布.
3) 若 ( X1,, X n ) 服从 n 维正态分布， 则 X1,, X n 相互独立 X1,, X n 两两不相关.
§4矩、协方差矩阵源自 xyf ( x, y)dxdy
1 xy1 ( x, y )dxdy xy 2 ( x, y )dxdy 2
1 1 1 0. 2 3 3
概率论与数理统计图文课件最新版-第四章随机变量的数字特征-第三节协方差与相关系数
2
E( XY )
2a
E( X )
0
b
概率统计
解得：
Cov( X ,Y ) b0 D( X )
a0 E(Y ) b0E( X )
这样求出的 最佳逼近为：
L(X)=a0+b0X
这一逼近的剩余是：E{[Y L( X )]2 } D(Y )(1 XY 2 )
可见： 若 XY 1, 则 Y 与 X 有严格线性关系;
第四章知识结构图
随机变量的数字特征
数学期望
方差
矩与协方差 矩阵
一维随机 变量的数
学期望
二维随机 变量的数
学期望
一维随 机变量的
方差
二维随 机变量的
方差
离散型 连续型 离散型 连续型
相关 系数 与协 方差
概率统计
第三节 协方差与相关系数
问题的引出 随机变量的数学期望及方差都只刻画了一个随 机变量的某一方面的特征，而协方差与相关系 数是刻画两个随机变量之间关系的数字特征.
[ )
(
x1 12
)2
2
(
x 1 )( y 1 2
2
)
(
y 2
2 2
)2
]
21 2 1 2
求：X 与 Y 的相关系数
解: 由已知，X, Y 的边缘概率密度为:
fX (x) fY ( y)
1
( x 1 )2
e , 212
2
1
1 ( y2 )2
e
, 2
2 2
2 2
x y
最小时的 a，b ：
e = E {[ Y- ( a + bX ) ]2 }
数学期望性质
协方差矩阵的详细说明
协方差矩阵的详细说明变量说明：设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵（1）其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。
单随机变量间的协方差：随机变量之间的协方差可以表示为（2）根据已知的样本值可以得到协方差的估计值如下：（3）可以进一步地简化为：（4）协方差矩阵：（5）其中，从而得到了协方差矩阵表达式。
如果所有样本的均值为一个零向量，则式（5）可以表达成：（6）补充说明：1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素C ij就是反映的随机变量X i, X j的协方差。
2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。
对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。
特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。
3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。
4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。
概率论第四章4-4
i , j 1,2 , , n 都存在 , 则称矩阵
c 11 c 21 C c n1 c 12 c 22 cn2
.
j
c1n c2n c nn
为 n 维随机变量的
协方差矩阵
例如
二维随机变量
( X 1 , X 2 ) 的协方差矩阵为
.若 ( X 1 , X 2 , , X n ) 服从 n 维正态分布 3 Y k 是 X j ( j 1 , 2 , , n ) 的线性函数 也服从多维正态分布 .
, 设 Y 1 , ,
, 则 (Y 1 , Y 2 , , Y k )
线性变换不变性
, 则“ X 1 ,
n
4 .设 ( X 1 , , X n ) 服从 n 维正态分布 X 2 , , X
n
相互独立” 与“ X 1 , X 2 , , X
两两
不相关” 是等价的 .
三、小结
1 . 矩是随机 变量的数字特征 .
随机变量
X 的
数学期望 E ( X ) 是 X 的一阶原点矩 ; 方差 D ( X ) 是 X 的二阶中心矩 ; 协方差 Cov( X , Y ) 是 X 与 Y 的二阶混合中心矩
c 22 E {[ X 2 E ( X 2 )] }.
2
由于 c ij c ji ( i , j 1 , 2 , , n ) , 所以协方差矩 阵为对称的非负定矩阵 .
协方差矩阵的应用
协方差矩阵可用来表示多维随 机变量的概率密度，从而可通 过协方差矩阵达到对多维随机 变量的研究
以二维随机变量
( X 1 , X 2 ) 为例 .
由于
c 11 c 21 C c n1 c 12 c 22 cn2
.
j
c1n c2n c nn
为 n 维随机变量的
协方差矩阵
例如
二维随机变量
( X 1 , X 2 ) 的协方差矩阵为
.若 ( X 1 , X 2 , , X n ) 服从 n 维正态分布 3 Y k 是 X j ( j 1 , 2 , , n ) 的线性函数 也服从多维正态分布 .
, 设 Y 1 , ,
, 则 (Y 1 , Y 2 , , Y k )
线性变换不变性
, 则“ X 1 ,
n
4 .设 ( X 1 , , X n ) 服从 n 维正态分布 X 2 , , X
n
相互独立” 与“ X 1 , X 2 , , X
两两
不相关” 是等价的 .
三、小结
1 . 矩是随机 变量的数字特征 .
随机变量
X 的
数学期望 E ( X ) 是 X 的一阶原点矩 ; 方差 D ( X ) 是 X 的二阶中心矩 ; 协方差 Cov( X , Y ) 是 X 与 Y 的二阶混合中心矩
c 22 E {[ X 2 E ( X 2 )] }.
2
由于 c ij c ji ( i , j 1 , 2 , , n ) , 所以协方差矩 阵为对称的非负定矩阵 .
协方差矩阵的应用
协方差矩阵可用来表示多维随 机变量的概率密度，从而可通 过协方差矩阵达到对多维随机 变量的研究
以二维随机变量
( X 1 , X 2 ) 为例 .
由于
《概率论与数理统计》六
E( X ) xk pk . k 1
例1 设甲、乙两射手在同样条件下进行射击，其命中环数是一
随机变量，分别记为X、Y，并具有如下分布律
X 10 9 8 7
Y 10 9 8 7
Pk 0.6 0.1 0.2 0.1
Pk 0.4 0.3 0.1 0.2
试问甲、乙两射手的射击水平哪个较高？
解 100.6 90.180.2 70.1 100.4 90.3 80.1 70.2
i1 j1
2
E(Y )
yf ( x, y)dxdy dx
ydy
0
0
3
1
2(1 x )
1
E(XY )
xyf ( x, y)dxdy dx
xydy
0
0
6
三、数学期望的性质
假设以下随机变量的数学期望均存在． 1. E(C)=C, （C是常数） 2. E(CX)=CE(X), （C是常数） 3. E(X+Y)=E(X)+E(Y), 4. 设X与Y相互独立, 则 E(XY)=E(X)E(Y)
1
e
x
,
0,
x0 x0
( 0)
求将这5个元件串联组成的系统的平均寿命．
解
Xk的分布函数为
F
(
x)
1
e
x
,
0,
x0 x0
串联时系统寿命 N min( X1 , X2 , , X5 ) ，
其分布函数为 Fmin ( x) 1
[1
F(
x)]5
1
e
5x
,
0,
x 0, x 0.
fmin
2 X 3, 一台付款 2500 元; X 3, 一台付款3000元.
矩、协方差矩阵【概率论与数理统计+浙江大学】
E(Z)=2E(X)-E(Y)&#(Y)=8+1=9
Z~N(5, 32)
故 Z 的概率密度是
fZ (z)
3
1
2
( z5)2
e 18 ,
z
例 设随机变量X,Y独立,均服从正态分布 N (, 2)
令U=aX+bY, V=aX-bY,问常数a,b满足什么条件时 随机变量U,V相互独立？
若它的概率密度为
f
(x1,x2,
…,xn)
(2
1 )n 2
|
C
|1
2
exp{
1 2
(X
)C 1( X
)}
则称 X 服从 n 元正态分布.
其中C是(X1,X2, …,Xn) 的协方差矩阵.
|C|是它的行列式，C 1表示C的逆矩阵，
X 和 是 n 维列向量，X 表示X 的转置.
概率论与数理统计
第四节 矩、协方差矩阵
原点矩 中心矩 协方差矩阵 n 元正态分布的概率密度
一、 原点矩 中心矩
定义 设X和Y是随机变量，若 E( X k ), k 1,2,
存在，称它为X的k阶原点矩，简称 k阶矩. 若 E{[ X E( X )]k}, k 2,3,
存在，称它为X的k阶中心矩.
2. 正态变量的线性变换不变性.
若 X=(X1, X2 , … , Xn) 服从 n 元正态分布， Y1,Y2, …，Yk是Xj（j=1,2,…,n）的线性函数， 则 (Y1,Y2, …，Yk) 也服从多元正态分布.
3. 设(X1,X2, …,Xn)服从n元正态分布，则 “X1,X2, …,Xn相互独立”
可见，均值 E(X)是X一阶原点矩，方差D(X)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章 随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,，X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布 正态r.v的线性变换不变性：设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩，简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}
|
C
|
12
2 2
(1
2
2)
2 2
此时
C
C
21怎|样2C1|1C定| |C[C义x1211nCC维11222y正 态2 ]伴r.v随密矩221度阵2函数121
c21 E[(X2 E(X2 ))(X1 E(X1))] Cov(X 2 , X1)
c22 E[(X2 E(X2 ))2 ] D( X 2 )
写成矩阵的形式
C
Cov(
X
,
X
)
c11 c21
c12 c22
称矩阵 Cov(X , X ) 为 X (X1, X2 ) 的协方差矩阵.
CT C, 即 C为对称阵
§4 矩、协方差矩阵
8/8
26、27、29、30 END
第四章 随机变量的数字特征
协方差矩阵 C为正定(非负定)对称阵,即
CT C
C0
第四章 随机变量的数字特征
§4 矩、协方差矩阵
4/8
设
( X1,
X2
)
~
N (1 ,
2
,
12
,
2 2
,
),
其密度函数为指数部分
f (x, y)
1
exp{ 1
21 2 1 2
2(1 2 )
表达式
|
C|1(/ 22
)
[1(
2/2
1212(X22
1 (1
)T2C)
1(
2 2
X12)
1 2
2 1
第四章 随机变量的数字特征
§4 矩、协方差矩阵
5/8
令
x1
1
c11 c12 c1n
X
x2
xn
,
2 n
,
C c21
cn1
c22
cn2
c2n
cnn
其中 C为 n阶正定矩阵
C 0, 即 C为正定(非负定)阵
1 c11 D( X1) 0
一阶顺序2 | C | c11c22 c21c12
二主阶子顺式序 D(X1)D(X 2 ) [Cov(X1, X 2 )]2
主子式
D( X1)D( X 2 )(1第四章X21X随2 机) 变0量的数字特征
§4 矩、协方差矩阵
a21 X1
a22 X2
a2n Xn
Ym am1 X1 am2 X2 amn Xn
则 (Y1,Y2,,Ym ) 仍服从多维正态分布 设 (X1, X2,, Xn ) ~ N(,C), 则
X1, X2,, Xn 相互独立 X1, X2,, Xn 两两不相关 第C四为章对随机角变阵量的数字特征
Xi ~ N(i,cii ),(i 1, 2,, n),反之,若 X1, X2,, Xn相互独立,
且
Xi
~
N
(i
,
2 i
),
(i
1,
2,
,
n),
则
(X1, X2 ,, Xn ) ~ N(,C)
其中 C为对角阵,且 [1 2 n ]T
C diag{12
2 2
n2}
第四章 随机变量的数字特征
§4 矩、协方差矩阵
若 n维 r.v (X1, X2,, Xn ) 的密度函数为
f
(x1,
x2
, ,
xn
)
(2
1 )n / 2|C|1/2
exp{
1 2
(X
)T
C1( X
)}
则称 (X1, X2,, Xn )服从参数为 (,C)的 n维正态分布,记为
(X1, X2 ,, Xn ) ~ N(,C)
第四章 随机变量的数字特征
§4 矩、协方差矩阵
6/8
设 (X1, X2 ,, Xn ) ~ N(,C), 则
1 E( X1)
n2
E
(
X
2
)
E( X n )
,称为
( X1 ,
X2 ,,
Xn )的均值向量
C [cij ]nn 是 (X1, X2,, Xn ) 的协方差阵,且
cii D(Xi ) , i 1, 2,, n
3/8
对于 n维 r.v ( X1, X2 ,, Xn ), 记
cij Cov( Xi , X j ) E[(Xi E(Xi ))(X j E(X j ))]
写成矩阵的形式
(i, j 1, 2,, n)
c11 c12 c1n
C
c21
c22
c2
n
cn1 cn2 cnn
称矩阵 C为 (X1 , X2 ,, Xn ) 的协方差矩阵