第10讲 原点矩与中心矩 协方差与相关系数
原点矩与中心矩
试求在仪器使用的最初500小时内，至少有一个电子元 件损坏的概率. 6. 某商店出售的灯泡来自甲、乙两个工厂，甲厂产品 占70%，乙厂产品占30%，甲厂、乙厂的产品合格率分 别为0.92和0.87。某顾客从该商店买了一个灯泡。 （1）求该灯泡是合格品的概率； （2）若该灯泡是次品，问它是甲厂生产的概率多大？ 7. 一袋中装有5只球，编号为1，2，3，4，5。在袋中 同时取3只，以表示取出的3只球中的最大号码，写出 随机变量的分布律并写出分布函数。
(3) E ( 2 ) D( ) E ( ) 16 1 17
2
E ( 2 ) 13, E ( ) Cov( , ) E ( ) E ( ) 4 E ( )2 E ( 2 ) 2 E ( ) E ( 2 ) 22
3. 设随机变量的分布律为 -1 0 1 2 p 0.4 0.2 0.3 0.1 试求随机变量 2 3 及 ( 1)2 的分布律。
4. 设 ~ N ( , 2 ), 且P( 0) 0.6915, P( 1) 0.5000. 求 P(1.2 3), P( 4), P(| | 2).
1 k k 1 k 1 k (b b a ba a ） k 1
又因为 ,
ab E 2
b a
故 E[ E ]
3
ab 3 1 (x ) dx 2 ba
令t x a b 2
1 ba
ba 2 ba 2
t dt 0
(已知(0.1) 0.5398, (1) 0.8413, (1.5) 0.9332, (0.5) 0.6915)
5. 某仪器装有四只独立工作的同型号电气元件，其寿 命(单位：小时)都服从同一指数分布，密度函数为：
概率论与数理统计 5.3 协方差与相关系数
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
协方差及相关系数
所以X与Y不独立.
1/8 0 1/8 2/8 1/8 1/8 1/8 3/8 3/8 2/8 3/8 1
若(X,Y) ~ N(1,2 ,12, 22,)，即(X,Y)概率密度函数为
f
( x,
y)
1
2 1 2
1
2
exp{
1
2(1 2 ) [(
x 1 1
)2
2( x 1 )( y 2 ) ( y 2 )2 ]}
(1) 求 Z 的数学期望和方差. (2) 求 X 与 Z 的相关系数.
解 (1)由E( X ) 1, D( X ) 9, E(Y ) 0, D(Y ) 16.
得 E(Z ) E( X Y ) 1 E( X ) 1 E(Y )
32 3
2
1. 3
D(Z ) D( X ) D(Y ) 2Cov( X ,Y )
注：若Y aX b, 则 a<0时,ρXY=-1
例2 (X,Y)的联合分布为:
求相关系数ρXY,并判断X, Y是否相关,是否独立.
解：
E( X ) xi pi 0
i
E(Y ) y j p. j 0
j
X Y -1 0 1 -1 1/8 1/8 1/8 0 1/8 0 1/8 1 1/8 1/8 1/8
3
1
2
( z5)2
e 18 ,
z
契比雪夫不等式
定理 设随机变量 X 具有数学期望 E(X ) μ,
方差 D( X ) σ2,则对于任意正数ε, 不等式
P{
X
μ
ε}
σ2 ε2
成立.
证明 取连续型随机变量的情况来证明. 设 X 的概率密度为 f ( x),则有
协方差与相关系数
其余均方误差
e
D(Y
)(1
2 XY
).
从这个侧面也
能说明 XY 越接近1，e 越小. 反之， XY 越近于0，
e 就越大， Y与X的 线性相关性越小.
完
例3 设 ( X ,Y ) 的分布律为
X
Y
2 1 1 2 P{Y yi }
1
0 1/4 1/4 0
1/ 2
4
1/4 0 0 1/4 1/2
D(Y
)[1
2 XY
],
D(Y
)1
[cov( X ,Y )]2 D( X )D(Y )
D(Y
)[1
2 XY
],
由于方差
D(Y
)
是正的，
故必有
1
2 XY
0,
所以
XY 1.
性质2. 若 X 和 Y 相互独立，则 XY 0;
注意到此时 cov( X ,Y ) 0, 易见结论成立.
注： X 与Y 相互独立
完
例4 设 服从 [ , ] 上的均匀分布, 且
X sin , Y cos
判断 X 与 Y 是否不相关, 是否独立.
解
由于
E( X )
1
2
sind 0,
E(Y
)
1
2
cosd 0,
而
E(
XY
)
1
2
sin cosd 0.
2
因此
E( XY ) E( X )E(Y ),
从而 X 与 Y 不相关. 但由于 X 与 Y 满足关系:
完
例2 设连续型随机变量 ( X ,Y ) 的密度函数为
f
(
x,
概率论与数理统计(第三版)第三章4协方差与相关系数-PPT精品文档
o 3 X , Y 不相关 E ( XY ) E ( X ) E ( Y ).
3. 相关系数的性质
是一个用来表征 X ,Y之间线性关系紧密 XY
程度的量 .
1 . 1 ρ XY
a , b使 1 的充要条件是 :存在常数 2 ρ XY
P { Y a bX } 1 .
0.3 0.7
0 . 3 0 0 . 7 1 0 . 7
0 . 6 1 0 . 4 2 1 . 4
0 . 9 50 . 7 1 . 4 0.03
c o v (,) X Y E X Y E X E Y
三、 相关系数的意义
1 . 当 ρ 表明 X,Y的线性关系联 XY 较大时
例1 已知 (X,Y)的分布律求Cov(X，Y)
x 0 1 y 1 2 0.15 0.15 0.45 0.25
解: c o v (,) X Y E X Y E X E Y
EX ( Y ) 0 .9 5
x 0 1
EX ( ) EY ( )
y 1 0.15 0.45 0.6
2 0.15 0.25 0.4
3.设X和Y是随机变量，若
E(XkYL)
k, L=1,2,…
存在，
称它为X和Y的k+L阶混合（原点）矩.
k L 4.若 E {[ X E ( X )] [ Y E ( Y )] } 存在，
称它为X和Y的k+L阶混合中心矩.
二、协方差与相关系数的概念及性质
1. 问题的提出
若随机变量 X 和 Y 相ቤተ መጻሕፍቲ ባይዱ独立 ,那么
3 Cov( X X , Y ) Cov( X , Y ) Co X , Y ). 1 2 1 2
概率论课件矩、协方差矩阵
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程 度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特 性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方 法和技巧，如主成分分析、因子分析、聚类 分析等。通过对矩和协方差矩阵的分析，可 以提取数据集中的主要特征、发现变量之间 的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用 ，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量 的方差，非对角线元素是各个随机变量的 协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机 变量的方差和协方差信息的矩阵，而 协方差矩阵只包含各个随机变量的协 方差信息。
方差-协方差矩阵是协方差矩阵的一个 扩展，它同时包含了随机变量的方差 信息，而协方差矩阵只包含随机变量 的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和 进行假设检验。例如，利用样本矩估计总体矩，然后使 用这些估计值进行假设检验或置信区间的计算。在回归 分析中，矩和协方差矩阵可用于估计回归系数和进行模 型诊断。通过分析回归模型的矩和协方差矩阵，可以检 验模型的假设是否成立、诊断模型的问题等。此外，在 时间序列分析和金融数据分析等领域，矩和协方差矩阵 也具有重要的应用价值。
原点矩和中心矩
k阶原点距和k阶中心距各是说明什么数字特征在数学的概率领域中有一类数字特征叫矩.(X^k为X的k次方)原点矩：对于正整数k,如果E|X^k|<无穷,称Vk＝E(X^k) 为随机变量X的k阶原点矩.X的数学期望是X的一阶原点矩,即E(x)=v1.k阶矩定义：设X为随机变量,c为常数,k为正整数,如果E[|X-c|^c]<无穷大,则称E[（X -c）^k]为X关于点c的k阶矩.c=0时,称其为X的k阶原点矩；c=E[X]时,称为k阶中心矩.原点矩顾名思义，是随机变量到原点的距离（这里假设原点即为零点）。
中心矩则类似于方差，先要得出样本的期望即均值，然后计算出随机变量到样本均值的一种距离，与方差不同的是，这里所说的距离不再是平方就能构建出来的，而是k次方。
这也就不难理解为什么原点矩和中心矩不是距离的“距”，而是矩阵的“矩”了。
仅凭本人目前的所学，我认为通过随机试验得出的各种结果虽然都假定为实值单值函数，但它们完全有可能是空间分布，即不在一个平面上。
那么这是的距离就类似于一个向量的模了，于是在空间的范围内也能比较出大小来了。
我们都知道方差源于勾股定理，这就不难理解原点矩和中心矩了。
还能联想到力学中的力矩也是“矩”，而不是“距”。
力矩在物理学里是指作用力使物体绕着转动轴或支点转动的趋向。
力矩也是矢量，它等于力乘力臂。
由此可见数学和物理关系非同一般！二阶中心距，也叫作方差，它告诉我们一个随机变量在它均值附近波动的大小，方差越大,波动性越大。
方差也相当于机械运动中以重心为转轴的转动惯量。
(The moment of iner tia.)三阶中心距告诉我们一个随机密度函数向左或向右偏斜的程度。
在均值不为零的情况下，原点距只有纯数学意义。
A1,一阶矩就是 E(X),即样本均值。
具体说来就是A1=(西格玛Xi)/n ----（1）A2,二阶矩就是 E(X^2)即样本平方均值 ,具体说来就是 A2=(西格玛Xi^2)/n-----(2)Ak,K阶矩就是 E(X^k)即样本K次方的均值,具体说来就是 Ak=(西格玛Xi^k)/n，-----(3)用样本的K阶矩代替总体的K阶矩来估计总体中未知参数的方法。
原点矩与中心矩
第10讲 原点矩与中心矩 协方差与相关系数教学目的：掌握矩、协方差及相关系数的概念、性质及计算。
教学重点：矩、协方差及相关系数的概念和性质。
教学难点：矩、协方差及相关系数的概念。
教学学时：2学时教学过程：第三章 随机变量的数字特征§3.3 原点矩与中心矩随机变量的数字特征除了数学期望和方差外，为了更好的描述随机变量分布的特征，有时还要用到随机变量的各阶矩（原点矩与中心矩），它们在数理统计中有重要的应用。
定义1 设X 是随机变量，若),2,1)(( =k X E k 存在，则称它为X 的k 阶原点矩，记作)(X v k ，即)()(k k X E X v =， ,2,1=k显然，一阶原点矩就是数学期望，即)()(1X E X v =。
定义2 设随机变量X 的函数),2,1()]([ =-k X E X k 的数学期望存在，则称})]({[k X E X E -为X 的k 阶中心矩，记作)(X k μ，即})]({[)(k k X E X E X -=μ， ,2,1=k易知，一阶中心矩恒等于零，即0)(1≡X μ；二阶中心矩就是方差，即)()(2X D X =μ。
不难证明，原点矩与中心矩之间有如下关系：2122v v -=μ31213323v v v v +-=μ412121344364v v v v v v -+-=μ等。
定义3 设X 和Y 是随机变量，若),2,1,)(( =l k Y X E l k 存在，则称它为X 和Y 的l k +阶混合矩。
若),2,1,}()]([)]({[ =--l k Y E Y X E X E l k 存在，则称它为X 和Y 的l k +阶混合中心矩。
§3.4 协方差与相关系数1.协方差与相关系数的定义二维随机变量的数字特征中最常用的就是协方差与相关系数。
定义 3 设有二维随机变量),(Y X ，如果)]()][([Y E Y X E X E --存在，则称)]()][([Y E Y X E X E --为随机变量X 与Y 的协方差，记作),cov(Y X ，即=),cov(Y X )]()][([Y E Y X E X E -- 而)()(),cov(Y D X D Y X 称为随机变量X 与Y 的相关系数，记作),(Y X R ，即)()(),cov(),(Y D X D Y X Y X R =)()(),cov(Y X Y Xσσ=显然，协方差),cov(Y X 是X 和Y 的二阶混合中心矩。
随机变量的矩与协方差矩阵
随机变量的矩与协方差矩阵一、定义随机变量是概率论与数理统计中的重要概念，它表示随机试验结果的数值。
在概率论中，我们常常需要对随机变量进行描述和分析，而矩和协方差矩阵是常用的描述随机变量特征的工具。
二、矩的定义与性质1. 数学期望设X是一个随机变量，X的期望值记为E(X)，定义为E(X) =∑xP(X=x)，其中x代表X的取值，P(X=x)代表X取值为x的概率。
2. 方差方差是刻画随机变量X离散程度的一个指标，记为Var(X)，定义为Var(X) = E[(X-E(X))^2]。
可以简单理解为X与其期望E(X)的差的平方的期望。
3. k阶原点矩设X是一个随机变量，k阶原点矩表示为μk = E(X^k)，其中k为非负整数。
一阶原点矩即为数学期望。
4. k阶中心矩设X是一个随机变量，k阶中心矩表示为νk = E[(X-E(X))^k]，其中k为非负整数。
二阶中心矩即为方差。
三、协方差矩阵的定义与性质1. 协方差设X和Y是两个随机变量，协方差表示为Cov(X,Y)，定义为Cov(X,Y) = E[(X-E(X))(Y-E(Y))]。
协方差的绝对值越大，表示两个随机变量的相关程度越强。
2. 协方差矩阵设X是一个n维随机向量，协方差矩阵表示为Σ = [σij]，其中σij = Cov(Xi,Xj)，i,j=1,2,...,n。
协方差矩阵是一个对称矩阵，对角线元素为各个随机变量的方差，非对角线元素为各个随机变量之间的协方差。
3. 协方差矩阵与线性变换给定一个n维随机向量X和一个n×k的矩阵A，定义Y = AX，其中Y是一个k维随机向量。
则Y的协方差矩阵为Cov(Y) =ACov(X)A^T。
四、应用案例随机变量的矩与协方差矩阵在许多领域有广泛的应用，如金融、信号处理、机器学习等。
以机器学习为例，协方差矩阵可以用于评估不同特征之间的相关性，进而选择合适的特征进行分类或回归分析。
另外，在图像处理中，矩常常被用来描述图像的形状特征，例如图像的几何矩可以用于计算图像的中心矩、方向矩等。
随机变量的协方差和相关系数
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
cov( X , Y ) ( xi EX )( y j EY ) pij量时,
cov( X , Y )
( x EX )( y EY ) f ( x, y)dxdy.
存在，称它为X的k阶中心矩. 注：均值 E(X)是X一阶原点矩, 方差D(X)是X的二阶中心矩.
设 X 和 Y 是随机变量，若
E( X Y )
k
l
k,l=1,2,… 存在，
称它为 X 和 Y 的 k+l 阶混合原点矩.
若 E{[ X E ( X )]k [Y E (Y )]l } 存在， 称它为X 和 Y 的 k+l 阶混合中心矩. 注:协方差cov(X,Y)是X和Y的二阶混合中心矩.
例1 设X~N(0,1), Y=X2, 求X和Y的相关系数。
4. 若 XY 0 ，则称X和Y（线性）不相关。
定理：若随机变量X与Y的数学期望和方差都存 在，且均不为零，则下列四个命题等价： （1） XY 0 ； （2）cov(X ,Y) = 0；
（3）E(XY)=EXEY；
（4）D(X ±Y)=DX+DY。
n2
为(X1,X2, …,Xn) 的相关系数矩阵。
由于 i i
cov( X i , X i ) 1, D( X i ) D( X i )
故相关系数矩阵的主对角元素均为1.
五、 原点矩和中心矩
定义 设X和Y是随机变量，若
E ( X k ), k 1,2, 存在，称它为X的k阶原点矩，简称 k阶矩. 若 E{[ X E ( X )]k }, k 2,3,
协方差及相关系数
=0
ρX X
所以 X 与 X 不相关
( 3 ) 独立性由其定义来判断
对于任意的常数 a > 0 , 事件 ( X < a ) ( X < a ), 且 P ( X < a ) > 0 , P ( X < a ) < 1,因此有 P( X < a, X < a) = P( X < a) P ( X < a)P( X < a) < P( X < a) 所以 P ( X < a , X < a ) ≠ P ( X < a ) P ( X < a ) 故 X 与 X 不独立
Cov ( X , Y ) = E ( XY ) EXEY = pq Cov ( X , Y ) ρ XY = =1 DX DY
例2 设 ( X ,Y ) ~ N ( μ1, σ12,μ2,σ22,ρ), 求 ρXY 解
令 x μ1
Cov ( X ,Y ) = ∫
σ1 y μ2 =t σ2
=s
ξ ,η 为 X , Y的线性组合
所以 ξ ,η 都服从正态分布 N ( 0, + b )σ ) (a
2 2 2
在正态分布中 , 不相关与独立是等价的
所以当 a = b 时, ξ ,η 独立 当 a ≠ b 时, ξ ,η 不独立
( 3) 当ξ ,η 相互独立时 , 即a 2 = b 2 , ξ ,η 都服从
例1 已知 X ,Y 的联合分布为 X Y 1 0 p 0 0 q 1 0 0 < p <1 p+q=1
求 Cov (X ,Y ), ρXY 解 X P 1 p 0 q Y P 1 p 0 q XY P 1 p 0 q
概率论与数理统计(协方差及相关系数、矩)
实验步骤： 实验步骤： (1) 整理数据如图 所示． 整理数据如图4-5所示 所示．
图4-5 整理数据
(2) 计算边缘概率 计算边缘概率P{X = xi}和P{Y = yj} 和 在单元格G2中输入公式 ： 在单元格 中输入公式： = SUM(B2:F2)， 并将 中输入公式 ， 其复制到单元格区域G3:G6 其复制到单元格区域 在单元格B7中输入公式： 在单元格 中输入公式：=SUM(B2:B6)，并将其 中输入公式 ， 复制到单元格区域C7:F7 复制到单元格区域 (3) 计算期望 计算期望E(XY) 首先在单元格B9中输入公式： 首先在单元格 中输入公式： 中输入公式 =MMULT(B1:F1,B2:F6)， ，
−
π
∫ πcos zdz = 0, ∫ πsin z cos zdz = 0
−
1 E ( XY ) = 2π
π
因而Cov(X，Y) = 0，ρXY = 0． ， 因而 ， ． 不相关， 相关系数ρXY = 0，说明随机变量 与Y不相关， ，说明随机变量X与 不相关 但是， 所以X与 不独立 不独立． 但是，由于 X 2 + Y 2 = 1 ，所以 与Y不独立．
Cov ( X , Y ) = E ( XY ) − E ( X ) E (Y ) = 19 / 400,
所以
ρ XY =
Cov( X , Y ) 19 / 400 133 = = = 0.87 D( X ) D(Y ) 153 / 2800 153
4.3.2 相关系数 下面不加证明地给出相关系数的两条性质： 下面不加证明地给出相关系数的两条性质： (1) |ρXY | ≤ 1； ； 的充要条件是， (2) |ρXY | = 1的充要条件是，存在常数 ，b，使 的充要条件是 存在常数a， P{Y = aX + b} = 1． ． 定义4.6 若ρXY = 0，称X与Y不相关．0 < ρXY ≤ 1，称 定义 ， 与 不相关． ， 不相关 X与Y正相关，– 1 ≤ ρXY < 0，称X与Y负相关． 正相关， 负相关． 与 正相关 ， 与 负相关 事实上,相关系数 事实上 相关系数ρXY是X与Y线性关系强弱的一个 与 线性关系强弱的一个 度量,X与 的线性关系程度随着 的线性关系程度随着| 的减小而减弱, 度量 与Y的线性关系程度随着 ρXY|的减小而减弱 的减小而减弱 的线性关系最强， 时 与 的线性关系最强 当|ρXY| = 1时X与Y的线性关系最强， 的不存在线性关系， 当ρXY = 0时，意味 与Y的不存在线性关系，即X 时 意味X与 的不存在线性关系 不相关. 与Y不相关 不相关
协方差与相关系数
3 E ( X ) x 3 xdydx 3x xdx . 0 0 0 4 1 x 1 x2 3 E (Y ) y 3xdydx 3x dx . 0 0 0 2 8
Cov( X , Y ) E ( XY ) E ( X ) E (Y )
1
1 x
0 0
xy 3xdxdy
2 3 x 2 3x dx 0 10 2
2019/4/14
11
二维随机变量的协方差 例3 设( X ,Y)是二维离散型随机变量，其概率密度为
试求( X ,Y)的协方差。
1 x
3x,0 y x 1, f ( x, y ) 0, 其它.
2019/4/14
17
协方差的定义 设 n 维随机变量( X1 , X 2 ,..., X n )的二阶混合中心矩
cij Cov( X i , Yj ) E{[ X i E( X i )][ X j E( X j )]}
c11 c 21 都存在，则称矩阵 C ... c1n c12 c22 ... c2 n ... c1n ... c2 n ... ... ... cnn
2019/4/14
7
二维随机变量的协方差 例2 设( X ,Y)是二维离散型随机变量，其概率密度为 3 2 xy , 0 x 1, 0 y 2, f ( x, y ) 4 0, 其它. 试求( X ,Y)的协方差。 1 2 2 3 2 1 1 2 3 2 E ( X ) x xy dydx 3x dx 3 y dy . 0 0 0 4 12 0 4 1 2 2 3 2 3 1 3 3 E (Y ) y xy dydx 2 xdx 4 y dy . 0 0 0 0 4 32 2
概率论与数理统计电子教案：c4_3 协方差.相关系数与矩
3）C是非负定矩阵；
4）ci2j cii c jj , i, j 1,2,..., n
2020/8/27
4
协方差、相关系数、矩
二. 相关系数
定义：设二维随机变量X,Y的D(X)>0,D(Y)>0
称
XY
covX ,Y DX DY
为随机变量X与Y的相关系数。
注：1）ρXY是一无量纲的量。
a1a2 a1a2
XY
证明
相关系数是衡量两个随机变量之间线性相关程度 的数字特征.
2020/8/27
6
协方差、相关系数、矩
定义：设随机变量X,Y的相关系数存在
1）ρXY＝1 称 X,Y正相关. 2）ρXY＝－1 称 X,Y负相关. 3）ρXY＝0 称 X,Y不相关.
注：ρXY＝0仅说明X,Y之间没有线性关系，但可以 有其他非线性关系. 参见书上P116 例4.4.4.
2） XY
E
X
EX DX
Y
E
Y
D Y
E X * Y * cov X * ,Y *
2020/8/27
5
协方差、相关系数、矩
性质：设随机变量X,Y的相关系数ρ存在，则
1） |ρ|1
证明
2） |ρ|＝1
X与Y依概率为1线性相关。即
, 0 s .t PY X 1
证明
3）若＝a 1X+b1 , = a 2Y+b2 则
PY X 1
证明：" " 必要性 1时 由1）有
D X Y 0 E X Y 0
由 方 差 的 性 质4） 得
P X Y E X Y 1 即
P X Y 0 1
PY －
原点矩与中心矩
第10讲 原点矩与中心矩 协方差与相关系数教学目的：掌握矩、协方差及相关系数的概念、性质及计算。
教学重点：矩、协方差及相关系数的概念和性质。
教学难点：矩、协方差及相关系数的概念。
教学学时：2学时教学过程：第三章 随机变量的数字特征§3.3 原点矩与中心矩随机变量的数字特征除了数学期望和方差外，为了更好的描述随机变量分布的特征，有时还要用到随机变量的各阶矩（原点矩与中心矩），它们在数理统计中有重要的应用。
定义1 设X 是随机变量，若),2,1)(( =k X E k 存在，则称它为X 的k 阶原点矩，记作)(X v k ，即)()(k k X E X v =， ,2,1=k显然，一阶原点矩就是数学期望，即)()(1X E X v =。
定义2 设随机变量X 的函数),2,1()]([ =-k X E X k 的数学期望存在，则称})]({[k X E X E -为X 的k 阶中心矩，记作)(X k μ，即})]({[)(k k X E X E X -=μ， ,2,1=k易知，一阶中心矩恒等于零，即0)(1≡X μ；二阶中心矩就是方差，即)()(2X D X =μ。
不难证明，原点矩与中心矩之间有如下关系：2122v v -=μ31213323v v v v +-=μ412121344364v v v v v v -+-=μ等。
定义3 设X 和Y 是随机变量，若),2,1,)(( =l k Y X E l k 存在，则称它为X 和Y 的l k +阶混合矩。
若),2,1,}()]([)]({[ =--l k Y E Y X E X E l k 存在，则称它为X 和Y 的l k +阶混合中心矩。
§3.4 协方差与相关系数1.协方差与相关系数的定义二维随机变量的数字特征中最常用的就是协方差与相关系数。
定义 3 设有二维随机变量),(Y X ，如果)]()][([Y E Y X E X E --存在，则称)]()][([Y E Y X E X E --为随机变量X 与Y 的协方差，记作),cov(Y X ，即=),cov(Y X )]()][([Y E Y X E X E -- 而)()(),cov(Y D X D Y X 称为随机变量X 与Y 的相关系数，记作),(Y X R ，即)()(),cov(),(Y D X D Y X Y X R =)()(),cov(Y X Y Xσσ=显然，协方差),cov(Y X 是X 和Y 的二阶混合中心矩。
概率统计：数学期望、方差、协方差、相关系数、矩
概率统计：数学期望、方差、协方差、相关系数、矩摘要：最近在学习机器学习/数据挖掘的算法,在看一些paper的时候经常会遇到以前学过的数学公式或者名词,又是总是想不起来,所以在此记录下自己的数学复习过程,方便后面查阅。
1：数学期望数学期望是随机变量的重要特征之一,随机变量X的数学期望记为E(X),E(X)是X的算术平均的近似值,数学期望表示了X的平均值大小。
∙当X为离散型随机变量时,并且其分布律为P(X=x k) ＝pk ,其中k=1,2,…,n；则数学期望（要求绝对收敛）.∙当X为连续型随机变量时,设其概率密度为f(x),则数学期望为（要求绝对收敛）.2: 方差数学期望给出了随机变量的平均大小,现实生活中我们还经常关心随机变量的取值在均值周围的散布程度,而方差就是这样的一个数字特征。
设X是随机变量,并且E{[X-E(X)2]}存在,则称它为X的方差,记为D(X)。
∙当X为离散型时,D(x) = .∙当X为连续型时,D(x) = .方差的算术平方根为X的标准差。
另外,D(X) = E{[X-E(X)2]} 经过化解可得D(X) = E(X2) – [E(X)]2 .我们一般计算的时候常用这个式子。
3：协方差对于二维的随机变量(X,Y)，我们还要讨论它们的相互关系,协方差就是一个这样的数字特征。
因为E{[X-E(X)][Y-E[Y]]} = E(XY) – E(X)E(Y).又当X,Y相互独立的时候E(XY) = E(X)E(Y).这意味着若E{[X-E(X)][Y-E[Y]]} ≠ 0 ,则X与Y是存在一定关系的。
我们把E{[X-E(X)][Y-E[Y]]} 称为随机变量X与Y的协方差。
记为Cov(X,Y).即：Cov(X,Y) = E{[X-E(X)][Y-E[Y]]}4：相关系数协方差在某种意义上是表示了两个随机变量间的关系,但是Cov(X,Y)的取值大小与X,Y的量纲有关,不方便分析,所以为了避免这一点,我们用X,Y的标准化随机变量来讨论。
方差与协方差理解
§2 方差、协方差与相关系数2。
1方差例1比较甲乙两人的射击技术，已知两人每次击中环数分布为：ξ：789010601...⎛⎝ ⎫⎭⎪η：6789100102040201.....⎛⎝ ⎫⎭⎪。
问哪一个技术较好？首先看两人平均击中环数,此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好.上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度。
称ξ-E ξ为随机变量ξ对于均值E ξ的离差（deviation)，它是一随机变量. 为了给出一个描述离散程度的数值,考虑用()E E ξξ-，但由于()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此用()E E ξξ-是不恰当的。
我们改用()2E E ξξ-描述取值ξ的离散程度，这就是方差. 定义1 若()2E E ξξ-存在，为有限值，就称它是随机变量ξ的方差（variance)，记作Var ξ，Var ξ=()2E E ξξ- （1）但Var ξ的量纲与ξ不同，为了统一量纲，有时用ξ的标准差（standard deviation)。
方差是随机变量函数()2E ξξ-的数学期望，由§1的（5）式，即可写出方差的计算公式Var ξ=2()d ()x E F x ξξ+∞-∞-⎰=22()(),,()()d .i i i x E P x x E p x x ξξξξ+∞-∞⎧-=⎪⎨⎪-⎩∑⎰离散型，连续型 （2)进一步，注意到()2E E ξξ-=()222E E E ξξξξ⎡⎤-+⎣⎦=()22E E ξξ-即有Var ξ=()22E E ξξ-。
（3）许多情况,用(3)式计算方差较方便些.例1(续） 计算例1中的方差Var ξ与Var η.解 利用(3)式2E ξ=∑=ii i x P x )(2ξ=72×0.1+82×0。
原点矩和中心矩
k阶原点距和k阶中心距各是说明什么数字特征在数学的概率领域中有一类数字特征叫矩.(X^k为X的k次方)原点矩：对于正整数k,如果E|X^k|<无穷,称Vk＝E(X^k) 为随机变量X的k阶原点矩.X的数学期望是X的一阶原点矩,即E(x)=v1.k阶矩定义：设X为随机变量,c为常数,k为正整数,如果E[|X-c|^c]<无穷大,则称E[（X -c）^k]为X关于点c的k阶矩.c=0时,称其为X的k阶原点矩；c=E[X]时,称为k阶中心矩.原点矩顾名思义，是随机变量到原点的距离（这里假设原点即为零点）。
中心矩则类似于方差，先要得出样本的期望即均值，然后计算出随机变量到样本均值的一种距离，与方差不同的是，这里所说的距离不再是平方就能构建出来的，而是k次方。
这也就不难理解为什么原点矩和中心矩不是距离的“距”，而是矩阵的“矩”了。
仅凭本人目前的所学，我认为通过随机试验得出的各种结果虽然都假定为实值单值函数，但它们完全有可能是空间分布，即不在一个平面上。
那么这是的距离就类似于一个向量的模了，于是在空间的范围内也能比较出大小来了。
我们都知道方差源于勾股定理，这就不难理解原点矩和中心矩了。
还能联想到力学中的力矩也是“矩”，而不是“距”。
力矩在物理学里是指作用力使物体绕着转动轴或支点转动的趋向。
力矩也是矢量，它等于力乘力臂。
由此可见数学和物理关系非同一般！二阶中心距，也叫作方差，它告诉我们一个随机变量在它均值附近波动的大小，方差越大,波动性越大。
方差也相当于机械运动中以重心为转轴的转动惯量。
(The moment of iner tia.)三阶中心距告诉我们一个随机密度函数向左或向右偏斜的程度。
在均值不为零的情况下，原点距只有纯数学意义。
A1,一阶矩就是 E(X),即样本均值。
具体说来就是A1=(西格玛Xi)/n ----（1）A2,二阶矩就是 E(X^2)即样本平方均值 ,具体说来就是 A2=(西格玛Xi^2)/n-----(2)Ak,K阶矩就是 E(X^k)即样本K次方的均值,具体说来就是 Ak=(西格玛Xi^k)/n，-----(3)用样本的K阶矩代替总体的K阶矩来估计总体中未知参数的方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第10讲 原点矩与中心矩 协方差与相关系数教学目的：掌握矩、协方差及相关系数的概念、性质及计算。
教学重点：矩、协方差及相关系数的概念和性质。
教学难点：矩、协方差及相关系数的概念。
教学学时：2学时 教学过程：第三章 随机变量的数字特征§3.3 原点矩与中心矩随机变量的数字特征除了数学期望和方差外，为了更好的描述随机变量分布的特征，有时还要用到随机变量的各阶矩（原点矩与中心矩），它们在数理统计中有重要的应用。
定义1 设X 是随机变量，若),2,1)(( =k X E k 存在，则称它为X 的k 阶原点矩，记作)(X v k ，即)()(kk X E X v =， ,2,1=k显然，一阶原点矩就是数学期望，即)()(1X E X v =。
定义2 设随机变量X 的函数),2,1()]([ =-k X E X k 的数学期望存在，则称})]({[kX E X E -为X的k 阶中心矩，记作)(X k μ，即})]({[)(kk X E X E X -=μ， ,2,1=k易知，一阶中心矩恒等于零，即0)(1≡X μ；二阶中心矩就是方差，即)()(2X D X =μ。
不难证明，原点矩与中心矩之间有如下关系：2122v v -=μ31213323v v v v +-=μ412121344364v v v v v v -+-=μ等。
定义3 设X 和Y 是随机变量，若),2,1,)(( =l k Y X E l k 存在，则称它为X 和Y 的l k +阶混合矩。
若),2,1,}()]([)]({[ =--l k Y E Y X E X E l k 存在，则称它为X和Y 的lk +阶混合中心矩。
§3.4 协方差与相关系数1.协方差与相关系数的定义二维随机变量的数字特征中最常用的就是协方差与相关系数。
定义 3 设有二维随机变量),(Y X ，如果)]()][([Y E Y X E X E --存在，则称)]()][([Y E Y X E X E --为随机变量X与Y 的协方差，记作),cov(Y X ，即=),cov(Y X )]()][([Y E Y X E X E --而)()(),cov(Y D X D Y X 称为随机变量X 与Y 的相关系数，记作),(Y X R ，即)()(),cov(),(Y D X D Y X Y X R =)()(),cov(Y X Y X σσ=显然，协方差),cov(Y X 是X 和Y 的二阶混合中心矩。
当0),cov(=Y X ，通常称随机变量X 与Y 是不相关的。
2.协方差的性质(1) =),cov(Y X ),cov(X Y ，)(),cov(X D X X = 由定义知性质（1）是显然的。
(2) =),cov(Y X )()()(Y E X E XY E -证 =),cov(Y X )]()()()([Y E X E X YE Y XE XY E +--)()()()()()()(Y E X E Y E X E Y E X E XY E +--= )()()(Y E X E XY E -=(3) ),cov(2)()()(Y X Y D X D Y X D ±+=±证 22))](())([()]()[()(Y E Y X E X E Y X E Y X E Y X D -±-=±-±=±),cov(2)()(Y X Y D X D ±+= 该性质可推广到任意场合，即∑∑∑∑<==+=ji j ini ini i X XXD X D ),cov(2)()(11(4) ),cov(),cov(Y X ab bY aX =，b a ,是常数。
由定义知性质（4）是显然的。
(5) ),cov(),cov(),cov(2121Y X Y X Y X X +=+由定义知性质（5）是显然的。
(6) 若X 与Y 相互独立，则0),cov(=Y X ，即X 与Y 不相关。
反之，若X 与Y 不相关，X 与Y 不一定相互独立。
3.相关系数的性质(1) 1),(≤Y X R(2) 若X 与Y 相互独立，则0),(=Y X R(3) 当且仅当X 与Y 之间存在线性关系1}{=+=b aX Y P （b a ,为常数，0≠a ）时，1),(=Y X R ，且⎩⎨⎧<->=0,10,1),(a a Y X R 。
证 对于性质（1），我们考虑随机变量)()()()(Y D Y E Y X D X E X Z -±-=，由协方差的性质（3）可得 ))()(,)()(cov(2))()(())()(()(Y D Y E Y X D X E X Y D Y E Y D X D X E X D Z D --±-+-=0)),(1(2),(211≥±=±+=Y X R Y X R 故1),(≤Y X R对于性质（2），由于X 与Y 相互独立，则有0),cov(=Y X ，由定义知0),(=Y X R 。
对于性质（3），若1}{=+=b aX Y P ，则b X aE Y E +=)()(，)()(2X D a Y D =，)()())]())(([(),(Y D X D Y E Y X E X E Y X R --=aa X D a X aD Y D aX D b X aE b aX X E X E ==--+-=)()()()()])())(([(即1),(=Y X R ，⎩⎨⎧<->=0,10,1),(a a Y X R事实上相关系数只是随机变量间线性关系强弱的一个度量，当1),(=Y X R 时说明随机变量X 与Y 之间具有很强的线性关系，当1),(=Y X R 时为正线性相关，1),(-=Y X R 时为负线性相关。
当1),(<Y X R 时，随机变量X与Y 之间的线性相关程度将随着),(Y X R 的减小而减弱，当0),(=Y X R 时，意味着随机变量X 与Y 是不相关的。
例 1 设随机变量Z 服从],[ππ-上的均匀分布，又Z Y Z X cos ,sin ==，试求相关系数),(Y X R 。
解 ⎰⎰--====ππππππcos21)(,0sin21)(zdz Y E zdz X E⎰⎰--====πππππ21cos )(,21sin21)(2222zdz Y E zdz XE⎰-==πππ0cos sin21)(zdz z XY E故,0),cov(=Y X 0),(=Y X R相关系数0),(=Y X R ，随机变量X 与Y 不相关，但是有122=+Y X ，从而X 与Y 不独立。
例2 设二维随机变量),(Y X 的联合概率分布如下：试证明X 与Y 不相关，但不相互独立。
证 易知X 与Y 的边缘概率分布分别是：由公式得]321310][(31131031)1[(31113100311)1(),cov(⨯+⨯⨯+⨯+⨯--⨯⨯+⨯⨯+⨯⨯-=Y X03200=⨯-=所以X 与Y 是不相关的。
但是，因为31)0,0(=p ，913131)0()0(=⨯=Y X p p ，≠)0,0(p )0()0(Y X p p故X 与Y 不相互独立。
例3 设二维随机变量),(Y X 的概率密度函数为⎩⎨⎧>+≤+=1,01,1),(2222yx y x y x f π试证明随机变量X 与Y 不相关，也不相互独立。
证 由于D 关于x 轴、y 轴对称，故⎰⎰⎰⎰⎰⎰======DDDxydxdyXY E ydxdy Y E xdxdyX E 0)(,0)(,0)(因而 ,0),cov(=Y X 0),(=Y X R ，即X 与Y 不相关。
又由于1()01X x f x x ≤=⎪≥⎩，，1()01Y y f x y ⎧≤⎪=⎨⎪≥⎩，显然在{}1,1,1|),(22>+≤≤y x y x y x 上，)()(0),(y f x f y x f Y X ≠≡，所以X 与Y 不相互独立。
数学期望(均值函数或一阶原点矩)上一页下一页数学期望定义为随机信号X(t)的所有样本函数,在同一时刻取值的统计平均值或称为积平均,简称均值,设随机信号X(t),在t i时刻的状态X(t i)是一个随机变量,若它的取值是离散的,在各个时刻所取的几个可能值x1, x2,…, x n.设观测时间足够长,次数足够多(N→∞),若已知离散随机变量取值的概率P[x N(t i)],则可预期取x1的次数为NP1,x2的次数为NP2等等.因而该随机信号的平均值就是各样值与其相应的次数相乘后逐项相加再被总的次数N除,即:(4.7)式中符号E[.]表示统计平均的运算.。