方差与协方差理解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定义1若 存在，为有限值，就称它是随机变量 的方差(variance)，记作Var ,
Var = (1)
但Var 的量纲与 不同，为了统一量纲，有时用 ，称为 的标准差(standard deviation).
方差是随机变量函数 的数学期望，由§1的(5)式，即可写出方差的计算公式
Var = = (2)
= .(7)
证Var( =E( -E( =E
=E
= +2 ,
得证(6)式成立. 当 两两独立时，对任何 有 ，
故
E =E(
=E =0,
这就得证(7)式成立.
利用这些性质，可简化某些随机变量方差的计算.
例5设ξ服从二项分布B(n,p), 求 .
解如§1例12构造 , , 它们相互独立同分布，此时
Var =pq.
例2试计算泊松分布P(λ)的方差.
解
所以Var .
例3设 服从[ a, b ]上的均匀分布U [a, b]，求Var .
解 ,
Var .
例4设 服从正态分布 ，求Var .
解此时用公式(2)，由于 ,
Var
.
可见正态分布中参数 就是它的方差, 就是标准差.
方差也有若干简单而重要的性质. 先介绍一个不等式.
,
称它为随机变量ξ的标准化. 求 与Var .
解由均值与方差的性质可知
,
.
2.2协方差
数学期望和方差反映了随机变量的分布特征. 对于随机向量 , 除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征—协方差.
定义2记 和 的联合分布函数为 .
若 ，就称
(8)
为 的协方差( covariance)，记作Cov( ).
§2 方差、协方差与相关系数
2.1方差
例1比较甲乙两人的射击技术，已知两人每次击中环数分布为：
： ： .
问哪一个技术较好？
首先看两人平均击中环数，此时 ，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好.
.
性质2设c,b都是常数，则
Var( +b)= .(5)
证Var( +b)=E( +b-E( +b) =E( +b-c -b
= = .
性质3若 , 则 .
证因 =E - , 而E(ξ-c =E -2c + ,
两边相减得 .这说明随机变量ξ对数学期望 的离散度最小.
性质4 = +2 (6)
特别若 两两独立，则
显然， .公式(6)可改写为
Var( ) +2 .
容易验证，协方差有如下性质：
性质1Cov( ) = Cov( ) .
性质2设 是常数，则
.
性质3 .
对于n维随机向量ξ= ，可写出它的协方差阵
, (9)
其中 .
由性质1可知B是一个对称阵，且对任何实数 , , 二次型
,
即随机向量ξ的协方差阵B是非负定的.
上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.
称 - 为随机变量 对于均值 的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用 ，但由于 = =0对一切随机变量均成立，即 的离差正负相消，因此用 是不恰当的. 我们改用 描述取值 的离散程度，这就是方差.
ε=3 ，则
≈0.89.
当然这个估计还是比较粗糙的（当 ～ 时，在第二章曾经指出,P(|ξ- | 3 )=P(|ξ- | 3σ)≈0.997 ）.
性质1 =0的充要条件是P(ξ=c) =1，其中c是常数.
证显然条件充分. 反之，如果 = 0，记 = c, 由切贝雪夫不等式,
P(|ξ- | ε)=0
对一切正数ε成立. 从而
注性质1表明相关系数 时，ξ与 以概率1存在着线性关系. 另一个极端是 = 0，此时我们称ξ与 不相关(uncorrected).
性质2对随机变量ξ和 , 下列事实等价：
切贝雪夫(Chebyshev)不等式若随机变量的方差存在，则对任意给定的正数ε，恒有
.(4)
证设 的分布函数为 ，则
=
= / .
这就Βιβλιοθήκη Baidu(4)式.
切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义. 事实上，该式断言 落在 与 的概率小于等于 / ，或者说， 落在区间 的概率大于1- / ，从而只用数学期望和方差就可对上述概率进行估计. 例如，取
性质4设
ξ= ,C= ,
则 的协方差阵为 ，其中B是ξ的协方差阵.
因为 ，所以 的第 元素就是 的第i元素与第j元素的协方差.
2.3相关系数
协方差虽在某种意义上表示了两个随机变量间的关系，但 的取值大小与ξ, 的量纲有关. 为避免这一点，用ξ, 的标准化随机变量（见例7）来讨论.
定义3称
(10)
为ξ, 的相关系数(correlation coefficient).
为了讨论相关系数的意义，先看一个重要的不等式.
柯西—许瓦茨(Cauchy—Schwarz)不等式对任意随机变量ξ, 有
.(11)
等式成立当且仅当存在常数 使
.(12)
证对任意实数
是 的二次非负多项式，所以它的判别式
,
证得(11)式成立. (11)式中等式成立当且仅当多项式 有重根 ，即
.
又由(3)
,
故得 ,同时有 . 所以由方差的性质1就证得 ，此即 (12)式.
由此即可得相关系数的一个重要性质.
性质1对相关系数 有
.(13)
=1当且仅当
;
=-1当且仅当
.(14)
证由(11)式得
,
证得(13)式成立. 证明第二个结论. 由定义 . 由柯西-许瓦兹不等式的证明可知, 等价于 = 有重根 = 因此由(12)式得 当且仅当 ； 当且仅当 .
由于相互独立必是两两独立的，由性质4
.
例6 设随机变量 相互独立同分布, , Var = ,
( ). 记 = , 求 , .
解由§1性质2和本节性质2和4有
,
.
这说明在独立同分布时， 作为各 的算术平均，它的数学期望与各 的数学期望相同，但方差只有 的1/ n倍. 这一事实在数理统计中有重要意义.
例7设随机变量ξ的期望与方差都存在, . 令
进一步，注意到
= =
即有
Var = .(3)
许多情况，用(3)式计算方差较方便些.
例1(续)计算例1中的方差Var 与Var .
解利用(3)式
= = ×0.1+ ×0.8+ ×0.1=64.2,
Var = =64.2-- =0.2.
同理, Var = = 65.2-64 = 1.2 > Var ,所以 取值较 分散.这说明甲的射击技术较好.
Var = (1)
但Var 的量纲与 不同，为了统一量纲，有时用 ，称为 的标准差(standard deviation).
方差是随机变量函数 的数学期望，由§1的(5)式，即可写出方差的计算公式
Var = = (2)
= .(7)
证Var( =E( -E( =E
=E
= +2 ,
得证(6)式成立. 当 两两独立时，对任何 有 ，
故
E =E(
=E =0,
这就得证(7)式成立.
利用这些性质，可简化某些随机变量方差的计算.
例5设ξ服从二项分布B(n,p), 求 .
解如§1例12构造 , , 它们相互独立同分布，此时
Var =pq.
例2试计算泊松分布P(λ)的方差.
解
所以Var .
例3设 服从[ a, b ]上的均匀分布U [a, b]，求Var .
解 ,
Var .
例4设 服从正态分布 ，求Var .
解此时用公式(2)，由于 ,
Var
.
可见正态分布中参数 就是它的方差, 就是标准差.
方差也有若干简单而重要的性质. 先介绍一个不等式.
,
称它为随机变量ξ的标准化. 求 与Var .
解由均值与方差的性质可知
,
.
2.2协方差
数学期望和方差反映了随机变量的分布特征. 对于随机向量 , 除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征—协方差.
定义2记 和 的联合分布函数为 .
若 ，就称
(8)
为 的协方差( covariance)，记作Cov( ).
§2 方差、协方差与相关系数
2.1方差
例1比较甲乙两人的射击技术，已知两人每次击中环数分布为：
： ： .
问哪一个技术较好？
首先看两人平均击中环数，此时 ，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好.
.
性质2设c,b都是常数，则
Var( +b)= .(5)
证Var( +b)=E( +b-E( +b) =E( +b-c -b
= = .
性质3若 , 则 .
证因 =E - , 而E(ξ-c =E -2c + ,
两边相减得 .这说明随机变量ξ对数学期望 的离散度最小.
性质4 = +2 (6)
特别若 两两独立，则
显然， .公式(6)可改写为
Var( ) +2 .
容易验证，协方差有如下性质：
性质1Cov( ) = Cov( ) .
性质2设 是常数，则
.
性质3 .
对于n维随机向量ξ= ，可写出它的协方差阵
, (9)
其中 .
由性质1可知B是一个对称阵，且对任何实数 , , 二次型
,
即随机向量ξ的协方差阵B是非负定的.
上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.
称 - 为随机变量 对于均值 的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用 ，但由于 = =0对一切随机变量均成立，即 的离差正负相消，因此用 是不恰当的. 我们改用 描述取值 的离散程度，这就是方差.
ε=3 ，则
≈0.89.
当然这个估计还是比较粗糙的（当 ～ 时，在第二章曾经指出,P(|ξ- | 3 )=P(|ξ- | 3σ)≈0.997 ）.
性质1 =0的充要条件是P(ξ=c) =1，其中c是常数.
证显然条件充分. 反之，如果 = 0，记 = c, 由切贝雪夫不等式,
P(|ξ- | ε)=0
对一切正数ε成立. 从而
注性质1表明相关系数 时，ξ与 以概率1存在着线性关系. 另一个极端是 = 0，此时我们称ξ与 不相关(uncorrected).
性质2对随机变量ξ和 , 下列事实等价：
切贝雪夫(Chebyshev)不等式若随机变量的方差存在，则对任意给定的正数ε，恒有
.(4)
证设 的分布函数为 ，则
=
= / .
这就Βιβλιοθήκη Baidu(4)式.
切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义. 事实上，该式断言 落在 与 的概率小于等于 / ，或者说， 落在区间 的概率大于1- / ，从而只用数学期望和方差就可对上述概率进行估计. 例如，取
性质4设
ξ= ,C= ,
则 的协方差阵为 ，其中B是ξ的协方差阵.
因为 ，所以 的第 元素就是 的第i元素与第j元素的协方差.
2.3相关系数
协方差虽在某种意义上表示了两个随机变量间的关系，但 的取值大小与ξ, 的量纲有关. 为避免这一点，用ξ, 的标准化随机变量（见例7）来讨论.
定义3称
(10)
为ξ, 的相关系数(correlation coefficient).
为了讨论相关系数的意义，先看一个重要的不等式.
柯西—许瓦茨(Cauchy—Schwarz)不等式对任意随机变量ξ, 有
.(11)
等式成立当且仅当存在常数 使
.(12)
证对任意实数
是 的二次非负多项式，所以它的判别式
,
证得(11)式成立. (11)式中等式成立当且仅当多项式 有重根 ，即
.
又由(3)
,
故得 ,同时有 . 所以由方差的性质1就证得 ，此即 (12)式.
由此即可得相关系数的一个重要性质.
性质1对相关系数 有
.(13)
=1当且仅当
;
=-1当且仅当
.(14)
证由(11)式得
,
证得(13)式成立. 证明第二个结论. 由定义 . 由柯西-许瓦兹不等式的证明可知, 等价于 = 有重根 = 因此由(12)式得 当且仅当 ； 当且仅当 .
由于相互独立必是两两独立的，由性质4
.
例6 设随机变量 相互独立同分布, , Var = ,
( ). 记 = , 求 , .
解由§1性质2和本节性质2和4有
,
.
这说明在独立同分布时， 作为各 的算术平均，它的数学期望与各 的数学期望相同，但方差只有 的1/ n倍. 这一事实在数理统计中有重要意义.
例7设随机变量ξ的期望与方差都存在, . 令
进一步，注意到
= =
即有
Var = .(3)
许多情况，用(3)式计算方差较方便些.
例1(续)计算例1中的方差Var 与Var .
解利用(3)式
= = ×0.1+ ×0.8+ ×0.1=64.2,
Var = =64.2-- =0.2.
同理, Var = = 65.2-64 = 1.2 > Var ,所以 取值较 分散.这说明甲的射击技术较好.