第13讲概率统计 王松桂
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
证：由方差与协方差关系，对任意实数 有 由方差与协方差关系，对任意实数b, 0≤Var(Y-bX)=b2Var(X)+Var(Y)-2b Cov(X,Y ), Cov( X ,Y) 令 b= , Var( X ) (X
则有
2
=Var(Y)[1 ρ2 ], 由方差Var(Y)>0, 知 1-ρ 2≥ 0, 所以 | ρ |≤1。 由方差 。
4.4.2 协方差矩阵 将随机向量 (X1, X2) 的四个二阶中心矩 2 c11 = E{[ X1 E( X1)] }, c12 = E{[ X1 E( X1)][ X2 E( X2 )]}, c21 = E{[ X2 E( X2 )][ X1 E( X1)]},
c22 = E{[ X2 E( X2 )]2} c11 c12 ， 排成一个2×2矩阵 排成一个 × 矩阵 c21 c22
Cov( X ,Y) ρ= = 0； Var( X )Var(Y)
并不一定能推出X和 独立。 但ρ=0 并不一定能推出 和 Y 独立。 请看下例： 请看下例：
例 1：设 (X,Y) 服从单位 D={ (x, y): x2+y2≤1} ： 上的均匀分布，证明： 。 上的均匀分布，证明： ρXY = 0。 证明: 证明
ቤተ መጻሕፍቲ ባይዱ
性质(5)可推广到 个随机变量的情形 性质 可推广到n个随机变量的情形： 可推广到 个随机变量的情形：
Var(∑Xi ) = ∑Var( Xi ) + 2∑∑Cov( Xi , X j ) .
i=1 i=1 i< j
n
n
两两独立， 若 X1, X2, …, Xn 两两独立，则
Var(∑Xi ) = ∑Var( Xi ) .
i=1 i=1
n
n
协方差的大小在一定程度上反映了X 协方差的大小在一定程度上反映了 和Y 相互间的关系，但它还受X 相互间的关系，但它还受 和Y 本身度量单位 的影响。 例如： 的影响。 例如： Cov(aX, bY) = ab Cov(X, Y). 为了克服这一缺点， 为了克服这一缺点，对协方差进行标准 化，这就引入了相关系数 。
§4.3 矩与协方差矩阵
4.4.1 矩 定义1： 是随机变量, 定义 ：设X是随机变量 若E(Xk) 存在 是随机变量 (k =1, 2, …), 则称其为 的 k 阶原点矩；若 则称其为X 阶原点矩； E{[X-E(X)]k} 存在 = 1,2, …), 则称其为 存在(k 则称其为X 阶中心矩。 的 k 阶中心矩。 易知： 易知：X 的期望 E(X) 是 X 的一阶原点 方差Var(X) 是 X 的二阶中心矩。 的二阶中心矩。 矩，方差
[Cov( X ,Y)] Var(Y-bX) = Var(Y) Var( X ) [Cov( X ,Y)]2 =Var(Y)1 Var( X )Var(Y)
(2). X 和Y 独立时 ρ=0，但其逆不真； 独立时, ，但其逆不真； 独立时， 由于当 X 和 Y 独立时，Cov(X, Y)= 0 . 所以， 所以，
n元正态分布的几条重要性质： 元正态分布的几条重要性质： (1). X =(X1, X2, …, Xn) ' 服从 n 元正态分布
对一切不全为 0 的实数 a1, a2, …, an， a1X1+ a2 X2+ …+ an Xn 服从正态分布。 服从正态分布。
(2). 若 X=(X1,X2, …,Xn)'服从 元正态分布， 服从n 服从 元正态分布， Y1,Y2,…,Yk 是 Xj (j=1, 2,…, n)的线性组合 的线性组合, … … 的线性组合 服从k 则(Y1,Y2, …, Yk)'服从 元正态分布。 服从 元正态分布。 这一性质称为正态变量的线性变换不变性。 这一性质称为正态变量的线性变换不变性。
定义2： 是随机变量, 定义 ：设X和Y是随机变量 若 E(XkYm) 和 是随机变量 存在(k, 存在 m=1, 2,…), 则称其为 与Y的 k+m 阶 … 则称其为X与 的 混合原点矩； 混合原点矩；若 E{[X-E(X)]k [Y-E(Y)]m}存在 存在 (k, m=1,2,…，则称其为 与Y的 k+m 阶混合中 … 则称其为X与 的 心矩。 心矩。
1 ′C1( X ), = exp ( X ) n2 12 (2π ) | C | 2 1
则称X服从 元正态分布 则称 服从n元正态分布。 服从 元正态分布。 其中C是 的协方差阵， 其中 是 (X1, X2, …, Xn) 的协方差阵， |C|是C的行列式， C1 是 的行列式 的行列式， 表示 的逆矩阵， 表示C的逆矩阵 的逆矩阵， X和 是n维列向量，X ′表示 的转置。 维列向量， 表示X的转置 的转置。 和 维列向量
(3). |ρ|=1
存在常数a, 存在常数 b(b≠0)， ，
以概率1 使 P{ Y = a+bX } = 1 ，即 X和 Y以概率 和 以概率 线性相关。 线性相关。
前面, 我们已经看到： 前面 我们已经看到： 独立， 不相关；但由X 若X 与Y 独立，则X 与Y 不相关；但由 不相关，不一定能推出X与 独立 独立。 与Y 不相关，不一定能推出 与Y独立。 但对下述情形，独立与不相关是一回事： 但对下述情形，独立与不相关是一回事： 服从二维正态分布， 若(X, Y )服从二维正态分布，则X 与Y 独 服从二维正态分布 立的充分必要条件是X与 不相关 不相关。 立的充分必要条件是 与Y不相关。
c11 c12 c21 c22 C = M M c c n1 n2 L c1n L c2n L M L cnn
存在， 存在，则称矩阵
协方差阵。 为(X1, X2, …, Xn) 的协方差阵。
设X′ =(X1,X2, …,Xn)是一个 维随机向量, 是一个n维随机向量 是一个 维随机向量 若其概率密度 f (x1, x2, …, xn)
x2 + y2 ≤1 1 1
1y xdx dy = π ∫1 y ∫ 1y
2 2
= ∫10 dy = 0.
1
所以，Cov(X, Y)= E(XY)-E(X) E(Y) = 0 . 所以， 此外， 此外，Var(X) > 0, Var(Y) > 0 . 不相关。 所以， ， 所以，ρXY = 0，即 X 与 Y 不相关。 但是，在例3.6.2已计算过: 与 不独立 不独立。 但是，在例3.6.2已计算过: X与Y不独立。 3.6.2
协方差性质 (1). Cov(X, Y) = Cov(Y, X)； ； (2). 设 a, b, c, d 是常数，则 是常数， Cov( aX+b, cY+d ) = ac Cov(X, Y) ； (3). Cov(X1+X2, Y)= Cov(X1, Y) + Cov(X2, Y) ； (4). Cov(X, Y) =E(XY)-[E(X)][E(Y)] ， 相互独立时， 当 X 和 Y 相互独立时，Cov(X, Y)=0； ； (5). Var(X+Y)=Var(X)+Var(Y)+2Cov(X, Y) .
Z 的概率密度为
1 fZ (z) = e 3 2π
( z5)2 18
, ∞ < z < ∞.
小结
本讲首先介绍二维随机向量(X,Y)的分量 的分量 本讲首先介绍二维随机向量 X与Y 的协方差及相关系数的概念、性质和计 与 的协方差及相关系数的概念、 然后介绍随机变量的各种矩(k 阶原点矩、 算；然后介绍随机变量的各种矩 阶原点矩、 k 阶中心矩、k+m 阶混合原点矩、k+m 阶混 阶中心矩、 阶混合原点矩、 合中心矩)， 维随机向量的协方差阵的概念、 合中心矩 ，n 维随机向量的协方差阵的概念、 性质和计算；最后简单介绍了n 性质和计算；最后简单介绍了 元正态分布 的概念和三条重要性质。 的概念和三条重要性质。
4.3.2 相关系数 定义2: 设Var(X) > 0, Var(Y) > 0, 则称 定义
Cov( X , Y) Var( X ) Var(Y)
ρXY =
为随机变量X 为随机变量 和Y 的相关系数 。 在不致引起混淆时， 在不致引起混淆时，记 ρXY为 ρ 。
相关系数性质
(1). | ρ |≤1;
概率论与数理统计 第十三讲
主讲教师： 主讲教师：程维虎教授 北京工业大学应用数理学院
§4.3 协方差与相关系数
对于二维随机向量(X,Y)， 除了其分量X 对于二维随机向量 ， 除了其分量 的期望与方差之外, 还有一些数字特征, 和Y 的期望与方差之外 还有一些数字特征 用以刻画X与 之间的相关程度 之间的相关程度， 用以刻画 与Y之间的相关程度，其中最主要 的就是下面要讨论的协方差和相关系数。 的就是下面要讨论的协方差和相关系数。 4.3.1 协方差 定义1： 存在， 定义 ：若 E{[ X-E(X)][Y-E(Y)]} 存在， 则称其为X 的协方差，记为Cov(X,Y), 即 则称其为 与Y 的协方差，记为 Cov(X, Y) = E{[ X-E(X)][Y-E(Y) ]}. (1)
(3). 设(X1,X2, …,Xn)服从 元正态分布，则 服从n元正态分布 服从 元正态分布， “X1, X2, …, Xn 相互独立” 等价于 相互独立” “X1,X2, …,Xn两两不相关”。 两两不相关”
设随机变量X和 相互独立 相互独立， 例2: 设随机变量 和Y相互独立，且X~N(1, 2), Y~N(0, 1)。求 Z = 2X-Y+3 的概率密度。 的概率密度。 。 相互独立, 解: 由X~N(1,2), Y~N(0,1)，且X与Y相互独立 ， 与 相互独立 服从正态分布， 知 Z=2X-Y+3 服从正态分布，且 E(Z) = 2E(X)-E(Y)+3 = 2-0+3=5 ， Var(Z) = 4Var(X)+Var(Y) = 8+1 = 9, 故，Z~N(5, 32) .
则称此矩阵为(X 的方差与协方差矩阵， 则称此矩阵为 1, X2)的方差与协方差矩阵， 的方差与协方差矩阵 简称协方差阵。 简称协方差阵。
类似地，我们也可定义n 类似地，我们也可定义 维随机向量 (X1, 可定义 X2, …, Xn) 的协方差阵：若随机向量的所有的 的协方差阵： 二阶中心矩
cij = E{[ Xi E( Xi )][ X j E( X j )]}, i, j =1,2,L n ,
1/π, (x, y) ∈D, f (x, y) = 0, (x, y) D.
E( X ) = =π
x2 + y2 ≤ 1 1 1
∫∫ x/π dxdy
∫1 ∫
1 y2 1 y2
x dx dy
= ∫10dy = 0,
1
同样， E(Y)=0, 同样，得 E( )=0, E( XY) = ∫∫ (xy/π ) dxdy
则有
2
=Var(Y)[1 ρ2 ], 由方差Var(Y)>0, 知 1-ρ 2≥ 0, 所以 | ρ |≤1。 由方差 。
4.4.2 协方差矩阵 将随机向量 (X1, X2) 的四个二阶中心矩 2 c11 = E{[ X1 E( X1)] }, c12 = E{[ X1 E( X1)][ X2 E( X2 )]}, c21 = E{[ X2 E( X2 )][ X1 E( X1)]},
c22 = E{[ X2 E( X2 )]2} c11 c12 ， 排成一个2×2矩阵 排成一个 × 矩阵 c21 c22
Cov( X ,Y) ρ= = 0； Var( X )Var(Y)
并不一定能推出X和 独立。 但ρ=0 并不一定能推出 和 Y 独立。 请看下例： 请看下例：
例 1：设 (X,Y) 服从单位 D={ (x, y): x2+y2≤1} ： 上的均匀分布，证明： 。 上的均匀分布，证明： ρXY = 0。 证明: 证明
ቤተ መጻሕፍቲ ባይዱ
性质(5)可推广到 个随机变量的情形 性质 可推广到n个随机变量的情形： 可推广到 个随机变量的情形：
Var(∑Xi ) = ∑Var( Xi ) + 2∑∑Cov( Xi , X j ) .
i=1 i=1 i< j
n
n
两两独立， 若 X1, X2, …, Xn 两两独立，则
Var(∑Xi ) = ∑Var( Xi ) .
i=1 i=1
n
n
协方差的大小在一定程度上反映了X 协方差的大小在一定程度上反映了 和Y 相互间的关系，但它还受X 相互间的关系，但它还受 和Y 本身度量单位 的影响。 例如： 的影响。 例如： Cov(aX, bY) = ab Cov(X, Y). 为了克服这一缺点， 为了克服这一缺点，对协方差进行标准 化，这就引入了相关系数 。
§4.3 矩与协方差矩阵
4.4.1 矩 定义1： 是随机变量, 定义 ：设X是随机变量 若E(Xk) 存在 是随机变量 (k =1, 2, …), 则称其为 的 k 阶原点矩；若 则称其为X 阶原点矩； E{[X-E(X)]k} 存在 = 1,2, …), 则称其为 存在(k 则称其为X 阶中心矩。 的 k 阶中心矩。 易知： 易知：X 的期望 E(X) 是 X 的一阶原点 方差Var(X) 是 X 的二阶中心矩。 的二阶中心矩。 矩，方差
[Cov( X ,Y)] Var(Y-bX) = Var(Y) Var( X ) [Cov( X ,Y)]2 =Var(Y)1 Var( X )Var(Y)
(2). X 和Y 独立时 ρ=0，但其逆不真； 独立时, ，但其逆不真； 独立时， 由于当 X 和 Y 独立时，Cov(X, Y)= 0 . 所以， 所以，
n元正态分布的几条重要性质： 元正态分布的几条重要性质： (1). X =(X1, X2, …, Xn) ' 服从 n 元正态分布
对一切不全为 0 的实数 a1, a2, …, an， a1X1+ a2 X2+ …+ an Xn 服从正态分布。 服从正态分布。
(2). 若 X=(X1,X2, …,Xn)'服从 元正态分布， 服从n 服从 元正态分布， Y1,Y2,…,Yk 是 Xj (j=1, 2,…, n)的线性组合 的线性组合, … … 的线性组合 服从k 则(Y1,Y2, …, Yk)'服从 元正态分布。 服从 元正态分布。 这一性质称为正态变量的线性变换不变性。 这一性质称为正态变量的线性变换不变性。
定义2： 是随机变量, 定义 ：设X和Y是随机变量 若 E(XkYm) 和 是随机变量 存在(k, 存在 m=1, 2,…), 则称其为 与Y的 k+m 阶 … 则称其为X与 的 混合原点矩； 混合原点矩；若 E{[X-E(X)]k [Y-E(Y)]m}存在 存在 (k, m=1,2,…，则称其为 与Y的 k+m 阶混合中 … 则称其为X与 的 心矩。 心矩。
1 ′C1( X ), = exp ( X ) n2 12 (2π ) | C | 2 1
则称X服从 元正态分布 则称 服从n元正态分布。 服从 元正态分布。 其中C是 的协方差阵， 其中 是 (X1, X2, …, Xn) 的协方差阵， |C|是C的行列式， C1 是 的行列式 的行列式， 表示 的逆矩阵， 表示C的逆矩阵 的逆矩阵， X和 是n维列向量，X ′表示 的转置。 维列向量， 表示X的转置 的转置。 和 维列向量
(3). |ρ|=1
存在常数a, 存在常数 b(b≠0)， ，
以概率1 使 P{ Y = a+bX } = 1 ，即 X和 Y以概率 和 以概率 线性相关。 线性相关。
前面, 我们已经看到： 前面 我们已经看到： 独立， 不相关；但由X 若X 与Y 独立，则X 与Y 不相关；但由 不相关，不一定能推出X与 独立 独立。 与Y 不相关，不一定能推出 与Y独立。 但对下述情形，独立与不相关是一回事： 但对下述情形，独立与不相关是一回事： 服从二维正态分布， 若(X, Y )服从二维正态分布，则X 与Y 独 服从二维正态分布 立的充分必要条件是X与 不相关 不相关。 立的充分必要条件是 与Y不相关。
c11 c12 c21 c22 C = M M c c n1 n2 L c1n L c2n L M L cnn
存在， 存在，则称矩阵
协方差阵。 为(X1, X2, …, Xn) 的协方差阵。
设X′ =(X1,X2, …,Xn)是一个 维随机向量, 是一个n维随机向量 是一个 维随机向量 若其概率密度 f (x1, x2, …, xn)
x2 + y2 ≤1 1 1
1y xdx dy = π ∫1 y ∫ 1y
2 2
= ∫10 dy = 0.
1
所以，Cov(X, Y)= E(XY)-E(X) E(Y) = 0 . 所以， 此外， 此外，Var(X) > 0, Var(Y) > 0 . 不相关。 所以， ， 所以，ρXY = 0，即 X 与 Y 不相关。 但是，在例3.6.2已计算过: 与 不独立 不独立。 但是，在例3.6.2已计算过: X与Y不独立。 3.6.2
协方差性质 (1). Cov(X, Y) = Cov(Y, X)； ； (2). 设 a, b, c, d 是常数，则 是常数， Cov( aX+b, cY+d ) = ac Cov(X, Y) ； (3). Cov(X1+X2, Y)= Cov(X1, Y) + Cov(X2, Y) ； (4). Cov(X, Y) =E(XY)-[E(X)][E(Y)] ， 相互独立时， 当 X 和 Y 相互独立时，Cov(X, Y)=0； ； (5). Var(X+Y)=Var(X)+Var(Y)+2Cov(X, Y) .
Z 的概率密度为
1 fZ (z) = e 3 2π
( z5)2 18
, ∞ < z < ∞.
小结
本讲首先介绍二维随机向量(X,Y)的分量 的分量 本讲首先介绍二维随机向量 X与Y 的协方差及相关系数的概念、性质和计 与 的协方差及相关系数的概念、 然后介绍随机变量的各种矩(k 阶原点矩、 算；然后介绍随机变量的各种矩 阶原点矩、 k 阶中心矩、k+m 阶混合原点矩、k+m 阶混 阶中心矩、 阶混合原点矩、 合中心矩)， 维随机向量的协方差阵的概念、 合中心矩 ，n 维随机向量的协方差阵的概念、 性质和计算；最后简单介绍了n 性质和计算；最后简单介绍了 元正态分布 的概念和三条重要性质。 的概念和三条重要性质。
4.3.2 相关系数 定义2: 设Var(X) > 0, Var(Y) > 0, 则称 定义
Cov( X , Y) Var( X ) Var(Y)
ρXY =
为随机变量X 为随机变量 和Y 的相关系数 。 在不致引起混淆时， 在不致引起混淆时，记 ρXY为 ρ 。
相关系数性质
(1). | ρ |≤1;
概率论与数理统计 第十三讲
主讲教师： 主讲教师：程维虎教授 北京工业大学应用数理学院
§4.3 协方差与相关系数
对于二维随机向量(X,Y)， 除了其分量X 对于二维随机向量 ， 除了其分量 的期望与方差之外, 还有一些数字特征, 和Y 的期望与方差之外 还有一些数字特征 用以刻画X与 之间的相关程度 之间的相关程度， 用以刻画 与Y之间的相关程度，其中最主要 的就是下面要讨论的协方差和相关系数。 的就是下面要讨论的协方差和相关系数。 4.3.1 协方差 定义1： 存在， 定义 ：若 E{[ X-E(X)][Y-E(Y)]} 存在， 则称其为X 的协方差，记为Cov(X,Y), 即 则称其为 与Y 的协方差，记为 Cov(X, Y) = E{[ X-E(X)][Y-E(Y) ]}. (1)
(3). 设(X1,X2, …,Xn)服从 元正态分布，则 服从n元正态分布 服从 元正态分布， “X1, X2, …, Xn 相互独立” 等价于 相互独立” “X1,X2, …,Xn两两不相关”。 两两不相关”
设随机变量X和 相互独立 相互独立， 例2: 设随机变量 和Y相互独立，且X~N(1, 2), Y~N(0, 1)。求 Z = 2X-Y+3 的概率密度。 的概率密度。 。 相互独立, 解: 由X~N(1,2), Y~N(0,1)，且X与Y相互独立 ， 与 相互独立 服从正态分布， 知 Z=2X-Y+3 服从正态分布，且 E(Z) = 2E(X)-E(Y)+3 = 2-0+3=5 ， Var(Z) = 4Var(X)+Var(Y) = 8+1 = 9, 故，Z~N(5, 32) .
则称此矩阵为(X 的方差与协方差矩阵， 则称此矩阵为 1, X2)的方差与协方差矩阵， 的方差与协方差矩阵 简称协方差阵。 简称协方差阵。
类似地，我们也可定义n 类似地，我们也可定义 维随机向量 (X1, 可定义 X2, …, Xn) 的协方差阵：若随机向量的所有的 的协方差阵： 二阶中心矩
cij = E{[ Xi E( Xi )][ X j E( X j )]}, i, j =1,2,L n ,
1/π, (x, y) ∈D, f (x, y) = 0, (x, y) D.
E( X ) = =π
x2 + y2 ≤ 1 1 1
∫∫ x/π dxdy
∫1 ∫
1 y2 1 y2
x dx dy
= ∫10dy = 0,
1
同样， E(Y)=0, 同样，得 E( )=0, E( XY) = ∫∫ (xy/π ) dxdy