第五节 条件分布与条件期望

2 2
求Y的概率密度 pY (y). 解 根据题意,有 根据题意 有
pX ( x ) = 1 e 2π σ 1
− ( x − µ )2
2 2σ 1
pY | X ( y | x ) =
1 2π σ 2
−
( y − x )2
பைடு நூலகம்2 2σ 2
e
故
pY ( y) = ∫ pX ( x) pY|X ( y | x)dx.
二、连续型随机变量条件分布的定义
设(X,Y)是二维连续型随机变量,这时由于对任意x,y有 (X,Y)是二维连续型随机变量,这时由于对任意x,y有 是二维连续型随机变量 x,y ,因此不能直接用条件概率公式引 P{X=x}=0 , P{Y=y}=0 ,因此不能直接用条件概率公式引 入条件分布函数P{X≤ |Y＝ }.下面我们用极限的方法来 入条件分布函数P{X≤x|Y＝y}.下面我们用极限的方法来 处理. 处理. 设对于任意固定的正数ε,P{ 给定y,设对于任意固定的正数ε,P{y-ε＜Y≤y+ε}>0 , 于是对于任意x有 于是对于任意 有 P{ X ≤ x , y − ε < Y ≤ y + ε } P{ X ≤ x | y − ε < Y ≤ y + ε } = P{ y − ε < Y ≤ y + ε } 上式给出了在任意y+ε下 上式给出了在任意 -ε＜Y≤y+ε下X的条件分布 Y≤ +ε 函数,现在我们引入以下的定义. 函数,现在我们引入以下的定义.
P{ X = xi | Y = y j } = P{ X = xi , Y = y j } P {Y = y j } = pij p• j , i = 1,2, ⋯ .
显然， 显然，上述条件概率具有分布律的特性 }≥0； (1).P{X=xi|Y=yj}≥0；
( 2). ∑ P { X = x i | Y = y j } = ∑
p( x, y) 同理， 同理， pY|X ( y | x) = pX ( x)
称为在X= 条件下X的条件概率密度， 称为在X=x条件下X的条件概率密度，且满足概率密度 的两个性质。 的两个性质。
(X,Y)服从二维正态分布 ),求 例: 设(X,Y)服从二维正态分布 N(µ1,µ2,σ12,σ22,ρ),求 的条件下,Y ,Y的条件密度函数 在X=x的条件下,Y的条件密度函数pY|X(y|x). | ). (X,Y)的密度函数为 解: (X,Y)的密度函数为
i =1 i =1 ∞ ∞
pij p• j
=
p• j p• j
=1
1．定义 (X,Y)是二维离散型随机变量 是二维离散型随机变量, 设(X,Y)是二维离散型随机变量,对于固定 }>0， 的j，若P{Y=yj}>0，则称
P{X = xi | Y = y j } = P{X = xi ,Y = y j } P{Y = y j } = pij p• j , i = 1,2⋯.
按题意X 解: 按题意X具有概率密度
1 pX ( x ) = 0 0< x<1 其它
对于任意的x(0<x<1),在X=x的条件下,Y的条件概率密度
1 pY | X ( y | x ) = 1 − x 0 0< x< y<1 其它
于是得关于Y的边缘概率密度为
y 1 +∞ ∫ dx = − ln(1 − y ) pY ( y ) = ∫ f ( x , y )dx = 0 1 − x −∞ 0 其它
[F( x, y + ε ) − F( x, y − ε )]/ 2ε = lim ε →0 [FY ( y + ε ) − FY ( y − ε )]/ 2ε
+
∂F ( x , y ) ∂y = d FY ( y ) dy
x
亦即FX|Y
∫ ( x | y) =
−∞
p(u, y)du x p(u, y) du ， 或写成FX|Y ( x | y) = ∫ −∞ p ( y) pY ( y) Y
E( X | Y = y) = ∑xi P( X = xi | Y = y),
i
(2) 当(X,Y)为连续随机向量时 为连续随机向量时, 为连续随机向量时
E( X | Y = y) = ∫ xpX|Y ( x | y)dx,
−∞ +∞
同样地可定义Y在 的条件下的条件期望. 同样地可定义 在X= x的条件下的条件期望 的条件下的条件期望
为在Y= 条件下随机变量 的条件分布律。 随机变量X 为在Y=yj条件下随机变量X的条件分布律。
同理，对于固定的i }>0， 同理，对于固定的i，若P{X=xi}>0，则称
P{Y = y j | X = xi } = P{ X = xi ,Y = y j } P{X = xi } = pij pi• , j = 1,2,⋯.
0< y<1
∫
+∞ −∞
p X ( x ) pY | X ( y | x )dx
三、连续场合的全概率公式和贝叶斯公式
由条件概率密度定义知, 由条件概率密度定义知 p( x, y) = pY ( y) pX|Y ( x | y) = pX ( x) pY|X ( y | x), 故
pX ( x) = ∫ pY ( y) pX|Y ( x | y)dy.
为在X=xi条件下随机变量Y的条件分布律。 2. 条件分布函数
F X |Y ( x | y j ) = P{ X ≤ x | Y = y j } =
=
xi ≤ x
∑p
p ij
•j
=
xi ≤ x
∑p
p• j
xi ≤ x
∑ P{ X = x
i
|Y = yj}
ij
同理： 同理：
FY | X ( y | x i ) =
−∞ +∞
+∞ pY ( y) = ∫ pX ( x) pY|X ( y | x)dx. −∞
pX ( x) pY|X ( y | x)
全概率公式的 密度函数形式
代入条件概率密度定义式,即得 代入条件概率密度定义式 即得
pX|Y ( x | y) =
pY|X ( y | x) =
∫
+∞
.
可以看出,X在 的条件下的条件期望是y的函数 可以看出 在Y=y的条件下的条件期望是 的函数 它是一个 的条件下的条件期望是 的函数,它是一个 变量. 这不同于无条件期望E(X). 变量 这不同于无条件期望
p( x , y ) = 1 2πσ 1σ 2 − 2ρ 1 ( x − µ1 ) 2 exp{− [ 2 2 2 2(1 − ρ ) σ1 1− ρ
( x − µ1 )( y − µ 2 )
σ 1σ 2
+
( y − µ2 )2
σ2
2
]}
由以前的例子知道
pX ( x ) =
− 1 e 2π σ 1
− ∞ < x < +∞， ∞ < y < +∞ −
(
)
这正是正态分布
σ2 N (µ2 + ρ ( x − µ1 ), σ 2 2 (1 − ρ 2 )) σ1
设数X在区间(0,1)上随机地取值,当观察到X= (0<x<1) (0,1)上随机地取值 X=x(0< <1)时 例: 设数X在区间(0,1)上随机地取值,当观察到X= (0< <1)时, 在区间( ,1)上随机取值. ,1)上随机取值 数Y在区间(x,1)上随机取值.求Y的概率密度pY(y). ).
存在,则称此极限为在条件 下 的条件分布函数, 存在,则称此极限为在条件Y=y下X的条件分布函数, 记为P{X≤ |Y=y} P{X≤x|Y= 记为P{X≤ |Y= }或记为FX|Y(x|y). | ). 2．公式： 设(X,Y)的分布函数为F(x,y)，概率密度为p(x,y).若 在点(x,y)处p(x,y)连续,且pY(y)>0,则有
类似地可以定义 FX |Y ( y | x )和 FY | X ( y | x ) = ∫
y −∞
p( x , v ) dv pX ( x )
3.条件概率密度 3.条件概率密度 定义 pX|Y ( x | y) = p( x, y)
pY ( y)
称为在 条件下X的条件概率密度， 称为在Y=y条件下X的条件概率密度，且满足概率密度 的两个性质。 的两个性质。
1.条件分布函数的定义：给定 ,设对于任意实数x, 1.条件分布函数的定义：给定y,设对于任意实数 ,若极 条件分布函数的定义 限
ε →0
lim P { X ≤ x | y − ε < Y ≤ y + ε } +
P{ X ≤ x , y − ε < Y ≤ y + ε } = lim ε →0+ P{ y − ε < Y ≤ y + ε }
−∞
pX ( x) pY|X ( y | x)dx
. pY ( y) pX|Y ( x | y)dy
pY ( y) pX|Y ( x | y)
∫
+∞

贝叶斯公式的 密度函数形式
−∞
例
X=x的条件下 设X～ N ( µ , σ 1 ), 在X= 的条件下 Y | X = x～N ( x , σ 2 ),
yj≤y
∑p
pi•
ij
二维离散型随机变量(X,Y) (X,Y)的分布律如表 例 二维离散型随机变量(X,Y)的分布律如表 Y Y=0 Y=3/2 Y=2 X X1 = -1 1/12 2/12 3/12 X2=1 0 1/12 1/12 X3=2 3/12 1/12 0
求条件分布律P{X= 求条件分布律P{X=xi|Y=2}.
解：X与Y的边缘分布如表： 的边缘分布如表：
X Y Y=0 Y=3/2 Y=2 pi .
X1=-1 1/12 2/12 3/12 6/12
X2=1 0 1/12 1/12 2/12
X3=2 3/12 1/12 0 2/12
p.j 4/12 4/12 4/12 4/12
P{X==3/4； P{X=-1|Y=2}=p13/p.3=3/4； P{X=1|Y=2}=p /p =1/4； 23 .3=1/4； =0； P{X=2|Y=2}=p33/p.3=0； 又如：P{X=1|Y=0}=p21/p.1=0等； 又如： =0等
第五节 条件分布与条件期望
一、离散型随机变量的条件分布律
是二维离散型随机变量, 设(X,Y)是二维离散型随机变量,其分布律为 P{X=xi,Y=yj}=pij , i, j=1,2,…. (X,Y)关于X和关于Y的边缘分布律分别为 P{X=xi}=pi· i=1,2,…. P{Y=yj}=p·j j=1,2,…. >0，考虑在事件{Y= 设pi·>0,p·j>0，考虑在事件{Y=yj}已发生的条件下事 发生的概率, 件{X=xi}发生的概率,即 {X=xi|Y=yj}, i=1,2,…. 的概率,由条件概率公式, 的概率,由条件概率公式,
−∞
+∞
=∫
=
+∞
−∞
− 1 e 2πσ1
( x−µ )2
2 2σ1
− 1 e ⋅ 2πσ2
( y− x)2
2 2σ 2
dx.
1 2πσ1σ2
∫
( x−µ )2 ( y− x)2 − − +∞ 2 2 2σ1 2σ 2
按x 配方积分
dx.
−∞
e
=
1 2π (σ +σ )
2 1 2 2
−
( y−µ )2
2 2 2(σ1 +σ 2 )
e
.
2 即 Y仍服从正态分布 N ( µ , σ 1 + σ 2 ) . 仍服从正态分布 2
二、条件数学期望
1 定义 X在Y=y的条件下的条件分布的数学期望 若存在 称 定义: 在 的条件下的条件分布的数学期望 若存在)称 的条件下的条件分布的数学期望(若存在 为X在Y=y的条件下的条件期望 在 的条件下的条件期望. 的条件下的条件期望 具体定义式: 具体定义式 (1) 当(X,Y)为离散随机向量时 为离散随机向量时, 为离散随机向量时
P{ X ≤ x , y − ε < Y ≤ y + ε } F X |Y ( x | y ) = lim ε →0+ P{ y − ε < Y ≤ y + ε }
F( x, y + ε ) − F( x, y − ε ) = lim ε →0+ F ( y + ε ) − F ( y − ε ) Y Y
( x − µ1 ) 2 2σ 1 2
所以X= 条件下 所以X=x条件下Y的条件概率密度为 X= 条件下Y
p( x , y ) pY | X ( y | x ) = = pX ( x )
σ ( y − µ 2 + ρ 2 ( x − µ1 ) ) 2 σ1 1 ] exp[− 2 2σ 2 1 − ρ 2 2π σ 2 1 − ρ 2