概率论基础（三）随机向量

概率论基础（三）随机向量
这部分主要包括
随机向量的概念
离散随机向量
连续随机向量
随机向量函数的分布
条件分布
随机向量
随机向量 (X,Y)
联合概率分布F(x,y)=P(X≤x,Y≤y)
边缘分布F X(x)=P(X≤x,Y≤∞)=F(x,∞)
随机向量，或者说是向量之间的独⽴性：对于事件我们已经定义过了其独⽴性，显然为了⾃洽我们需要根据事件的独⽴性来进⾏定义。

对于∀x,y，事件 {X≤x},{Y≤y} 独⽴，则称随机变量 X 和 Y 独⽴。

显然，对于这个定义，我们⽤概率的形式写出来就是
P(X≤x,Y≤y)=P(X≤x)P(Y≤y)F(x,y)=F X(x)F Y(y)
上⾯的两条概率分布的形式对于判断离散或者连续的随机变量的独⽴性都是适⽤的。

（然⽽事实上我们⽆法得到⼀些分布函数的形式，所以更常⽤的是之后会提到的 pmf/pdf 形式）
这是两个变量独⽴性的式⼦，事实上我们可以推导出更⾼维的式⼦，即其联合分布函数可以写成各⾃的边缘分布的乘积的形式。

另外，对于独⽴性，我们有性质
对于数集A1,...,A n，事件 {X1∈A1},...,{X n∈A n} 也独⽴。

⼀元/多元函数变换后独⽴，例如φ(X1,...,X k),g k+1(X k+1),...,g n(X n) 之间也独⽴。

离散随机向量
独⽴性：
X⊥⊥Y⇔∀x j,y j,P(X=x i,Y=y j)=P(X=x i)P(Y=y j)
e.g. 多项分布：对于⼆项分布的拓展，每⼀次实验的结果可能有 r 种。

其 pmf 为
P(X1=k1,...,X r=k r)=
n!
k1!...k r!p k
1
1
...p k r r
连续随机向量
Def：若对于随机向量 (X,Y) 有P((X,Y)∈D)=∫∫D f(x,y)dxdy，则称 (X,Y) 为连续型随机向量，并称f(x,y) 为其联合密度函数。

边缘 pdf：离散情况下简单相加，连续时换成积分f X(x)=∫f(x,y)dy
由定义可知，仅仅是取值连续并不能保障其为连续型随机向量，因为我们要求其具有联合 pdf 才算。

下⾯给出⼀个例⼦，来说明有连续的联合分布，并不⼀定是连续型随机向量。

假定X∼Unif(0,1),Y=X，则这时候
F(x,y)=P(X≤x,Y≤y)=P(X≤min{x,y})=min{x,y},0<min{x,y}≤1
也就是说，(X,Y) 只在直线D={(x,y)|0≤x=y≤1} 上取值，显然在这上的积分=0。

若(X,Y) 有联合 pdf，则会出现
1=P((X,Y)∈D)=∫D f(x,y)dxdy=0
的⽭盾。

独⽴性
对于连续型随机向量来说，其独⽴性除了根据 1.1 式来判定外，还有 pdf 的形式，即f(x,y)=f X(x)f Y(y) 。

也就是说，我们若能将联合 pdf 分解成不同的变量乘积的形式，就能说明这些随机变量独⽴。

随机向量函数的分布
设Z=X+y，则其 pdf 为f Z(z)=∫f(x,z−x)dx
设V=X+y，则其 pdf 为f V(v)=∫f(x,x−v)dx
e.g. Rayleigh 分布。

假设X,Y iid
∼N(0,1) ，求脱靶量Z=√X2+Y2的分布
F Z(z)=P(√X2+Y2≤z)=∫∫√X2+Y2≤z
1
2πexp(−
x2+y2
2)dxdy=
1
2π∫2π0dθ∫z1e−r2/2dr=∫z0e−r2/2rdr
其中，第⼆⾏⽤了极坐标变换，且 Jacobian ⾏列式为 r。

于是，f Z(z)=ze−z2/2,z≥0
上⾯举的例⼦是变换为⼀元函数，现在考虑变换为⼆元函数的情况，类似随机变量的变换，我们有定理：
定理：f(x,y),U=u(X,Y),V=v(X,Y) ，若在 D 上有P((U,V)∈d)=1 ，且存在逆变换x=x(u,v),y=y(u,v) ，Jacabian ⾏列式∂(x,y)
∂(u,v)≠0
则 (U,V) 有联合 pdf
g(u,v)=f(x(u,v),v(u,v))∂(x,y)
∂(u,v),(u,x)∈D
这⾥简化了⼀些条件的表达，总之就是要求存在逆变换；类似⼀元情况，也可推⼴到分区域可逆的情况，最终的表达式变为累加即可（下⾯有个例⼦）。

e.g. X,Y∼N(0,1),(R,Θ) 由X=R cos(Θ)
Y=R sin(Θ)决定，求 (R,Θ) 的联合 pdf
显然上⾯的表达式就构建了⼀个逆变换，Jacobian ⾏列式值为 r，于是有联合 pdf
g(r,θ)=f(x,y)|∂(x,y)
∂(u,v)|=
1
2πre−r2/2
分别积分，可得边缘分布R∼Rayleigh即脱靶量；Θ∼Unif(0,2π)
e.g. X,Y∼N(0,1),
U=X/Y
V=X2+Y2
，求 (U,V) 的 pdf
定义D={(u,v)|v>0}，满⾜P((U,V)∈D)=1 （忽略了为零的部分）。

⽽对于任意 (u,v)∈D我们定义函数x=u
v
1+u2,y=
v
1+u2，于
是事件
{U=u,V=v}={X/Y=u,X2+Y2=v}={X=x,Y=y}+{X=−x,Y=−y}
另外，可计算 Jacobian ⾏列式=
1
2(1+u2)，于是联合 pdf
g(u,v)=f(x,y)|J|+f(−x,−y)|J|=
1
2e−v/2
1
π(1+u2)
从表达式可见，U 和 V 独⽴，并且V∼Exp(1
2),U∼Cauchy
条件分布
离散时，直接根据（事件的）条件概率公式即可得到条件分布。

下⾯推导连续时的条件分布：
lim
ϵ→0+P(Y≤y|x−ϵ<X≤x)=
lim
ϵ→0+
P(Y≤y,x−ϵ<X≤x)
P(x−ϵ<X≤x)=
lim
ϵ→0+
F(x,y)−F(x−ϵ,y)
F X(x)−F X(x−ϵ)=
∂F(x,y)
∂x
F′X(x)
=
∂
∂x∫x−∞∫y−∞f(s,t)dtds
f X(x)=∫y
−∞
f(x,t)
f X(x)dt
于是，在条件X=x下，Y 的条件分布函数F Y|X(y|x)=P(Y≤y|X=x)=∫y−∞f(x,t)
f X(x)dt，另外称f
Y|X(y|x)=
f(x,t)
f X(x)为条件X=x下，Y 的条件
pdf。

（注意到，这⾥我们⽤事件 {x−ϵ<X≤x} 取极限，从⽽得到连续状态下的条件分布，并定义了条件密度函数。

）e.g. （⼆维正态的条件分布）我们知道⼆维正态分布 (X,Y)∼N(µ1,µ2,σ21,σ22,ρ) 有联合 pdf
f(x,y)=
1
2πσ1σ2√1−ρ2exp{−
1
2√1−ρ2(
(x−µ1)2
σ21
−
2ρ(x−mu1)(y−µ2)
2σ1σ2+
(y−µ2)2
σ22)}
||
{
{
√√
⼜知 X 的边缘分布为X∼N(µ1,σ21) ，于是Y|X=x的条件密度为
f Y|X(y|x)=f(x,y)
f X(x)=
1
√2π(1−ρ2)σ2
exp(−
(y−µx)2
2(1−ρ2)σ22
)
即Y|X=x∼N(µx,(1−ρ2)σ22)，其中µx=µ2+ρσ2
σ1(x−µ
1)
Processing math: 100%。