概率论与数理统计总结

概率论与数理统计总结
3、分布函数与概率的关系 ∞
<<∞-≤=x x X P x F ),()(
)
()()
()()(a F b F a X P b X P b X a P -=≤-≤=≤<
4、离散型随机变量的分布函数 (1) 0 – 1 分布 1
,0,)
1()(1=-==-k p p k X P k
k
(2) 二项分布 ),(p n B n
k p p C k X P k n k k n
,,1,0,)1()(Λ=-==- 泊松定理 0
lim >=∞
→λn
n np
有
Λ
,2,1,0!
)
1(lim ==---∞
→k k e
p p C k
k
n n k n
k n
n λλ
(3) 泊松分布 )(λP =Λ
,2,1,0,!
)(===-k k e
k X P k
λλ
（5）几何分布 p q k p q k X P k -====-1,2,1}{1
Λ dt t f x F x ⎰∞
-=)()(则称X 为连续型随机变量，其中函数
f(x)称为随机变量X 的概率密度函数， 2、分布函数的性质：
（1）连续型随机变量的分布函数F(x )是连续函数。

（2）对于连续型随机变量X 来说，它取任一指定实数a 的概率均为零，即P{X=a }=0。

3、常见随机变量的分布函数 (1) 均匀分布 ),(b a U
f (x ,y )称为二维向量(X ,Y )的(联合)概率密度.
其中： 0),(≥y x f ，⎰⎰∞
∞-∞∞
-=1),(dxdy y x f
（2）基本二维连续型随机向量分布
均匀分布：
⎪⎩⎪
⎨⎧∈=其他
),(1),(G y x A
y x f
二维正态分布：
+∞
<<-∞+∞<<∞--=
-+------
y x e
y x f y y x x ,121
),(])())((2)([)1(21
2
2122
22212121212σμσσμμρσμρρ
σπσ
3、离散型边缘分布律：
3、 连续型边缘概率密度 ,),()(dy y x f x f X
⎰∞
+∞
-= dx y x f y f Y
⎰∞
+∞
-=),()(
F (x ，y )=F x (x )F Y (y ) 则称随机变量X 和Y 是相互
独立的
3、连续型随机变量独立的等价条件 设(X ，Y )是连续型随机变量，f (x ，y )，f x (x )，f Y (y )分别为(X ，Y )的概率密度和边缘概率密度，则X 和Y 相互独立的充要条件是等式 f (x ，y ) = f x (x )f Y (y ) 对f (x ，y )，f x (x )，f Y (y )的所有连续点成立. 五、条件分布
1、离散型随机变量的条件分布律： （3）条件分布函数：
2、连续型随机变量的条件分布 （
1
）
条件分
布函数
⎰
⎰∞
-∞
-==
x Y Y X Y x Y
X du y f y u f y x F y f du y u f y x F )
()
,()|()
(),()|(||或写成，
（2）条件概率密度
在Y=y 条件下X 的条件概率密度)
(),()|(|y f y x f y x f
Y Y X =
同理 X=x 条件下X 的条件概率密度)
(),()|(|x f y x f x y f X X Y =
六、多维随机函数的分布 1、离散型随机变量函数分布：
二项分布：设X 和Y 独立,分别服从二项分布
b (n 1,p ), 和b (n 2,p )，则 Z=X+Y 的分布律：Z ～b (n 1+n 2,p ).
泊松分布：若X 和Y 相互独立,它们分别服从参
数为2
1
,λλ的泊松分布,则Z=X+Y 服从参数为2
1
λλ+的
泊松分布。

2、连续型随机变量函数分布： （1）Z=X+Y ⎰∞
+∞
--=dy y y z f z f Z
),()(或⎰
∞+∞
--=dx
x z x f z f
Z ),()(
若X 和Y 相互独立时，
⎰
⎰
∞+∞
-∞+∞
--=-=dx
x z f x f z f dy y f y z f z f Y X Z Y X Z )()()()()()(；
正态分布的特点：
a 设X,Y 相互独立且X ~N(μ1，σ12
)，Y ~N(μ2，
σ22
经过计算知Z=X+Y
仍然服从正态分布,且有Z ~N(μ1+μ2，σ12
+σ
2
2).
b 若X ~N(µ,σ2
)，则)
1,0(~*
N X X
σ
μ
-=
c 若X ~N(µ,σ2
)，则())
,(~2
1212
1
σμk k k N k
X k Y ++=
（2）M=max(X,Y) N=min(X,Y)的分布 设X,Y 是两个相互独立的随机变量,它们的分布函数分别为Fx(x )和F Y (y ) M=max(X,Y)：)()()(max
z F z F z F Y
X
=
N=min(X,Y)：)]
(1)][(1[1)(min
z F z F z F
Y X ---=
(2)几种常见分布的数学期望
i. X 服从参数为p 的(0,1)分布：E (X )=0×(1-p )+1×p=p
ii. 若X ~b (n,p ),则E (X )=np iii.若X ~π(λ)，则 E (X )=λ 2、连续型随机变量的数学期望 (1)
定义：
.
d )()(.)(,d )(,d )(,)(⎰
⎰
⎰
∞
+∞
-∞+∞
-∞
+∞
-=
x x f x X E X E X x x f x x
x f x x f X 即
记为的数学期望的值为随机变量
则称积分绝对收敛积分
若
的概率密度为设连续型随机变量
(2)几个常见连续型随机变量的数学期望 i.若X ~U(a,b),则E(X)=(a+b)/2 ii. 若X ~N(µ,σ2)，则E(X)=μ iii.若X 服从指数分布 ⎩⎨
⎧≤>=-00
0)(x x e x f x αα ，则
E(X)=1/α
3、函数 Y = g (X ) 的数学期望
(1)离散型：离散型变量X 的概率分布为
Λ
,2,1,)(===i p x X P i i 若无穷级数∑∞
=1
)(i i
i
p x g 绝对收敛，则
∑∞
==1
)()(i i
i p x g Y E 。

(2)连续型：连续型随机变量X 的 概率密度为f
(x )，若广义积分⎰+∞∞
-dx x f x g )()(绝对收敛，则
⎰+∞
∞
-=dx
x f x g Y E )()()(。

4、数学期望的性质： i C 为常数,则有E(C)=C ；
ii 设X 是一个随机变量，C 常数，则有E(CX)=CE(X)；
iii 设X ，Y 是两个随机变量，则有 E(X+Y)=E(X)+E(Y)
这一性质可以推广到任意有限个随机变量之和的情况:
)
()()()(2121n n X E X E X E X X X E +++=+++ΛΛ
iv 设X ，Y 是相互独立的随机变量，则有:E(XY)=E(X)E(Y)
这一性质可以推广到任意有限个相互独立的随机变量之积的情况)
()()()(2121
n n X E X E X E X X X E ΛΛ=⋅⋅⋅
二、方差
1、定义：设X 是一个随机变量，若}])([{2
X E X E -存
在，则称}])([{2
X E X E -为X 方差，记为D(X)或Var(X).
称它的平方根为标准差，记作(X) 2、计算方法：
(1)用定义：离散型：,
)]([)(12k k k
p X E x
X D ∑+∞
=-= 连续型：,
d )()]([)(2x x f X E x X D ⎰
+∞
∞
--=
(2)用公式：.
)]([)()(22
X E X E X D -=
3、方差的性质
(1) 设C 是常数，则D(C)=0；
(2) 设X 是随机变量，a 是常数，则D(a X)=a 2
D(X),从而 D(a X+b)=a 2D(X)；
(3) 设X ，Y 是两个相互独立的随机变量，则有D(X ±Y)=D(X)+D(Y)；
(4) 对任意常数C, D (X ) ≤ E (X – C )2 , 当且仅当
C = E (X )时等号成立
(5) D (X ) = 0 则P (X = E (X ))=1称为X 依概率 1 等于常数 E (X ) 4、常见分布的方差
(1) (0-1)分布，其分布律为P{X=0}=1-p ，P{X=1}=p,则D(X)=p(1-p)
(2)二项分布 X ~b (n ,p ),，其分布律为
.
,....,2,1,0}{n k q
p C k X P k
n k k n ===-则E(X)=n p ,D(X)=n pq
(3)泊松分布 X ~π(λ),其分布律为
,.....
2,1,0!
}{==
=-k k e k X P k λ
λ 则E(X)=λ,
D(X)=λ
(4)均匀分布 X 在区间(a ，b)均匀分布E(X)=(a+b)/2，
.
12
)()(2
a b X D -=
(5)正态分布X ~N(µ,σ2
)，(),
21
)(2
2
2σμσ
π--=x e
x f E(X)=μ，
D(X)=σ2
.
5、契比雪夫不等式：设随机变量X 的期望和方差都存在，且 E(X)=μ,D(X)=σ2
，则对任意的ε>0,有
.
}|{|22
ε
σεμ≤≥-X P
6、矩的概念：
(1)设X 和Y 是随机变量，若)(k
X E 存在，Λ,2,1=k 称
为k 阶原点矩，简称k 阶矩。

(2)若Λ
,3,2,
})]({[=-k X E X E k
存在，称为k 阶中心矩。

(3)若Λ
,2,1,,
)(=l k Y X E l
k
存在，称为k+l 阶混合矩。

(4)若Λ,2,1,,})]([)]({[=--l k Y E Y X E X E l
k
存在，称为k+l 阶混合中心矩。

7、标准化随机变量 设随机变量 X 的期望
E (X )、方差D (X )都存在, 且D (X ) ≠ 0, 则称
)
()
(X D X E X X -=
*为 X 的标准化随机变量，显然，1
)(,0)(==**X D X E
三、协方差和相关系数 1、协方差
(1)定义：E{[X-E(X)][Y-E(Y)]}称为随机变量X 与Y 的协方差，记为Cov(X ，Y)，即 Cov(X ，Y)= E{[X-E(X)][Y-E(Y)]}。

离散型：ij
i
i j i
p Y E y X E x Y X Cov ⋅--=∑∑∞
=∞
=)]([)]([),(11
连续型：ij
i
i j i
p Y E y X E x Y X Cov ⋅--=∑∑∞
=∞=)]([)]([),(11
(2)关系公式: i
协方差与方差的关系：D(X+Y)=D(X)+D(Y)+2Cov(X ，Y)
ii 协方差与数学期望的关系：Cov(X ，Y)= E(XY)-E(X)E(Y)
iii 若X ，Y 独立，则Cov(X ，Y)=0,但反之不成立。

(3)协方差的性质 Cov(X ，Y)= Cov(Y ，X)；Cov(a X ，b Y)= ab Cov(X ，Y)；
Cov(X 1+X 2，Y)= Cov(X 1，Y)+ Cov(X 2，Y) 2、相关系数
(1)定义：若Cov(X ，Y)存在，并且D(X)、D(Y)存在且不为零，则称
)
()(),(Y D X D Y X Cov XY ⋅=
ρ为随机变量X 与Y 的相关系数。

(2)性质：i |ρXY |≦1 ii |ρXY |=1 ⇔ 存在常数a ,b 使P{Y=a X+b }=1. 3、利用相关系数计算协方差
)]()()([2
1
),(Y D X D Y X D Y X Cov --+=)()()(Y E X E XY E ⋅-=)
()(Y D X D XY ⋅⋅=ρ
4、不相关：若X 与Y 的相关系数ρXY =0，则称X 与Y 不相关。

假设随机变量X ，Y 的相关系数ρ
XY
存在，当X 与Y 相互独立时,ρXY =0,即X 与Y
不相关，反之若X 与Y 不相关，X 与Y 却不一定相互独立。

5、协方差矩阵
i 定义：对于n 维随机向量(X 1,X 2,…,Xn),把向量(X 1,X 2,…,Xn)用列向量形式表示并记为X ，即
X=(X 1,X 2,…,Xn)'设X=(X 1,X 2,…,Xn)' 为n 维随机向量,并记μi =E(X i )()
n j i X X Cov C
j i ij
,,2,1,),(Λ== 则称μ
=(μ1,μ2,…,μn)'为向量X 的数学期望或均值，称矩阵
⎪⎪⎪⎪⎪⎭
⎫
⎝⎛=nn n n n n C C C
C C C
C C C C Λ
M ΛM M ΛΛ2
122221
11211为向量X 的协方差矩阵。

ii 性质：
(1)协方差矩阵对角线上的元素C ii 为X i 的方差即C ii =D(X i ) i =1，2…，n ；
(2)协方差矩阵C 为对称矩阵,即C ij =C ji ,i ，j =1，2，…，n ；
(3)C 为非负定矩阵,即对于任意实向量t=(t 1，t 2，…，t n )',有t 'Ct ≥0； 6、多维正态分布及其性质
(1)定义：若n 维随机向量X=(X 1，…，Xn)的概率密度为
()()})(21
exp{|
|21
),,,(12
/12/21μμπ-'--=
-x C x C x x x f n n Λ其中X=(X 1，…，Xn)',
μ=(μ1，μ2，…，μn)'为n 维实向量，C 为n 阶正定对称矩阵，则称向量X=(X 1，…，Xn)'服从n 维正态分布，记为X ～N(µ,C) .对于n 维正态分布X ～N(µ,C) ，X 的期望为µ，X 的协方差矩阵为C 。

(2) 性质 n 维正态分布具有下述性质： I n 维随机向量(X 1，…，X n )服从n 维正态分布的充要条件是X 1，…，Xn 的任意线性组合
l 1X 1+l 2X 2+…+l n X n (l 1,l 2,…,l n 不全为0 )服从
一维正态分布。

Ii 若
X=(X 1,…,Xn)'～N(µ,C)，设
Y=(Y 1,Y 2,…,Ym)'=AX,即Y i 为X j (j=1，2，…，n)的线性函数,i =1，2，…，m ，则Y ～N(A ⋅µ，ACA ')，其中A 为－m 行n 列且秩为m 的矩阵。

iii 设(X 1，…，Xn)服从n 维正态分布，则“X 1，…，Xn 相互独立”与“X 1，…，Xn 两两不相关”是等价的。

第五章 大数定律与中心极限定理 一、大数定律：
1、定义1：设X 1,X 2,…,X n ,…为一随机变量序列,如果对于任意正整数k(k ≥2)及任意k 个随机变量
k
i i i X X X Λ,,21相互独立，则称随机变量序列
X 1,X 2,…,X n ,…相互独立。

定义2：设{X n }是一随机变量序列，若对任意
ε>0，有
{}lim 1,
n n P X X ε→+∞
-<=则称随机变量序列{X n }依概率
收敛于随机变量X 。

常记为.
P
n X X −−→
定义3设{X n }为一随机变量序列,E(X n )存在，
若
()11
111,2,n n
i i i i X E X n n n ==-=⋅⋅⋅
∑∑依概率收敛于零，即对任意
ε> 0，有
()1111lim 1,n n
i i n i i P X E X n n ε→+∞==⎧⎫-<=⎨⎬⎩⎭
∑∑则称
随机变量序列{X n }服从（弱）大数定律。

2、几个常见的大数定理：
定理1（契比雪夫大数定律）设 X 1,X 2, …是相互独立的随机变量序列，且有常数C ，使得即
D (X i ) ≤C ，i =1,2, …，则{X n }服从大数定律。

即对任意ε> 0，有
∑∑==∞→=<-n i n
i i i n X E n X n P 11
1}|)(11{|lim ε
推论（契比雪夫大数定律的特殊情况）设
X 1,X 2, …X n ， … 独立同分布，且E (X i ) = μ，
D (X i )= 2
σ， i =1,2,…, 则对任给 ε >0,
1}|1
{|
lim 1
=<-∑=∞
→εμn
i i n X n P
定理2 贝努利大数定律 (贝努利定理) 设n A 是n 重贝努利试验中事件A 发生的次数，p 是事件A 发生的概率，则对任给的ε> 0，有
贝努利大数定律表明，当重复试验次数n 充分大时，事件A 发生的频率n A /n 与事件A 的概率p 有较大偏差的概率很小。

二、中心极限定理
lim 1.A n n P p n ε→+∞
⎧⎫-<=⎨⎬⎩⎭
定理1（独立同分布下的中心极限定理/ Levy-Lindberg ）
设X 1,X 2, …是独立同分布的随机变量序列，且
E (X i )= μ，D (X i )= 2
σ，i =1,2,…，则
2
2
1lim 2x n x
i n i P x e
dx
n σπ
-
-∞
→+∞=⎧⎫
≤=⎨⎬⎩⎭
⎰
dt e x
t ⎰
∞
--=2
2
21π
定理2 (棣莫佛－拉普拉斯定理） 设随机变量n
Y 服从参数n, p (0<p <1)的二项分布，则对任意x ，
有
})1({lim x p np np Y P n n ≤--∞→dt
e x t
⎰∞--=2
2
21π
中心极限定理中典型的问题
(1) 设随机变量X 1，X 2，…,相互独立同分布，
E(X k )=µ，D(X k )=σ2
≠0,(k=1,2,…),由定理1，当n 充分大时，σ
μ
n n X
n
k k
-∑=1
近似服从标准正
态分布。

(2) 设ηn ~b(n,p), 由定理2, 当n 充分大时，
()
p np np
n --1η近似服从标准正态分布。