(完整版)概率论与数理统计知识点总结(免费超详细版)

《概率论与数理统计》
第一章 概率论的基本概念
§2．样本空间、随机事件
1．事件间的关系 B A ⊂则称事件B 包含事件A ，指事件A 发生必然导致事件B 发生
B }x x x { ∈∈=⋃或A B A 称为事件A 与事件B 的和事件，指当且仅当A ，B 中至少有一个发生时，事件B A ⋃发生
B }x x x { ∈∈=⋂且A B A 称为事件A 与事件B 的积事件，指当A ，B 同时发生时，事件B A ⋂发生
B }x x x { ∉∈=且—A B A 称为事件A 与事件B 的差事件，指当且仅当A 发生、B 不发生时，事件B A —发生
φ=⋂B A ，则称事件A 与B 是互不相容的，或互斥的，指事件A 与事件B 不能同时发生，基本事件是两两互不相容的
且S =⋃B A φ=⋂B A ，则称事件A 与事件B 互为逆事件，又称事件A 与事件B 互为对立事件
2．运算规则 交换律A B B A A B B A ⋂=⋂⋃=⋃
结合律)()( )()(C B A C B A C B A C B A ⋂=⋂⋃⋃=⋃⋃ 分配律 )()B (C A A C B A ⋃⋂⋃=⋂⋃）（ ))(()( C A B A C B A ⋂⋂=⋃⋂ 徳摩根律B A B A A B A ⋃=⋂⋂=⋃ B —
§3．频率与概率
定义 在相同的条件下，进行了n 次试验，在这n 次试验中，事件A 发生的次数A n 称为事
件A 发生的频数，比值n n A 称为事件A 发生的频率
概率：设E 是随机试验，S 是它的样本空间，对于E 的每一事件A 赋予一个实数，记为P （A ），称为事件的概率 1．概率)(A P 满足下列条件：
（1）非负性：对于每一个事件A 1)(0≤≤A P （2）规范性：对于必然事件S 1)S (=P
（3）可列可加性：设n A A A ,,,21 是两两互不相容的事件，有∑===n
k k
n k k
A P A P 1
1
)()( （n 可
以取∞）
2．概率的一些重要性质： （i ） 0)(=φP
（ii ）若n A A A ,,,21 是两两互不相容的事件，则有∑===n
k k
n k k
A P A P 1
1
)()(
（n 可以取∞）
（iii ）设A ，B 是两个事件若B A ⊂，则)()()(A P B P A B P -=-，)A ()B (P P ≥ （iv ）对于任意事件A ，1)(≤A P
（v ）)(1)(A P A P -= （逆事件的概率）
（vi ）对于任意事件A ，B 有)()()()(AB P B P A P B A P -+=⋃
§4等可能概型（古典概型）
等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同 若事件
A
包含
k
个基本事件，即}{}{}{2]1k i i i e e e A =，里
个不同的数，则有
中某，是，，k k n 2,1i i i ,21 ()
中基本事件的总数
包含的基本事件数
S }{)(1
j A n k e P A P k
j i ==
=∑= §5．条件概率
（1） 定义：设A,B 是两个事件，且0)(>A P ，称)
()
()|(A P AB P A B P =为事件A 发生的条件下事件B 发生的条件概率
（2） 条件概率符合概率定义中的三个条件
1。

非负性：对于某一事件B ，有0)|(≥A B P
2。

规范性：对于必然事件S ，1)|(=A S P
3可列可加性：设 ,,21B B 是两两互不相容的事件，则有
∑∞
=∞==1
1
)()(i i i i A B P A B P
（3） 乘法定理 设0)(>A P ，则有)|()()(B A P B P AB P =称为乘法公式
（4） 全概率公式： ∑==
n
i i
i
B A P B P A P 1
)|()()(
贝叶斯公式： ∑==
n
i i
i
k k k B A P B P B A P B P A B P 1
)
|()()
|()()|(
§6．独立性
定义 设A ，B 是两事件，如果满足等式)()()(B P A P AB P =，则称事件A,B 相互独立 定理一 设A ，B 是两事件，且0)(>A P ，若A ，B 相互独立，则()B P A B P =)|( 定理二 若事件A 和B 相互独立，则下列各对事件也相互独立：A 与—
—
—
—
与，与，B A B A B
第二章 随机变量及其分布
§1随机变量
定义 设随机试验的样本空间为X(e)X {e}.S ==是定义在样本空间S 上的实值单值函数，称X(e)X =为随机变量
§2离散性随机变量及其分布律
1． 离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随
机变量称为离散型随机变量
k k )(p x X P ==满足如下两个条件（1）0k ≥p ，（2）∑∞
=1
k k P =1
2． 三种重要的离散型随机变量
（1）(0−1)分布
设随机变量X 只能取
0与1两个值，它的分布律是
)101,0k p -1p )k (k
-1k <<===p X P （，）（，则称X 服从以p 为参数的(0−1)分布或
两点分布。

（2）伯努利实验、二项分布
设实验E 只有两个可能结果：A 与—
A ，则称E 为伯努利实验.设1)p 0p P(A)<<=（，此时p -1)A P(=—
.将E 独立重复的进行n 次，则称这一串重复的独立实验为n 重伯努利实验。

n 2,1,0k q p k n )k X (k
-n k ，
，=⎪⎪⎭
⎫ ⎝⎛==P 满足条件（1）0k ≥p ，（2）∑∞
=1k k P =1注意
到k
-n k q p k n ⎪⎪⎭
⎫
⎝⎛是二项式
n q p ）（+的展开式中出现k
p 的那一项，我们称随机变量X 服从参数为n ，p 的二项分布。

（3）泊松分布
设随机变量X 所有可能取的值为0,1,2…，而取各个值的概率为
,2,1,0,k!
e )k X (-k ==
=k P λ
λ其中0>λ是常数，则称X 服从参数为λ的泊松分布记为
）
（λπ~X §3随机变量的分布函数
定义 设X 是一个随机变量，x 是任意实数，函数∞<<∞≤=x -x},P{X )x (F 称为X 的分布函数
分布函数)()(x X P x F ≤=，具有以下性质(1) )(x F 是一个不减函数 （2）
1)(,0)(1)(0=∞=-∞≤≤F F x F ，且 （3）是右连续的即)(),()0(x F x F x F =+
§4连续性随机变量及其概率密度
连续随机变量：如果对于随机变量X 的分布函数F （x ），存在非负可积函数)(x f ，使对于任意函数x 有,
dt t f )x (F x
-⎰
∞
=
）（则称x 为连续性随机变量，其中函数f(x)称为X
的概率密度函数，简称概率密度
1 概率密度)(x f 具有以下性质，满足（1）1)(
(2) ,0)(-=≥⎰
+∞
∞
dx x f x f ；
（3）⎰
=
≤≤2
1
)()(21x x dx x f x X x P ；（4）若)(x f 在点x 处连续，则有=)(F x ，
)(x f
2,三种重要的连续型随机变量
(1)均匀分布
若连续性随机变量X 具有概率密度⎪⎩⎪⎨⎧<<=，其他
，0a a -b 1)(b
x x f ，则成X 在区间(a,b)上服从
均匀分布.记为），（b a U ~X
(2)指数分布
若连续性随机变量X 的概率密度为⎪⎩⎪⎨⎧>=，其他
，0
0.e
1)(x -x x f θθ
其中0>θ为常数，则称X
服从参数为θ的指数分布。

（3）正态分布
若连续型随机变量
X 的概率密度为，
，）
∞<<∞=
--
x e
x f x -21)(2
2
2(σμσ
πσμσσμ，服从参数为为常数，则称（，其中X )0>的正态分布或高斯分布，记为
）
，（2N ~X σμ 特别，当10==σμ，时称随机变量X 服从标准正态分布
§5随机变量的函数的分布
定理 设随机变量X 具有概率密度,-)(x ∞<<∞x x f ，又设函数)(x g 处处可导且恒有
0)(,>x g ，则
Y=)(X g 是连续型随机变量，其概率密度为
[]⎩
⎨
⎧<<=其他，0,)()()(,β
αy y h y h f y f X Y 第三章 多维随机变量
§1二维随机变量
定义 设E 是一个随机试验，它的样本空间是X(e)X {e}.S ==和Y(e)Y =是定义在S 上的随机变量，称X(e)X =为随机变量，由它们构成的一个向量（X ，Y ）叫做二维随机变量
设（X ，Y ）是二维随机变量，对于任意实数x ，y ，二元函数
y}Y x P{X y)}(Y x)P{(X y x F ≤≤≤⋂≤=，记成），（称为二维随机变量（X ，Y ）的
分布函数
如果二维随机变量（X ，Y ）全部可能取到的值是有限对或可列无限多对，则称（X ，Y ）是离散型的随机变量。

我们称 ，
，，，2,1j i )y Y (ij j i ====p x X P 为二维离散型随机变量（X ，Y ）的分布律。

对于二维随机变量（X ，Y ）的分布函数），（y x F ，如果存在非负可积函数f （x ，y ），
使对于任意x ，y 有，），（）
，（⎰⎰
∞∞
=y -x
-dudv v u f y x F 则称（X ，Y ）是连续性的随机变量，
函数f （x ，y ）称为随机变量（X ，Y ）的概率密度，或称为随机变量X 和Y 的联合概率密
度。

§2边缘分布
二维随机变量（X ，Y ）作为一个整体，具有分布函数），（y x F .而X 和Y 都是随机
变量，各自也有分布函数，将他们分别记为）
（（y ),x F X Y F ，依次称为二维随机变量（X ，Y ）
关于X 和关于Y 的边缘分布函数。

，，2,1i }x P{X p 1
j i ij i ====∑∞
=•p
，，2,1j }y P{Y p 1
i i ij ====∑∞
=•j p
分别称•i p j p •为（X ，Y ）关于X 和关于Y 的边缘分布律。

⎰∞∞
-=dy y x f x f X ）,()( ⎰∞
∞
-=dx y x f y f Y ）,()(分别称)(x f X ，
)(y f Y 为X ，Y 关于X 和关于Y 的边缘概率密度。

§3条件分布
定义 设（X ，Y ）是二维离散型随机变量，对于固定的j ，若,0}{>=j y Y P 则称 ,2,1,}
{}
,{}{==
====
==•i p p y Y P y Y x X P y Y x X P j
ij j j i j i 为在j y Y =条件下
随机变量X 的条件分布律，同样
,2,1,}
{},{}{========•
j p p x X P y Y x X P X X y Y P i ij i j i i j 为在i x X =条件下随机变量X 的条件分布律。

设二维离散型随机变量（X ，Y ）的概率密度为),(y x f ，（X ，Y ）关于Y 的边缘概率密度为)(y f Y ，若对于固定的y ，)(y f Y 〉0，则称
)
()
,(y f y x f Y 为在Y=y 的条件下X 的条件概率密度，记为)(y x f Y X =
)
()
,(y f y x f Y §4相互独立的随机变量
定义 设），（y x F 及)(F x X ，)(F y Y 分别是二维离散型随机变量（X ，Y ）的分布函数及边缘分布函数.若对于所有x,y 有y}}P{Y {},{≤≤===x X P y Y x X P ，即
(y))F (F },{F Y X x y x =，则称随机变量X 和Y 是相互独立的。

对于二维正态随机变量（X ，Y ），X 和Y 相互独立的充要条件是参数0=ρ
§5两个随机变量的函数的分布
1，Z=X+Y 的分布
设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f .则Z=X+Y 仍为连续性随机变量，其概率密度为⎰
∞
∞
-+-=
dy y y z f z f Y X ）,()(或⎰∞
∞
-+-=dx x z x f z f Y X ）,()(
又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则
⎰∞∞
-+-=dy f y z f z f Y X Y X y)()(（） 和⎰
∞
∞
-+-=dx x z f x f z f Y X Y X )(()(）这两个公式称为Y X f f ,的卷积公式
有限个相互独立的正态随机变量的线性组合仍然服从正态分布 2，的分布的分布、XY Z X
Y
Z ==
设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f ，则XY Z X
Y
Z ==， 仍为连续性随机变量其概率密度分别为dx
xz x f x z f X
Y
),()(⎰∞
∞
-=dx x
z
x f x z f XY ),(1)(⎰
∞
∞
-=又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则可化为dx xz f x f z f Y X X Y
⎰
∞
∞
-=)()()( dx x
z f x f x z f Y XY )()(1)(X ⎰
∞
∞
-= 3的分布及，},m in{N Y }{X m ax Y X M ==
设X ，Y 是两个相互独立的随机变量，它们的分布函数分别为)(),(y F x F Y X 由于
Y}{X max ，=M 不大于z 等价于X 和Y 都不大于z 故有z}Y z,P{X z}P{M ≤≤=≤又
由于X 和Y 相互独立，得到Y}{X max ，=M 的分布函数为)()()(max z F z F z F Y X =
},min{N Y X =的分布函数为[][])(1)(11)(min z F z F z F Y X ---=
第四章 随机变量的数字特征
§1．数学期望
定义 设离散型随机变量X 的分布律为k k p x X P ==}{，k=1,2，…若级数
∑∞
=1
k k k
p x
绝对
收敛，则称级数
∑∞
=1
k k k
p x
的和为随机变量X 的数学期望，记为)(X E ，即∑=i
k k p x X E )(
设连续型随机变量X 的概率密度为)(x f ，若积分
⎰
∞
∞
-dx x xf )(绝对收敛，则称积分
⎰
∞
∞
-dx x xf )(的值为随机变量X 的数学期望，记为)(X E ，即⎰+∞
∞
-=dx x xf X E )()(
定理 设Y 是随机变量X 的函数Y=)(X g (g 是连续函数)
（i ）如果X 是离散型随机变量，它的分布律为k p X P ==}x {k ，k=1,2，…若
k
k k
p x g ∑∞
=1
(）
绝对收敛则有=)Y (E =
))((X g E k
k k
p x g ∑∞
=1
(）
（ii ）如果X 是连续型随机变量，它的分概率密度为)(x f ，若⎰
∞
∞
-dx x f x g )()(绝对收敛则
有=)Y (E =
))((X g E ⎰
∞
∞
-dx x f x g )()(
数学期望的几个重要性质 1设C 是常数，则有C C E =)(
2设X 是随机变量，C 是常数，则有)()(X CE CX E = 3设X,Y 是两个随机变量，则有)()()(Y E X E Y X E +=+； 4设X ，Y 是相互独立的随机变量，则有)()()(Y E X E XY E =
§2方差
定义 设X 是一个随机变量，若[]})({2
X E X E -存在，则称[]})({2
X E X E -为X 的方
差，记为D （x ）即D （x ）=[]})({2
X E X E -，在应用上还引入量)(x D ，记为)(x σ，
称为标准差或均方差。

222)()())(()(EX X E X E X E X D -=-=
方差的几个重要性质
1设C 是常数，则有 ,0)(=C D
2设X 是随机变量，C 是常数，则有)(C )(2
X D CX D =，D(X))(=+C X D
3设X,Y 是两个随机变量，则有E(Y))}-E(X))(Y -2E{(X D(Y)D(X))(++=+Y X D 特别，若X,Y 相互独立，则有)()()(Y D X D Y X D +=+
40)(=X D 的充要条件是X 以概率1取常数E(X)，即1)}({==X E X P
切比雪夫不等式：设随机变量X 具有数学期望2
)(σ=X E ，则对于任意正数ε，不等式
22
}-X P{εσεμ≤≥成立
§3协方差及相关系数
定义 量)]}()][({[Y E Y X E X E --称为随机变量X 与Y 的协方差为),(Y X Cov ，即
)()()())]())(([(),(Y E X E XY E Y E Y X E X E Y X Cov -=--=
而D(Y)
D(X)Y X (XY ），Cov =
ρ称为随机变量X 和Y 的相关系数
对于任意两个随机变量X 和Y ，),(2)()()_(Y X Cov Y D X D Y X D -
+
+=+
协方差具有下述性质
1),(),( ),,(),(Y X abCov bY aX Cov X Y Cov Y X Cov == 2),(),(),(2121Y X Cov Y X Cov Y X X Cov +=+ 定理 1 1≤XY ρ
2 1=XY ρ的充要条件是，存在常数a,b 使1}{=+=bx a Y P
当
=XY ρ0时，称X 和Y 不相关
附：几种常用的概率分布表
第五章 大数定律与中心极限定理
§1． 大数定律
弱大数定理（辛欣大数定理） 设X 1，X 2…是相互独立，服从统一分布的随机变量序列，并
具有数学期望),2,1()( ==k X E k μ.作前n 个变量的算术平均∑=n
k k X n 11，则对于任意
0>ε，有1}1{lim 1
=<-∑=∞→εμn
k k n X n P
定义 设 n Y Y Y ,,21是一个随机变量序列，a 是一个常数，若对于任意正数ε，有
1}{lim =<-∞
→εa Y P n n ，则称序列 n Y Y Y ,,21依概率收敛于a ，记为a Y p
n −→−
伯努利大数定理 设A f 是n 次独立重复试验中事件A 发生的次数，p 是事件A 在每次试验中发生的概率，则对于任意正数ε〉0，有1}{
lim =<-∞
→εp n
f P n
n 或0}{
lim =≥-∞
→εp n
f P n
n §2中心极限定理
定理一（独立同分布的中心极限定理） 设随机变量n X X X ,,,21 相互独立，服从同一
分布，且具有数学期望和方差2
)( ,)(σμ==k i X D X E （k=1,2，…），则随机变量之和
标准化变量∑=n
i k
X
1
， σ
μ
n n X
X D X E X
Y n
i k
n
k k n
k n
k k k
n ∑∑∑∑====-=
-=
1
1
1
1 )
()
(，
定理二（李雅普诺夫定理） 设随机变量n X X X ,,,21 …相互独立，它们具有数学期望和方差 2,1,0)( ,)(2
=>==k X D X E k k k k σμ记∑==
n
k k n B 12
2
ε
11 定理三（棣莫弗-拉普拉斯定理）设随机变量10(,),2,1(<<=p p n n n 服从参数为 η）的二项分布，则对任意x ，有)(21
})1({lim 22x dt e x p np np P x t n n Φ==≤--⎰∞--∞→πη。