概率统计与随机过程 知识点总结--最终版

《概率统计与随机过程》知识总结
第1章 随机事件及其概率
一、随机事件与样本空间 1、随机试验
我们将具有以下三个特征的试验称为随机试验，简称试验， （1）重复性：试验可以在相同的条件下重复进行；
（2）多样性：试验的可能结果不止一个，并且一切可能的结果都已知； （3）随机性：在每次试验前，不能确定哪一个结果会出现。

随机试验一般用大写字母E 表示，随机试验中出现的各种可能结果称为试验的基本结果。

2、样本空间
随机试验E 的所有可能结果组成的集合称为试验的样本空间，记为S ，样本空间中的元素，即E 的每个基本结果，称为样本点。

3、随机事件
称随机试验E 的样本空间S 的子集为E 的随机事件，简称事件。

随机事件通常利用大写字母A 、B 、C 等来表示。

在一次试验中，当且仅当这一子集（事件）中的某个样本点出现时，称这一事件发生。

特别地，将只含有一个样本点的事件称为基本事件；
样本空间S 包含所有的样本点，它在每次试验中都发生，称S 为必然事件；
事件∅（S ∅⊂）不包含任何样本点，它在每次试验中都不发生，称∅为不可能事件。

4、随机事件间的关系及运算
（1）包含关系：若B A ⊂，则称事件A 包含事件B ，也称事件B 含在事件A 中，它表示：若事件B 发生必导致事件A 发生。

（2）相等关系：若B A ⊂且A B ⊂，则称事件A 与事件B 相等，记为A B =。

（3）事件的和：称事件{|A B x x A ⋃=∈或}x B ∈为事件A 与事件B 的和事件。

事件A B ⋃发生意味着事件A 发生或事件B 发生，即事件A 与事件B 至少有一件发生。

类似地，称1
n i i A =⋃为n 个事件12n A A A ⋯、、
、的和事件，称1
i i A ∞
=⋃为可列个事件12 A A ⋯、、的和事件。

（4）事件的积：称事件{|A B x x A ⋂=∈且}x B ∈为事件A 与事件B 的积事件。

事件A B ⋂发生意味着事件A 发生且事件B 发生，即事件A 与事件B 都发生。

A B ⋂简记为AB 。

类似地，称1
n i i A =⋂为n 个事件12n A A A ⋯、、
、的积事件，称1
i i A ∞
=⋂为可列个事件12 A A ⋯、、的积事件。

（5）事件的差：称事件{|A B x x A -=∈且}x B ∉为事件A 与事件B 的差事件。

事件A B -发生意味着事件A 发生且事件B 不发生。

（A B AB A AB -==-）
（6）互不相容（互斥关系）：若A B ⋂=∅，则称事件A 与事件B 互不相容，又称事件A
与事件B 互斥。

事件A 与B 互不相容意味着事件A 与B 不可能同时发生。

（7）互逆关系（对立关系）：若A B S ⋃=且A B ⋂=∅，则称事件A 与事件B 互为逆事
件，又称事件A 与事件B 互为对立事件，记为A B =或B A =。

注意：事件A 的对立事件记为A ；基本事件是两两互不相容的； 对立事件与互斥事件的关系：对立一定互斥，但互斥不一定对立。

事件的运算满足的规律：
交换律：A B B A ⋃=⋃ A B B A ⋂=⋂；
结合律：()()A B C A B C ⋃⋃=⋃⋃ ()()A B C A B C ⋂⋂=⋂⋂；
分配律：()()()A B C A B A C ⋃⋂=⋃⋂⋃ ()()()A B C A B A C ⋂⋃=⋂⋃⋂； 对偶律：A B A B ⋃=⋂ A B A B ⋂=⋃ (德·摩根律)
二、随机事件的概率 1、频率
在相同的条件下，将一个试验重复进行n 次，在这n 次试验中，记事件A 发生的次数为A
N 次，称比值
A
N n
为事件A 在这n 次试验中发生的频率，记为()n f A 。

频率描述了事件发生的频繁程度。

频率所具有的三个性质： 性质1：非负性 ()01n f A ≤≤； 性质2：规范性 ()1n f S =；
性质3：可加性 如果事件12 , ,, k A A A ⋯两两互不相容，则
()()()()1212 n k n n n k f A A A f A f A f A ⋃⋃⋯⋃=++⋯+。

2、概率的公理化定义
设E 是随机试验, S 是它的样本空间, 对于E 的每一事件A 赋予一个实数, 记为P (A ), 称为事件A 的概率，且满足以下三条公理： 非负性：对于任意事件A , 有P (A )≥0; 规范性：对于必然事件S , 有P (S )=1;
可列可加性：设A 1,A 2,...是两两互不相容事件, 即对于i ≠j , A i A j =f , i ,j =1,2,..., 则有 P (A 1⋃A 2⋃...)=P (A 1)+P (A 2)+...
3、概率的性质
性质1 对不可能事件∅，有P (∅)=0.
性质2(有限可加性) 若A 1,A 2,...,A n 是两两互不相容的n 个事件, 则有
P (A 1⋃A 2⋃...⋃A n )=P (A 1)+P (A 2)+...+P (A n )
性质3(逆事件的概率) 对任意事件A , 有()1()P A P A =-
性质4 设A ,B 是两个事件, 若B ⊂A , 则有P (A -B )=P (A )-P (B ) P (A )≥P (B )
性质5 对于任意事件A , P (A )≤1
性质6(加法公式) 对任意两个事件A ,B 有P (A ⋃B )=P (A )+P (B )-P (AB ) 性质6的推论：() P A B ⋃()()P A P B ≤+ 性质6的推广：
()P A B C ⋃⋃()()()()()()()P A P B P C P AB P AC P BC P ABC =++---+
1n i i P A =⎛⎫
⋃ ⎪⎝⎭()1n
i i P A ==∑()1,i j i j n P A A ≤≤-∑()
1,,i j k i j k n
P A A A ≤≤+∑()()1121n n P A A A --⋯+-⋯
三、古典概率模型 1、古典概率模型
若随机试验满足下述两个条件：
(1) 它的样本空间只含有有限个样本点，即基本事件数有限； (2) 每个样本点出现的可能性相同.
称这种试验为古典概率模型，简称古典概型，又称为等可能概率模型。

若事件A 包含k 个基本事件，即{}{}
{}
12 k i i i A e e e =⋃⋃
⋃，则有
()P A k n =
A S =包含的基本事件数中的基本事件总数
四、条件概率、全概率公式与贝叶斯公式 1、条件概率
设A 、B 是两个事件，且P (B )>0,则称()
(|)()
P AB P A B P B =(1)为在事件B 发生的条件下,事件A 的条件概率.
2、条件概率的性质
条件概率()|P A •具备概率定义的三个条件： （1）非负性：对于任意的事件B ，()|0P B A ≥； （2）规范性：()|1P S A =；
（3）可列可加性：设12,,B B …是两两互斥事件，则有：()11
i i i i P B A P B A ∞
∞==⎛⎫⋃= ⎪⎝⎭∑。

3、乘法公式
由条件概率的定义：()
(|)()
P AB P A B P B =
即得乘法定理：
若P (B )>0，则P (AB )=P (B )P (A |B )； 若P (A )>0 ，则P (AB )=P (A )P (B |A ). 乘法定理可以推广到多个事件的积事件的情况，
设A 、B 、C 为三个事件，且()0P AB >，且()()()()||P ABC P C AB P B A P A =， 一般地，设有n 个事件12,, , , 2 ,n A A A n ⋯≥并且()1210n P A A A -⋯>，则由条件概率的定义可得：
()()()()()()
1212-1112-2312211||||n n n n n P A A A P A A A A P A A A A P A A A P A A P A -⋯=⋯⋯⋯4、样本空间的划分
定义：设S 为试验E 的样本空间, B 1,B 2,...,B n 为E 的一组事件, 若 （1）,,,1,2,,i j B B i j i j n =∅≠=；
（2）1
2n B B B S =
则称12,,
,n B B B 为样本空间S 的一个划分。

5、全概率公式
定理：设试验E 的样本空间为S ，A 为E 的事件，B 1,B 2,...,B n 为S 的一个划分，且
()0(1,2,
,),i P B i n >=则恒有全概率公式：
1122()()()()()()()n n P A P A B P B P A B P B P A B P B =++
+()()1
|n
i i i P B P A B ==∑
6、贝叶斯公式
定理：设试验E 的样本空间为S ，A 为E 的事件，B 1,B 2,...,B n 为S 的一个划分，且()0,P A >
()0,(1,2,,),i P B i n >=则1
()()
(),1,2,,.()()
i i i n
j
j
j P A B P B P B A i n P A B P B ==
=∑（贝叶斯公式）
n =2时，两个公式的简化：
全概率公式：()(|)()(|)()P A P A B P B P A B P B =+ 贝叶斯公式：(|)()
(|)(|)()(|)()
P A B P B P B A P A B P B P A B P B =
+
7、条件概率()P B A 与积事件概率()P AB 的区别
()P AB 表示在样本空间S 中，AB 发生的概率，而()P B A 表示在缩小的样本空间A S 中，B
发生的概率，用古典概率公式，则
()A AB P B A S =
中基本事件数中基本事件数， ()AB P AB S =中基本事件数
中基本事件数
，
一般来说，()P B A 比()P AB 大。

五、事件的独立性 1、事件的相互独立性
定义：设A ，B 是两事件，如果满足等式()()()P AB P A P B =，则称事件A ，B 相互独立，简称A ，B 独立。

说明：
(1) 事件 A 与 事件 B 相互独立,是指事件 A 的发生与事件 B 发生的概率无关. (2) 两事件相互独立与两事件互斥的关系：
两事件相互独立()()()P AB P A P B =与两事件互斥AB =∅二者之间没有必然联系 （3）事件 A 、B 独立的充要条件为：
()()()| ,0P A B P A P B => 或 ()()()|,0P B A P B P A =>
三事件两两相互独立的概念
定义：设,,A B C 是三个事件，如果满足等式()()(),()()(),()()(),P AB P A P B P BC P B P C P AC P A P C =⎧⎪
=⎨⎪=⎩
则称事件,,A B C 两两
相互独立。

三事件相互独立的概念
定义：设,,A B C 是三个事件，如果满足等式()()(),()()(),()()(),()()()(),
P AB P A P B P BC P B P C P AC P A P C P ABC P A P B P C =⎧⎪=⎪
⎨=⎪⎪=⎩则称事件,,A B C
相互独立。

注意：三个事件相互独立 ⇒ 三个事件两两相互独立
推广： 设12,,
,n A A A 是n 个事件，如果对于任意(1)k k n <≤，任意121k i i i n ≤<<
<≤，
具有等式1212()()()
()k k i i i i i i P A A A P A P A P A =，则称12,,
,n A A A 为相互独立的事件。

结论： 若事件12,,
,(2)n A A A n ≥相互独立，则其中任意(2)k k n ≤≤个事件也是相互独立的。

2、几个重要定理
定理一：设,A B 是两事件，且()0P A >，若,A B 相互独立，则()().P B A P B =反之亦然。

定理二：若,A B 相互独立，则下列各对事件，A 与B ，A 与B ，A 与B 也相互独立。

推广：n 个事件12,,,(2)n A A A n ≥相互独立，则将12,,,n A A A 中任意多个事件换成它
们的对立事件，所得的n 个事件仍相互独立。

3、事件的独立性在可靠性问题中的应用
所谓系统（元件）的可靠性是指系统（元件）正常工作的概率。

补充：排列与组合知识 1、加法原理
设完成一件事有m 种方式，第i 种方式有n i 种方法，则完成这件事共有: n 1＋n 2＋……＋n m 种不同的方法。

2、乘法原理
设完成一件事有m 个步骤，第i 种步骤有n i 种方法，则完成这件事共有: n 1×n 2 ×……×n m 种不同的方法。

3、排列公式
（1）从n 个不同元素中不放回（不重复）地选取m 个元素进行排列，称为选排列，则所有不同排列的总数为：()(1)
(1)()m
m
n n n A P n n n m n m =
=--+-！
！
（2）当n =m 时，称为全排列，其计算公式为：n
n n P A n ==！
（3）有重复排列: 从n 个不同元素中有放回（可重复）地取m 个元素进行排列，称为可重
排列，其总数为 n m 。

4、组合公式
（1）从n 个不同元素中不重复地选取m 个元素，组成一组(不管其顺序)，称为从n 个不同元素中选取m 个元素的组合。

则所有不同组合的总数为：()m
n
n n C m m n m ⎛⎫==
⎪-⎝⎭
！！！ 选排列与选组合的关系：!m m
n n A C m =
说明：选组合也等价于：如果把n 个不同的元素分成两组，一组m 个，另一组n -m 个，组内元素不考虑顺序，那么不同分法的总数为：
!
!()!
n m n m -
（2）多组组合：把n 个不同元素分成k 组(1≤ k ≤ n ) ，使第 i 组有n i 个元素，
1
k
i
i n
n ==∑，
若组内元素不考虑顺序，那么不同分法的总数为：
1!
!!
k n n n
（3）常用组合公式：k n k n n
C C -=，11
k k k n n n C
C C
-+=+，
k
k i k i n m
n
m
i C
C C
-+==∑，
2.n
i n n
i C
==∑
第2章 随机变量及其分布
一、随机变量
1、随机变量的概念
定义：设E 是随机试验，它的的样本空间为S ={e }. 如果对于每一个,e S ∈有一个实数X (e )与之对应，这样X =X (e )是定义在样本空间S 上的实值单值函数. 称X =X (e )为随机变量. 说明：(1)随机变量与普通的函数不同；
(2)随机变量的取值具有一定的概率规律； (3)随机变量与随机事件的关系 2、随机变量的分类
(1)离散型：随机变量所取的可能值是有限多个或无限可列个, 叫做离散型随机变量. (2)连续型：随机变量所取的可能值可以连续地充满某个区间,叫做连续型随机变量.
二、离散型随机变量的概率分布 1、离散型随机变量的分布律
定义：设离散型随机变量X 所有可能取的值为x k (k =1,2,...), X 取各个可能值的概率，即事件{X =x k }的概率，为P {X =x k }=p k , k =1,2,...，称此为离散型随机变量X 的分布律。

说明：（1）0,
1,2,
k p k ≥=； （2）
1
1k
k p
∞
==∑
离散型随机变量的分布律也可表示为：1
21
2
~n n
x x x X p p p ⎛⎫
⎪⎝⎭
2、常见离散型随机变量的概率分布 （1）两点分布
（2）等可能分布
其中（i j a a ≠），（i j ≠），则称X 服从等可能分布. （3）二项分布
n 重伯努利试验：设实验E 只有两个可能结果：A 及A ，则称E 为伯努利试验。

设()(01)P A p p =<<，此时()1P A p =-，将E 重复地进行n 次，则称这一串重复的独立试验为n 重伯努利试验。

用X 表示n 重伯努利试验中事件A 发生的次数，则
{}P X k ==(1)k n k n p p k -⎛⎫
- ⎪⎝⎭
，k =0,1, ...，n
称X 服从参数为n 和p 的二项分布，记为X ~b (n ,p ) 显然：
{}00()1n
n
k n k n
k k n P X k p q p q k -
==⎛⎫===+= ⎪⎝⎭
∑∑ 注意：当n =1时，二项分布就是(0-1)分布
Possion 定理
设0n np λ=>，则对固定的 k ，lim (1)
!
k
k k n k
n
n
n n C p p e
k λ
λ--→∞
-=，0,1,2,k =
Poisson 定理说明若X ~ B ( n , p ), 则当n 较大， p 较小, 而np λ=适中, 则可以用
近似公式：(1)
,0,1,2,
!
k
k k n k
n
C p p e
k k λ
λ---≈=
（4）泊松分布
设随机变量X 所有可能取的值为0 , 1 , 2 , … , 且概率分布为：
e {},0,1,2,,!
k P X k k k λ
λ-==
=
其中λ>0 是常数,则称 X 服从参数为λ的 泊松分布,记作X ~π(λ). （5）几何分布
其中，1p q +=，则称 X 服从几何分布。

说明：几何分布可作为描述某个试验 “首次成功”的概率模型.
三、随机变量的分布函数 1、分布函数的概念
定义：设 X 是一个随机变量，x 是任意实数，函数(){}F x P X x =≤为 X 的分布函数。

性质：
（1）0()1,(,)F x x ≤≤∈-∞∞；
（2）1212()(),
()F x F x x x ≤<；
（3）()lim ()0x F F x →-∞
-∞==，()lim ()1x F F x →∞
∞==； （4）0
00lim ()(),
()x x F x F x x +→=-∞<<∞，即任一分布函数处处右连续，
01
0121220,,,,(),,1,
.
x x p x x x F x p x x x x x <⎧⎪≤<⎪=⎨
≤<⎪⎪≥⎩
重要公式
（1）{}()()P a X b F b F a <≤=-； （2）{}1()P X a F a >=-
四、连续型随机变量及其分布 1、概率密度的概念与性质
定义：如果对于随机变量 X 的分布函数F （x ），存在非负函数，使得对于任意实数x 有
()()d ,x
F x f t t -∞
=⎰
则称X 为连续型随机变量，其中f (x )称为X 的概率密度函数，简称为
概率密度。

性质：
（1）()0f x ≥； （2）
()d 1f x x +∞
-∞
=⎰
；
这两条性质是判定一个函数 f(x)是否为某一随机变量的概率密度的充要条件 （3）1221{}()()P x X x F x F x <≤=-
{}()P X a F a ≤=()d a
f x x -∞
=
⎰
{}1{}P X a P X a >=-≤1()F a =-；
（4）若 f (x ) 在点 x 处连续 , 则有()()F x f x '=；
（5）对于任意可能值 a ,连续型随机变量取 a 的概率等于零.即：{}0.P X a == 由此（5）可得：{}P a X b ≤≤{}P a X b =<≤{}P a X b =≤<{}.P a X b =<< 连续型随机变量取值落在某一区间的概率与区间的开闭无关 2、常见连续型随机变量的分布 （1）均匀分布
设连续型随机变量X 具有概率密度：1
,,()0,
,a x b f x b a ⎧<<⎪
=-⎨⎪⎩其它
则称X 在区间( a, b )上服从均匀分布，记作X ～ U (a , b ) 均匀分布的意义
在区间(a , b )上服从均匀分布的随机变量X ，落在区间(a , b )中任意等长度的子区间内的可能性是相同的。

概率密度函数图形 分布函数
0,
,(),,1,
.x a x a F x a x b b a x b <⎧⎪-⎪=≤<⎨-⎪
≥⎪⎩
(2)指数分布
设连续型随机变量X 具有概率密度: e ,0,
()0,
0.x x f x x λλ-⎧>=⎨≤⎩ 其中0λ>为常数，
则称 X 服从参数为λ的指数分布。

概率密度函数图形 注：1
θλ
=
分布函数
1e ,0,
()0,
0.x x F x x λ-⎧->=⎨
≤⎩
如X 服从指数分布, 则任给s ,t 有 P {X >s +t | X > s }=P {X > t }（无记忆性） （3）正态分布(或高斯分布)
设连续型随机变量X 具有概率密度: 22
()2(),,2πx μσf x x σ
--
=
-∞<<+∞
其中,(0)μσσ>为常数，则称X 服从参数为,μσ的正态分布或高斯分布， 记作2
~(,)X N μσ。

正态概率密度函数的几何特征
（1）曲线关于x μ=
对称； （2）当x μ=时，()f x 2πσ
；
（3）当x →±∞时，()0f x →； （4）曲线在x μσ=±处有拐点； （5）曲线以x 轴为渐近线；
（6）当固定σ，改变μ的大小时，()f x 图形的形状不变，只是沿着x 轴作平移变换； （7）当固定μ，改变σ的大小时，()f x 图形的对称轴不变，而形状在改变，σ越小，图形越高越瘦，σ越大，图形越矮越胖。

正态分布的分布函数
22
()2()e
d 2πt μx
σF x t σ
--
-∞
=
⎰
标准正态分布
当正态分布2
(,)N μσ中的0,1μσ==时，这样的正态分布称为标准正态分布，记为
(0,1)N
标准正态分布的概率密度表示为：22
(),,2π
x x x φ-
=
-∞<<∞
标准正态分布的分布函数表示为：22
()d ,.2π
t x
x t x -Φ=-∞<<∞⎰
标准正态分布的图形
常用结论：（1）()1
02
Φ=
； （2）()(),1x R x x ∀∈Φ-=-Φ 引理：若2
~(,)X N μσ，则~(0,1)X μZ N σ
-=
3σ准则
由标准正态分布的查表计算可以求得，当X ～N (0,1)时，
P (|X |≤1)=2Φ(1)-1=0.6826；P (|X |≤2)=2Φ(2)-1=0.9544；P (|X |≤3)=2Φ(3)-1=0.9974； 这说明，X 的取值几乎全部集中在[-3,3]区间内，超出这个范围的可能性仅占不到0.3%. 将上述结论推广到一般的正态分布,当2
~(,)Y N μσ时，
(||)P Y μσ-≤=0.6826；(||2)P Y μσ-≤=0.9544；(||3)P Y μσ-≤=0.9974
可见服从正态分布2
(,)N μσ的随机变量X 之值基本上落在区间(2,2)μσμσ-+内，而几乎不落在(3,3)μσμσ-+之外，在实际应用中称为3σ准则。

五、一维随机变量函数的分布 1、离散型随机变量函数的分布
如果X 是离散型随机变量，其函数Y =g （X ）也是离散型随机变量，若X 的分布律为：
X
1x 2x ... k x ... k p
1p
2p
...
k p
...
()Y g X =
1()g x 2()g x ... ()k g x ... k p 1p
2p
...
k p
...
若()k g x 中有值相同的，应将相应的k p 合并。

2、连续型随机变量函数的分布
如果X 是连续型随机变量，其概率密度为()X f x ，欲求Y =g （X ）的概率密度()Y f y ， 一般，我们采用先求分布函数，再求概率密度的方法，步骤如下：
（1）求出Y =g （X ）的分布函数()Y F y ； （2）由关系式()()Y y f y F y '=求出()Y f y 。

定理：设随机变量X 具有概率密度()X f x ，其中x -∞<<+∞，又设函数()g x 处处可导，且恒有()0g x '>（或恒有()0g x '<），则称()Y g X =是连续型随机变量，其概率密度为：
[()](),,
()0,.X
Y f h y h y αy βf y '⎧<<=⎨⎩其他，其中min((),())αg g =-∞+∞， max((),())βg g =-∞+∞，()h y 是()g x 的反函数。

第3章 多维随机变量及其分布
一、二维随机变量及其分布函数 1、二维随机变量
定义：设E 是一个随机试验，它的样本空间是{}S e =，设()X X e =和()Y Y e =是定义在S 上的随机变量，由它们构成的一个向量(,)X Y ，叫做二维随机向量或二维随机变量。

2、二维随机变量的分布函数
定义：设(,)X Y 是二维随机变量，对于任意实数,x y ，二元函数
(,){()()}{,}F x y P X x Y y P X x Y y =≤≤=≤≤称为二维随机变量(,)X Y 的分布函
数，或称为随机变量X 和Y 的联合分布函数。

(,)F x y 的函数值就是随机点落在如图所示区域内的概率。

性质：
（1）0(,)1F x y ≤≤，
(,)1F +∞+∞=，(,)0F -∞-∞=，(,)0F x -∞=，(,)0F y -∞=；
（2）对每个变量单调不减，
固定 x , 对任意的 y 1< y 2 , F (x , y 1) ≤ F (x , y 2)； 固定 y , 对任意的 x 1< x 2 , F (x 1,y ) ≤ F (x 2, y )； （3）对每个变量右连续
F (x 0 , y 0) = F (x 0+ 0 , y 0 )，F (x 0 , y 0) = F (x 0 , y 0 + 0 )；
（4）对于任意 a < b , c < d ，F (b ,d ) – F (b ,c ) – F (a ,d ) + F (a ,c ) ≥ 0
3、二维离散型随机变量 定义：若二维随机变量 ( X , Y ) 所取的可能值是有限对或无限可列多对,则称 ( X , Y ) 为二维离散型随机变量.
4、二维离散型随机变量的分布律
设二维离散型随机变量(,)X Y 所有可能取的值为(,),,1,2,i j x y i j =，
记{,}i j ij P X x Y y p ===，,1,2,
i j =，称此为二维离散型随机变量(,)X Y 的分布律，
或随机变量X 和Y 的联合分布律。

其中，0ij p ≥，11
1ij
i j p
∞∞
===∑∑。

定义：对于二维随机变量(,)X Y 的分布函数(,)F x y ，如果存在非负的函数(,)f x y 使对于任意x ，y 有(,)(,)d d y
x
F x y f u v u v -∞-∞
=⎰
⎰
，则称(,)X Y 是连续型的二维随机变量，函数
(,)f x y 称为二维随机变量(,)X Y 的概率密度，或称为随机变量X 和Y 的联合概率密度。

性质：
（1）(,)0f x y ≥； （2）
(,)d d (,)1f x y x y F +∞+∞
-∞
-∞
=∞∞=⎰⎰
；
（3）设G 是xoy 平面上的一个区域，点(,)X Y 落在G 内的概率为
{(,)}(,)d d G
P X Y G f x y x y ∈=⎰⎰ ；
（4）若(,)f x y 在(,)x y 连续，则有
2(,)
(,)F x y f x y x y
∂=∂∂。

6、两个常用的分布 （1）均匀分布
定义：设 D 是平面上的有界区域,其面积为S ,若二维随机变量( X , Y )具有概率密度
1
,(,),
(,)0,.
x y D f x y S
⎧∈⎪=⎨⎪⎩其他则称 ( X , Y ) 在 D 上服从均匀分布. （2）二维正态分布
定义：若二维随机变量( X ,Y )具有概率密度
2211222221212()2()()()1
2(1)(,)x μρx μy μy μσσρσσf x y ⎡⎤
------+⎢⎥-⎢⎥⎣⎦=
(,)x y -∞<<∞-∞<<∞
其中1212,,,,μμσσρ均为常数，且120,0,1 1.σσρ>>-<<则称( X ,Y )服从参数为1μ，2μ，
1σ，2σ，ρ的二维正态分布，记为22
1212(,)~(,,,,)X Y N μμσσρ。

推广：n 维随机变量的概念
定义：设E 是一个随机试验，它的样本空间是{}S e =，设11()X X e =，
22()X X e =，…，()n n X X e =，是定义在S 上的随机变量，由它们构成的一个 n 维向量12(,,
,)n X X X 叫做n 维随机向量或n 维随机变量。

对于任意n 个实数12,,,n x x x ，n
元函数
121122(,,
,){,,
,}n n n F x x x P X x X x X x =≤≤≤称为随机变量
12(,,
,)n X X X 的联合分布函数。

二、边缘分布 1、边缘分布函数
定义：设(,)F x y 是随机变量(,)X Y 的分布函数，则(,){,}F x y P X x Y y =≤≤，令
y →∞，称{}{,}(,)P X x P X x Y F x ≤=≤<∞=∞为随机变量(,)X Y 关于X 的边缘分
布函数，记为()(,)X F x F x =∞。

同理令x →∞，()(,){,}{}Y F y F y P X Y y P Y y =∞=<∞≤=≤为随机变量(,)X Y 关于Y 的边缘分布函数。

2、二维离散型随机变量的边缘分布律
定义：设二维离散型随机变量( X ,Y )的联合分布律为{,}i j ij P X x Y y p ===，
,1,2,i j =，记1
{}i ij
i j p p
P X x ∞
•==
==∑，1,2,i =，1
{}j ij
j i p p
P Y y ∞
•==
==∑，
1,2,
j =，分别称(1,2,)i p i •=和(1,2,)j p j •=为( X ,Y )关于X 和关于Y 的边缘分
布律。

1
{},1,2,
i ij j P X x p i ∞
====∑； 1
{},1,2,
j ij
i P Y y p
j ∞
===
=∑
得离散型随机变量关于X 和Y 的边缘分布函数分别为：
1
()(,)i X ij x x j F x F x p ∞
≤==∞=∑∑；1
()(,)j Y ij
y y i F y F y p
∞
≤==∞=
∑∑
3、二维连续型随机变量的边缘概率密度
定义：对于连续型随机变量( X ,Y )，设它的概率密度为(,)f x y ，由于
()(,)[(,)d ]d x X F x F x f x y y x ∞
-∞
-∞
=∞=⎰⎰
，记()(,)d X f x f x y y ∞
-∞
=⎰
，称其为随机变量
( X ,Y ) 关于X 的边缘概率密度。

同理可得 Y 的边缘分布函数()(,)(,)d d y Y F y F y f x y x y +∞
-∞
-∞
=∞=
⎰⎰
，
()(,)d Y f y f x y x +∞
-∞
=⎰
为随机变量( X ,Y ) 关于Y 的边缘概率密度。

三、随机变量的独立性
定义：设(,)F x y 及()X F x ，
()Y F y 分别是二维随机变量( X ,Y )的分布函数及边缘分布函数，若对所有x ，y 有{,}{}{}P X x Y y P X x P Y y ≤≤=≤≤， 即(,)()()X Y F x y F x F y =，则称随机变量X 和Y 是相互独立的。

说明：
（1）若离散型随机变量( X ,Y )的联合分布律为{,}ij P X i Y j p ===, ,1,2,
i j =,
X 和Y 相互独立⇔{,}{}{}i j i j P X x Y y P X x P Y y =====,即ij i j p p p ••=⋅； （2）设连续型随机变量( X ,Y )的联合概率密度为(,)f x y ，边缘概率密度分别为
()X f x ，()Y f y ，则有
X 和Y 相互独立⇔(,)()()X Y f x y f x f y =；
（3）X 和Y 相互独立，f （x ）与g （y ）连续，则f （X ）和g （Y ）也相互独立。

四、二维随机变量函数的分布
1、二维离散型随机变量函数的分布
结论：若二维离散型随机变量的联合分布律为{,}i j ij P X x Y y p ===，,1,2,j =，
则随机变量函数(,)Z g X Y =的分布律为{}{(,)}k k P Z z P g X Y z ===()
k i j ij z g x y p ==
∑
，
1,2,k =。

具有可加性的两个离散分布
（1）设 X ~B (n 1, p ), Y ~B (n 2, p ), 且独立，则 X + Y ~ B ( n 1+n 2, p ) （2）设 X ~ ∏ (λ1), Y ~ ∏ (λ2), 且独立，则 X + Y ~ ∏ (λ1+ λ2) 2、连续型随机变量函数的分布 （1）Z =X +Y 的分布
设(,)X Y 的概率密度为(,)f x y ，则Z
X Y =+的分布函数为(){}Z F z P Z z =≤
(,)d d x y z
f x y x y +≤=
⎰⎰(,)d d z y
f x y x y +∞
--∞
-∞
=⎰⎰
，两边求导可得概率密度函数为：
()(,)d Z f z f z y y y +∞
-∞
=-⎰
，由于 X 与 Y 对称, ()(,)d Z f z f x z x x +∞
-∞
=-⎰
， 当 X , Y
独立时, ()Z f z 也可表示为()()()d Z X Y f z f z y f y y +∞
-∞
=-⎰
，
或()()()d Z X Y f z f x f z x x +∞
-∞
=-⎰
，称之为函数 f X ( z )与 f Y ( z)的卷积。

（2）max(,)M X Y =及min(,)N X Y =的分布
设X ,Y 是两个相互独立的随机变量，它们的分布函数分别为()X F x 和()Y F y ，则有：
max (){}F z P M z =≤{,}P X z Y z =≤≤{}{}P X z P Y z =≤≤()()X Y F z F z =， min (){}F z P N z =≤1{}P N z =->1{,}P X z Y z =->>1{}{}P X z P Y z =->⋅>
1[1{}][1{}]P X z P Y z =--≤⋅-≤1[1()][1()].X Y F z F z =--- 故有：max ()()()X Y F z F z F z =，min ()1[1()][1()]X Y F z F z F z =--- 推广：设12,,
,n X X X 是n 个相互独立的随机变量，它们的分布函数分别为
()(1,2,
,)i X i F x i n =，则12max(,,,)n M X X X =及12min(,,,)n N X X X =的分布
函数分别为12max ()()()()n X X X F z F z F z F z =⋅，
12min ()1[1()][1()][1()].n X X X F z F z F z F z =----
若12,,
,n X X X 相互独立且具有相同的分布函数()F x ，则max ()[()]n F z F z =，
min ()1[1()].n F z F z =--
第4章 随机变量的数字特征
一、随机变量的数学期望
1、离散型随机变量的数学期望
定义：设离散型随机变量X 的分布律为P {X =x k }=p k , k =1,2,…，若级数
1k
k k x
p ∞
=∑绝对收敛，
则称级数
1
k
k k x
p ∞
=∑为随机变量X 的数学期望，记为()E X ，即1
()k k k E X x p ∞
==∑。

2、连续型随机变量的数学期望
定义：设连续型随机变量X 的概率密度为()f x ，若积分
()d x f x x +∞
-∞
⎰
绝对收敛，则称积分
()d x f x x +∞
-∞
⎰
的值为随机变量X 的数学期望，记为()E X ，即()()d E X x f x x +∞-∞
=⎰。

数学期望的性质
（1）设C 是常数, 则有()E C C =；
（2）设X 是一个随机变量,C 是常数, 则有()()E CX CE X =； （3）设X , Y 是两个随机变量, 则有()()().E X Y E X E Y +=+； （4）设X , Y 是相互独立的随机变量, 则有()()()E XY E X E Y = 3、随机变量函数的数学期望
（1）离散型随机变量函数的数学期望 若Y =g (X ), 且{}k k P X x p ==，1,2,k =，则有1
(())()k
k
k E g X g x p
∞
==
∑
（2）连续型随机变量函数的数学期望
若X 是连续型的,它的分布密度为f (x ) , 则(())()()d E g X g x f x x +∞
-∞
=⎰
（3）二维随机变量函数的数学期望
设X , Y 为离散型随机变量，(,)g x y 为二元函数，则[(,)](,)i
j
ij
i
j
E g X Y g x y p
=∑∑，其
中，(,)X Y 的联合概率分布为ij p ；
设X , Y 为连续型随机变量，(,)g x y 为二元函数，则
[(,)](,)(,)d d E g X Y g x y f x y x y +∞
+∞
-∞
-∞
=⎰
⎰
，其中，(,)X Y 的联合概率分布为(,)f x y 。

二、随机变量的方差 1、随机变量方差的概念
定义:设X 是一个随机变量，若2
{[()]}E X E X -存在，则称2
{[()]}E X E X -为X 的方差，
记为()D X 或Var()X ，即2
()Var(){[()]}D X X E X E X ==-为标准差或均方差，记为()σX 。

2、随机变量方差的计算 （1）利用定义计算
离散型随机变量的方差
21
()[()]k k k D X x E X p +∞
==-∑，其中{}k k P X x p ==，1,2,
k =是X 的分布律。

连续型随机变量的方差
2()[()]()d D X x E X f x x +∞
-∞
=-⎰，其中，()f x 是X 的概率密度。

（2）利用公式计算
22()()[()]D X E X E X =-
3、随机变量方差的性质
（1）设C 是常数, 则有()0.D C =；
（2）设X 是一个随机变量, C 是常数, 则有2
()()D CX C D X =； （3）()()()()2(())(())D X Y D X D Y E X E X Y E Y ±=+±--； 特别地，设X , Y 相互独立, D (X ), D (Y )存在, 则()()()D X Y D X D Y ±=+； 推广：若12,,
,n X X X 相互独立，则有
1212()()()()n n D X X X D X D X D X ±±±=++
+
（4）()0D X =的充要条件是X 以概率1取常数C ，即{}1P X C ==
4、重要概率分布的数学期望及方差 （1）两点分布
则有：()10E X p q
=⋅+⋅p =，
22()()[()]D X E X E X =-22210(1)p p p =⋅+⋅--(1).p p =-
（2）二项分布
设随机变量 X 服从参数为n , p 二项分布,其分布律为：
{}(1),(0,1,2,
,)k n k n P X k p p k n k -⎛⎫
==-= ⎪⎝⎭
，
()E X np =，()D X (1)np p =-
（3）泊松分布
设~π()X λ，且分布律为{}e !
k
P X k k λλ-==
，0,1,2,k =，0λ>，则有：
()e
!
k
k E X k k λ
λ∞
-==⋅
∑1
1
e
(1)!k k k λ
λλ-∞
-==⋅-∑e
e λ
λλ-=⋅.λ=
参照二项分布的计算法可推得：()D X λ= （4）均匀分布
设~(,)X U a b ，其概率密度为1
,,()0,
.
a x
b f x b a
⎧<<⎪
=-⎨⎪⎩其他，则有：
()()d E X xf x x ∞-∞
=⎰1d b
a
x x b a =-⎰1
=().2
a b + 结论：均匀分布的数学期望位于区间的中点
22
()()[()]D X E X E X =-2
2
1d 2b
a
a b x x b a +⎛⎫=- ⎪-⎝⎭
⎰
2
().12b a -= （5）指数分布
设随机变量X 服从指数分布，其概率密度为e ,0,
()0,
0.x x f x x λλ-⎧>=⎨≤⎩其中0.λ>
则有：()()d E X xf x x +∞
-∞
=
⎰
e d x x x λλ+∞
-=⋅⎰
e e d x
x x x λλ+∞
+∞--=-+⎰1
.λ
=
2
2
()()[()]D X E X E X =-220
1
e d x x x λλλ+∞
-=
⋅-
⎰
2
2
2
1
λλ=-
2
1
.λ=
（6）正态分布
设2
~(,)X N μσ
，其概率密度为22
()2()x μσf x --
=
，0σ>，x -∞<<+∞，
则有：()()d E X xf x x +∞
-∞
=
⎰
22
()2d .x μσx x --
+∞
-∞
=⎰
x μ
t σ
-=令
x μσt ⇒=+
22
()2()d x μσE X x x --+∞
-∞
=
⎰
22
()e d t μσt t -+∞
-∞
=
+
222
2
e d e d t t t t t --+∞
+∞
-∞
-∞
=+
.μ=
2()()()d D X x μf x x +∞
-∞
=-
⎰22
()22()d x μσx μx --+∞
-∞
=-⎰ 令
x μ
t σ
-=得
2
2
22()e
d t D X t t -+∞-∞
=
2
22
2
2
e e
d t t t t +∞
--
+∞
-∞
-∞
⎛⎫⎪=
-+⎪⎭
⎰0=+
2.σ= 总结：
若2
~(,)1,2,
i i i X N i n μσ=,且它们相互独立，则11n n C X C X ++也服从正态分布，
因此，只要求出期望和方差就可知道它的分布.
1111()n n n n E C X C X C EX C EX +
+=+
+
221111()n n n n D C X C X C DX C DX +
+=+
+
22111
1
~(,)n n
n n i i i i i i C X C X N C C μσ==+
+∑∑
三、协方差与相关系数 1、协方差
定义：设（X ，Y ）是一个二维随机变量，若E {[ X -E (X )][Y -E (Y ) ]}存在，则称它为随机变量X 和Y 的协方差，记为Cov (X ,Y ) ，即Cov(X ,Y )=E {[ X -E (X )][Y -E (Y ) ]}。

性质：
（1）Cov (X ,a )=0，Cov (X ,X )=D （X ）； （2）Cov (X ,Y )= Cov (Y ,X )；
（3）Cov (aX ,bY ) = ab Cov (X ,Y ) a ,b 是常数； （4）Cov (X 1+X 2,Y )= Cov (X 1,Y ) + Cov (X 2,Y )； （5）D (X +Y )= D (X )+D (Y )+ 2 Cov (X ,Y )； （6）Cov (X ,Y )=E (XY ) -E (X )E (Y ) 2、相关系数
定义：设（X ，Y ）是二维随机变量，若D (X )>0, D (Y )>0，称
XY ρ=
为随机
变量 X 和 Y 的相关系数，记为XY ρ，即当XY ρ=0时，称随机变量 X 和 Y 不相关。

性质：
（1）||1XY ρ≤；
（2）||1XY ρ=是充分必要条件X 与Y 依概率1线性相关，即存在常数a ，b 使
()1P Y aX b =+=
定理：若随机变量X 与Y 相互独立，则X 与Y 不相关。

四、矩与协方差矩阵 1、矩
定义：设X 和Y 是随机变量，若(),1,2,k
E X k =存在，称它为X 的k 阶原点矩，简称 k
阶矩 。

若{[()]},2,3,
k
E X E X k -=存在，称它为X 的k 阶中心矩。

定义：设（X ，Y ）是二维随机变量，若()k
l
E X Y ，k ,l =1,2,…存在，称它为 X 和 Y 的 k +l 阶混合矩.。

若{[()][()]}k
l
E X E X Y E Y --存在，称它为X 和 Y 的 k +l 阶混合中心矩. 由定义知，均值 E (X )是X 一阶原点矩，方差D (X )是X 的二阶中心矩，协方差Cov (X ,Y )是X 和Y 的二阶混合中心矩。

2、协方差矩阵
定义：将二维随机变量（X 1,X 2）的四个二阶中心矩
211111{[()]}()c E X E X D X =-=，
12112212{[()][()]}(,)c E X E X X E X Cov X X =--=， 21221121{[()][()]}(,)c E X E X X E X Cov X X =--=，
222222{[()]}()c E X E X D X =-=
排成矩阵的形式: 11121122122212()(,)(,)()c c D X Cov X X c c Cov X X D X ⎛⎫⎛⎫
=
⎪ ⎪⎝⎭⎝⎭
称此矩阵为（X 1,X 2）的协方差矩阵.
类似定义n 维随机变量(X 1,X 2, …,X n ) 的协方差矩阵，
若(,)i j i j c Cov X X ={[()][()]}i i j j E X E X X E X =--( i , j =1,2,…,n )都存在，
称矩阵1112121
2221
2
n n n n nn c c c c c c C c c c ⎛⎫ ⎪
⎪
= ⎪ ⎪⎝⎭
为n 维随机变量(X 1,X 2, …,X n ) 的协方差矩阵。

第5章 大数定律与中心极限定理
一、大数定律
1、切比雪夫不等式
定理：设随机变量X 具有数学期望()E X μ=，方差2
()D X σ=，则对于任意正数ε，不
等式2
2{}σP X μεε
-≥≤成立。

2、三个大数定律 定义1：设12,,
,,
n X X X 是随机变量序列，若存在一个常数a ，使得对任意的0ε>，
有lim {||}1n n P X a ε→∞
-<=成立，则称随机变量序列12,,,,
n X X X 依概率收敛于a ，记
为P
n X a −−
→。

定义2：设{}n X 是一随机变量序列，其数学期望为()n E X 1,2,
n =，且为常数序列，令
1
1n n i i X n ξ==∑，若()0P
n n E ξξ-−−
→，则称{}n X 服从大数定律。

基本定理
定理一（切比雪夫定理的特殊情况）
设随机变量12,,
,,n X X X 相互独立，且具有相同的数学期望和方差：()k E X μ=
，
2
()(1,2,)k D X k σ==，作前n 个随机变量的算术平均1
1n
k k X X n ==∑，则对于任意正数
ε有11lim {||}lim 1.n k n n k P X P X n μεμε→∞→∞
=⎧⎫
-<=-<=⎨⎬⎩⎭
∑
表达式的意义：{||}X με-<是一个随机事件，等式表明，当n →∞时这个事件的概率趋于1，即对于任意正数ε，当n 充分大时，不等式||X με-<成立的概率很大。

定理一的另一种叙述: 设随机变量12,,
,,n X X X 相互独立，且具有相同的数学期望和方差：()k E X μ=
，
2
()(1,2,)k D X k σ==，则序列1
1n k k X X n ==∑依概率收敛于μ，即P
X μ−−
→。

“依概率收敛于μ”的理解：设12,,
,n Y Y Y 是一个随机变量序列，a 是一个常数，若对于
任意正数ε有lim {||}1n n P Y a ε→∞
-<=，则称序列12,,
,Y Y Y 依概率收敛于a ，记为
P
n Y a −−→。

定理二（伯努利大数定理）
设A n 是n 次独立重复试验中事件A 发生的次数，p 是事件A 在每次试验中发生的概率，则对于任意正数0ε>，有lim 1lim 0A A n n n n P p P p n n εε→∞
→∞
⎧⎫⎧⎫
-<=-≥=⎨
⎬⎨⎬⎩⎭⎩⎭
或。

定理三（辛钦定理） 设随机变量12, ,
, ,
n X X X 相互独立，服从同一分布，且具有数学期望()k E X μ=
，
(1,2,)k =，则对于任意正数ε，有11lim 1n k n k P X n με→∞
=⎧⎫-<=⎨⎬⎩⎭
∑。

二、中心极限定理 1、基本定理
定理四（独立同分布的中心极限定理） 设随机变量12, ,
, ,
n X X X 相互独立，服从同一分布，且具有数学期望和方差：
()k E X μ=，2()0(1,2,)k D X k σ=>=，则随机变量之和的标准化变量
n
n k k n X E X Y ⎛⎫- ⎪=
∑∑
n
k
X
n μ
-=∑的分布函数()n F x 对于任意x 满足：
lim ()lim n k n n n X n F x P x μ→∞→∞
⎧⎫
-⎪⎪⎪
=≤⎬⎪⎪⎪⎩⎭
∑ 定理四表明：独立同分布的随机变量之和
1
n
k
k X
=∑，当n 充分大时，随机变量之和与其标准
(0,1).~
n
k
X
n N μ-∑近似地
定理五(德莫佛－拉普拉斯定理) 设随机变量(1,2,
)n n η=服从参数为,n p (01)p <<的二项分布，则对于任意x ，恒有
2
2lim d ().t
x n np P x t x η-→∞
⎧⎫-⎪≤==Φ⎬⎪⎭
⎰
中心极限定理表明，在相当一般的条件下, 当独立随机变量的个数增加时, 其和的分布趋于
正态分布.
第6章 样本及抽样分布
一、总体和样本 1、总体
研究对象全体元素组成的集合称为总体。

所研究的对象的某个(或某些)数量指标的全体，它是一个随机变量(或多维随机变量)，记为X . X 的分布函数和数字特征称为总体的分布函数和数字特征。

2、个体
组成总体的每一个元素称为个体。

即总体的每个数量指标，可看作随机变量 X 的某个取值.用i X 表示. 3、随机样本 简单随机样本
若总体 X 的样本12(,,,)n X X X 满足：
（1）12,,,n X X X 与X 有相同的分布； （2）12,,
,n X X X 相互独立；
则称12(,,,)n X X X 为简单随机样本.
简单随机抽样
获得简单随机样本的抽样方法称为简单随机抽样. 根据定义得：若12,,
,n X X X 为F 的一个样本，则12,,
,n X X X 的联合分布函数为
121*(,,
,)()n
n i i F x x x F x ==∏
又若X 具有概率密度f ，则12,,,n X X X 的联合概率密度为
121
*(,,
,)()n
n i i f x x x f x ==∏
二、抽样分布 1、统计量 定义：设12,,
,n X X X 是来自总体X 的一个样本，12(,,,)n g X X X 是12,,,n X X X 的
函数，若g 中不含未知参数，则称12(,,,)n g X X X 是一个统计量。

设12,,
,n x x x 是相应于样本12,,,n X X X 的样本值，则称12(,,
,)n g x x x 是
12(,,
,)n g X X X 的观察值。

2、几个常用统计量 设12,,
,n X X X 是来自总体的一个样本，12,,,n x x x 是这一样本的观察值，
（1）样本平均值 1
1n
i i X X n ==∑；
（2）样本方差 2
211()1n i i S X X n ==--∑22111n i i X nX n =⎛⎫=- ⎪-⎝⎭
∑； （3）样本标准差
S ==
； （4）样本 k 阶(原点)矩 1
1,1,2,
n k
k i i A X k n ===∑；
（5）样本 k 阶中心矩 1
1(),2,3,
n k
k i i B X X k
n ==-=∑
由以上定义得下述结论：。