概率论与数理统计各章重点知识点汇总--最新版

第一章 概率论的基本概念
一.基本概念
随机试验E:(1)可以在相同的条件下重复地进行;(2)每次试验的可能结果不止一个,并且能事先明确试验的所有可能结果;(3)进行一次试验之前不能确定哪一个结果会出现. 样本空间S: E 的所有可能结果组成的集合. 样本点(基本事件):E 的每个结果. 随机事件(事件):样本空间S 的子集.
必然事件(S):每次试验中一定发生的事件. 不可能事件(Φ):每次试验中一定不会发生的事件. 二. 事件间的关系和运算
1.A ⊂B(事件B 包含事件A )事件A 发生必然导致事件B 发生.
2.A ∪B(和事件)事件A 与B 至少有一个发生.
3. A ∩B=AB(积事件)事件A 与B 同时发生.
4. A -B(差事件)事件A 发生而B 不发生.
5. AB=Φ (A 与B 互不相容或互斥)事件A 与B 不能同时发生.
6. AB=Φ且A ∪B=S (A 与B 互为逆事件或对立事件)表示一次试验中A 与B 必有一个且仅有一个发生. B=A, A=B .
运算规则 交换律 结合律 分配律 德•摩根律 B A B A = B A B A = 三. 概率的定义与性质
1.定义 对于E 的每一事件A 赋予一个实数,记为P(A),称为事件A 的概率. (1)非负性 P(A)≥0 ; (2)归一性或规范性 P(S)=1 ;
(3)可列可加性 对于两两互不相容的事件A 1,A 2,…(A i A j =φ, i ≠j, i,j=1,2,…),
P(A 1∪A 2∪…)=P( A 1)+P(A 2)+… 2.性质
(1) P(Φ) = 0 , 注意: A 为不可能事件 P(A)=0 .
(2)有限可加性 对于n 个两两互不相容的事件A 1,A 2,…,A n ,
P(A 1∪A 2∪…∪A n )=P(A 1)+P(A 2)+…+P(A n ) (有限可加性与可列可加性合称加法定理) (3)若A ⊂B, 则P(A)≤P(B), P(B -A)=P(B)-P(A) . (4)对于任一事件A, P(A)≤1, P(A)=1-P(A) .
(5)广义加法定理 对于任意二事件A,B ,P(A ∪B)=P(A)+P(B)-P(AB) . 对于任意n 个事件A 1,A 2,…,A n
()()()
()
+∑
+
∑
-
∑=≤<<≤≤<≤=n
k j i k j i n
j i j i n
i i n A A A P A A P A P A A A P 111
21
…+(-1)n-1P(A 1A 2…A n )
四.等可能(古典)概型
1.定义 如果试验E 满足:(1)样本空间的元素只有有限个,即S={e 1,e 2,…,e n };(2)每一个基本事件的概率相等,即P(e 1)=P(e 2)=…= P(e n ).则称试验E 所对应的概率模型为等可能(古典)概型.
2.计算公式 P(A)=k / n 其中k 是A 中包含的基本事件数, n 是S 中包含的基本事件总数. 五.条件概率
1.定义 事件A 发生的条件下事件B 发生的条件概率P(B|A)=P(AB) / P(A) ( P(A)>0).
2.乘法定理 P(AB)=P(A) P (B|A) (P(A)>0); P(AB)=P(B) P (A|B) (P(B)>0).
P(A 1A 2…A n )=P(A 1)P(A 2|A 1)P(A 3|A 1A 2)…P(A n |A 1A 2…A n-1) (n ≥2, P(A 1A 2…A n-1) > 0) 3. B 1,B 2,…,B n 是样本空间S 的一个划分(B i B j =φ,i ≠j,i,j=1,2,…,n, B 1∪B 2∪…∪B n =S) ,则 当P(B i )>0时,
当P(A)>0, P(B i )>0时,
. 六.事件的独立性
1.两个事件A,B,满足P(AB) = P(A) P(B)时,称A,B 为相互独立的事件. (1)两个事件A,B 相互独立⇔ P(B)= P (B|A) .
2.三个事件A,B,C 满足P(AB) =P(A) P(B), P(AC)= P(A) P(C), P(BC)= P(B) P(C),称A,B,C 三事件两两相互独立. 若再满足P(ABC) =P(A) P(B) P(C),则称A,B,C 三事件相互独立.
3.n 个事件A 1,A 2,…,A n ,如果对任意k (1<k ≤n),任意1≤i 1<i 2<…<i k ≤n.有
()()()()
k
k
i i i i i i A P A P A P A A A P 2
1
2
1
=,则称这n 个事件A 1,A 2,…,A n 相互独立.
第二章 随机变量及其概率分布
一.随机变量及其分布函数
1.在随机试验E 的样本空间S={e}上定义的单值实值函数X=X (e)称为随机变量.
2.随机变量X 的分布函数F(x)=P{X ≤x} , x 是任意实数. 其性质为:
(1)0≤F(x)≤1 ,F(-∞)=0,F(∞)=1. (2)F(x)单调不减,即若x 1<x 2 ,则 F(x 1)≤F(x 2). (3)F(x)右连续,即F(x+0)=F(x). (4)P{x 1<X≤x 2}=F(x 2)-F(x 1). 二.离散型随机变量 (只能取有限个或可列无限多个值的随机变量)
1.离散型随机变量的分布律 P{X= x k }= p k (k=1,2,…) 也可以列表表示. 其性质为: (1)非负性 0≤P k ≤1 ; (2)归一性 11=∑∞
=k k p .
2.离散型随机变量的分布函数 F(x)=∑≤x
X k k P 为阶梯函数,它在x=x k (k=1,2,…)处具有跳跃点,
其跳跃值为p k =P{X=x k } .
3.三种重要的离散型随机变量的分布
(1)X~(0-1)分布 P{X=1}= p ,P{X=0}=1–p (0<p<1) .
(2)X~b(n,p)参数为n,p 的二项分布P{X=k}=()k
n k p p k n --⎪⎪⎭
⎫ ⎝⎛1(k=0,1,2,…,n) (0<p<1) (3))X~π(λ)参数为λ的泊松分布 P{X=k}=λ
λ-e k k !
(k=0,1,2,…) (λ>0)
三.连续型随机变量
1.定义 如果随机变量X 的分布函数F(x)可以表示成某一非负函数f(x)的积分F(x)=()dt t f x
⎰∞-,-∞< x <∞,则称X 为连续型随机变量,其中f (x)称为X 的概率密度(函数).
2.概率密度的性质
(1)非负性 f(x)≥0 ; (2)归一性 ⎰∞
∞-dx x f )(=1 ;
(3) P{x 1<X ≤x 2}=⎰2
1
)(x x dx x f ; (4)若f (x)在点x 处连续,则f (x)=F / (x) .
注意：连续型随机变量X 取任一指定实数值a 的概率为零,即P{X= a}=0 . 3.三种重要的连续型随机变量的分布
(1)X ～U (a,b) 区间(a,b)上的均匀分布 ⎩⎨⎧=-0
)(1a b x f 其它b x a << .
(2)X 服从参数为θ的指数分布.()⎩⎨⎧=-0
/1θθx e
x f 00≤>x x 若若 (θ>0).
(3)X~N (μ,σ2
)参数为μ,σ的正态分布 222)(21)(σ
μσ
π--=
x e x f -∞<x<∞, σ>0.
特别, μ=0, σ2 =1时,称X 服从标准正态分布,记为X~N (0,1),其概率密度
2
221)(x e x -=
π
ϕ , 标准正态分布函数 ⎰=
Φ∞--x
t dt e x 2221)(π
, Φ(-x)=1-Φ(x) .
若X ～N ((μ,σ2), 则Z=
σ
μ
-X ~N (0,1), P{x 1<X ≤x 2}=Φ(
σμ-2x )-Φ(
σ
μ
-1x ).
若P{Z>z α}= P{Z<-z α}= P{|Z|>z α/2}= α,则点z α,-z α, ±z α/ 2分别称为标准正态分布的上,下,双侧α分位点. 注意：Φ(z α)=1-α , z 1- α= -z α. 四.随机变量X 的函数Y= g (X)的分布 1.离散型随机变量的函数
若g(x k ) (k=1,2,…)的值全不相等,则由上表立得Y=g(X)的分布律.
若g(x k ) (k=1,2,…)的值有相等的,则应将相等的值的概率相加,才能得到Y=g(X)的分布律. 2.连续型随机变量的函数
若X 的概率密度为f X (x),则求其函数Y=g(X)的概率密度f Y (y)常用两种方法： (1)分布函数法 先求Y 的分布函数F Y (y)=P{Y ≤y}=P{g(X)≤y}=()()dx x f k
y X k
∑⎰∆
其中Δk (y)是与g(X)≤y 对应的X 的可能值x 所在的区间(可能不只一个),然后对y 求导即得f Y (y)=F Y /(y) .
(2)公式法 若g(x)处处可导,且恒有g /(x)>0 (或g / (x)<0 ),则Y=g (X)是连续型随机变量,其
概率密度为 ()()()()
⎩
⎨⎧'=0y h y h f y f X Y 其它βα<<y
其中h(y)是g(x)的反函数 , α= min (g (-∞),g (∞)) β= max (g (-∞),g (∞)) .
如果f (x)在有限区间[a,b]以外等于零,则 α= min (g (a),g (b)) β= max (g (a),g (b)) .
第三章 二维随机变量及其概率分布
一.二维随机变量与联合分布函数
1.定义 若X 和Y 是定义在样本空间S 上的两个随机变量,则由它们所组成的向量(X,Y)称为二维随机向量或二维随机变量.
对任意实数x,y,二元函数F(x,y)=P{X ≤x,Y ≤y}称为(X,Y)的(X 和Y 的联合)分布函数. 2.分布函数的性质
(1)F(x,y)分别关于x 和y 单调不减.
(2)0≤F(x,y)≤1 , F(x,- ∞)=0, F(-∞,y)=0, F(-∞,-∞)=0, F(∞,∞)=1 . (3) F(x,y)关于每个变量都是右连续的,即 F(x+0,y)= F(x,y), F(x,y+0)= F(x,y) . (4)对于任意实数x 1<x 2 , y 1<y 2
P{x 1<X ≤x 2 , y 1<Y ≤y 2}= F(x 2,y 2)- F(x 2,y 1)- F(x 1,y 2)+ F(x 1,y 1)
二.二维离散型随机变量及其联合分布律
1.定义 若随机变量(X,Y)只能取有限对或可列无限多对值(x i ,y j ) (i ,j =1,2,… )称(X,Y)为二维离散型随机变量.并称P{X= x i ,Y= y j }= p i j 为(X,Y)的联合分布律.也可列表表示.
2.性质 (1)非负性 0≤p i j ≤1 .
(2)归一性 ∑∑=i j
ij p 1 .
3. (X,Y)的(X 和Y 的联合)分布函数F(x,y)=∑∑≤≤x x y
y ij i j p
三.二维连续型随机变量及其联合概率密度
1.定义 如果存在非负的函数f (x,y),使对任意的x 和y,有F(x,y)=⎰⎰∞-∞-y x
dudv v u f ),( 则称(X,Y)为二维连续型随机变量,称f(x,y)为(X,Y)的(X 和Y 的联合)概率密度. 2.性质 (1)非负性 f (x,y)≥0 . (2)归一性 1),(=⎰⎰∞
∞-∞
∞-dxdy y x f .
(3)若f (x,y)在点(x,y)连续,则y
x y x F y x f ∂∂∂=)
,(),(2
(4)若G 为xoy 平面上一个区域,则⎰⎰=∈G
dxdy y x f G y x P ),(}),{(.
四.边缘分布
1. (X,Y)关于X 的边缘分布函数 F X (x) = P{X ≤x , Y<∞}= F (x , ∞) . (X,Y)关于Y 的边缘分布函数 F Y (y) = P{X<∞, Y ≤y}= F (∞,y)
2.二维离散型随机变量(X,Y)
关于X 的边缘分布律 P{X= x i }= ∑∞
=1
j ij p = p i · ( i =1,2,…) 归一性 11
=∑∞
=•i i p .
关于Y 的边缘分布律 P{Y= y j }= ∑∞=1
i ij p = p ·j ( j =1,2,…) 归一性 11
=∑∞
=•j j p .
3.二维连续型随机变量(X,Y)
关于X 的边缘概率密度f X (x)=⎰∞∞-dy y x f ),( 归一性1)(=⎰∞
∞-dx x f X 关于Y 的边缘概率密度f Y (y)=x d y x f ⎰∞
∞
-),( 归一性1)(=⎰∞
∞
-dy y f Y
五.相互独立的随机变量
1.定义 若对一切实数x,y,均有F(x,y)= F X (x) F Y (y) ,则称X 和Y 相互独立.
2.离散型随机变量X 和Y 相互独立⇔p i j = p i ··p ·j ( i ,j =1,2,…)对一切x i ,y j 成立.
3.连续型随机变量X 和Y 相互独立⇔f (x,y)=f X (x)f Y (y)对(X,Y)所有可能取值(x,y)都成立. 六．条件分布
1．二维离散型随机变量的条件分布
定义 设(X,Y)是二维离散型随机变量,对于固定的j,若P{Y=y j }>0,则称
P{X=x i |Y=y j } 为在Y= y j 条件下随机变量X 的条件分布律. 同样,对于固定的i,若P{X=x i }>0,则称 P{Y=y j |X=x i }
为在X=x i 条件下随机变量Y 的条件分布律.
第四章 随机变量的数字特征
一.数学期望和方差的定义
随机变量X 离散型随机变量
连续型随机变量
分布律P{X=x i }= p i ( i =1,2,…) 概率密度f (x)
数学期望(均值)E(X) ∑∞
=1i i i p x (级数绝对收敛)
⎰
∞
∞-dx x xf )((积分绝对收敛)
方差D(X)=E{[X-E(X)]2
} []∑-∞
=1
2
)(i i i p X E x ⎰-∞
∞-dx x f X E x )()]([2
=E(X 2)-[E(X)]2 (级数绝对收敛) (积分绝对收敛) 函数数学期望E(Y)=E[g(X)] i i i p x g ∑∞
=1)((级数绝对收敛) ⎰∞
∞-dx x f x g )()((积分绝对收敛)
标准差σ(X)=√D(X) .
,}{},{j
j
i j j i p p y Y P y Y x X P •=====
,}{},{•
=====i j i i j i p p x X P y Y x X P
二.数学期望与方差的性质
1. c 为为任意常数时, E(c) = c , E(cX) = cE(X) , D(c) = 0 , D (cX) = c 2 D(X) .
2.X,Y 为任意随机变量时, E (X ±Y)=E(X)±E(Y) .
3. X 与Y 相互独立时, E(XY)=E(X)E(Y) , D(X ±Y)=D(X)+D(Y) .
4. D(X) = 0
⇔ P{X = C}=1 ,C 为常数.
三.六种重要分布的数学期望和方差 E(X) D(X) 1.X~ (0-1)分布P{X=1}= p (0<p<1) p p (1- p) 2.X~ b (n,p) (0<p<1) n p
n p (1- p)
3.X~ π(λ) λ λ
4.X~ U(a,b) (a+b)/2 (b-a) 2/12
5.X 服从参数为θ的指数分布 θ θ2
6.X~ N (μ,σ2) μ σ2 四.矩的概念
随机变量X 的k 阶(原点)矩E(X k ) k=1,2,… 随机变量X 的k 阶中心矩E{[X-E(X)] k }
随机变量X 和Y 的k+l 阶混合矩E(X k Y l ) l=1,2,…
随机变量X 和Y 的k+l 阶混合中心矩E{[X-E(X)] k [Y-E(Y)] l }
第六章 样本和抽样分布
一.基本概念
总体X 即随机变量X ; 样本X 1 ,X 2 ,…,X n 是与总体同分布且相互独立的随机变量;样本值x 1 ,x 2 ,…,x n 为实数;n 是样本容量.
统计量是指样本的不含任何未知参数的连续函数.如：
样本均值∑==n i i X n X 1
1 样本方差()
∑--==n i i X X n S 122
11 样本标准差S
样本k 阶矩∑==n i k i k X n A 1
1( k=1,2,…) 样本k 阶中心矩∑-==n
i k i k X X n B 1)(1( k=1,2,…)
二.抽样分布 即统计量的分布
1.X 的分布 不论总体X 服从什么分布, E (X ) = E(X) , D (X ) = D(X) / n . 特别,若X~ N (μ,σ2 ) ,则
X ~ N (μ, σ2 /n) .
2.χ2
分布 (1)定义 若X ～N (0,1
) ,则Y =∑=n
i i X 1
2~ χ2(n)自由度为n 的χ2分布.
(2)性质 ①若Y~ χ2(n),则E(Y) = n , D(Y) = 2n .
②若Y 1~ χ2(n 1) Y 2~ χ2(n 2) ,则Y 1+Y 2~ χ2(n 1 + n 2). ③若X~ N (μ,σ2 ), 则
2
2
)1(σS n -~ χ2(n-1),且X 与S 2相互独立.
(3)分位点 若Y~ χ2(n),0< α <1 ,则满足
αχχχχαααα=<>=<=>--))}(())({()}({)}({2
2/122/212n Y n Y P n Y P n Y P 的点)()(),(),(22/122/212n n n n ααααχχχχ--和分别称为χ2分布的上、下、双侧α分位点.
3. t 分布
(1)定义 若X~N (0,1 ),Y~ χ2 (n),且X,Y 相互独立,则t=n
Y X
~t(n)自由度为n 的t 分布. (2)性质①n →∞时,t 分布的极限为标准正态分布.
②X ～N (μ,σ2 )时, n
S X μ
-~ t (n-1) . ③两个正态总体
相互独立的样本 样本均值 样本方差
X~ N (μ1,σ12 ) 且σ12=σ22=σ2 X 1 ,X 2 ,…,X n1
X S 12
Y~ N (μ2,σ22 ) Y 1 ,Y 2 ,…,Y n2 Y S 22
则 2
1211
1)()(n n S Y X w +
---μμ~ t (n 1+n 2-2) , 其中 2)1()1(212
222112
-+-+-=n n S n S n S w
(3)分位点 若t ~ t (n) ,0 < α<1 , 则满足
αααα=>=-<=>)}({)}({)}({2/n t t P n t t P n t t P
的点)(),(),(2/n t n t n t ααα±-分别称t 分布的上、下、双侧α分位点. 注意: t 1- α (n) = - t α (n).
4.F 分布 (1)定义 若U~χ2
(n 1), V~ χ2
(n 2), 且U,V 相互独立,则F =2
1
n V n U ~F(n 1,n 2)自由度为
(n 1,n 2)的F 分布.
(2)性质(条件同3.(2)③)
22
21
2221σσS S ~F(n 1-1,n 2-1)
(3)分位点 若F~ F(n 1,n 2) ,0< α <1,则满足
)},({)},({21121n n F F P n n F F P αα-<=>
ααα=<>=-))},(()),({(212/1212/n n F F n n F F P
的点),(),(),,(),,(212/1212/21121n n F n n F n n F n n F αααα--和分别称为F 分布的上、下、双侧α分位点. 注意: .)
.(1
),(12211n n F n n F αα=
-
第七章 参数估计
一.点估计 总体X 的分布中有k 个待估参数θ1, θ2,…, θk .
X 1 ,X 2 ,…,X n 是X 的一个样本, x 1 ,x 2 ,…,x n 是样本值.
1.矩估计法
先求总体矩⎪⎩⎪⎨⎧===),,,(),,,(),,,(2121222111k k k k k θθθμμθθθμμθθθμμ 解此方程组,得到⎪⎩⎪
⎨⎧===),,,(),,,(),,,(2121222111k
k k k k μμμθθμμμθθμμμθθ ,
以样本矩A l 取代总体矩μ l ( l=1,2,…,k)得到矩估计量⎪⎪⎩
⎪⎪⎨⎧===∧
∧
∧
),,,(),,,(),,,(2121222111k k k k k A A A A A A A A A θθθθθθ,
若代入样本值则得到矩估计值. 2.最大似然估计法
若总体分布形式(可以是分布律或概率密度)为p(x, θ1, θ2,…, θk ),称样本X 1 ,X 2 ,…,X n 的联合分布∏==n
i k i k x p L 12121),,,,(),,,(θθθθθθ 为似然函数.取使似然函数达到最大值的
∧
∧∧k θθθ,,,21 ,称为参数θ1, θ2,…,θk 的最大似然估计值,代入样本得到最大似然估计量.
若L(θ1, θ2,…, θk )关于θ1, θ2,…, θk 可微,则一般可由
似然方程组 0=∂∂i L θ 或 对数似然方程组 0ln =∂∂i
L
θ (i =1,2,…,k) 求出最大似然估计. 3.估计量的标准
(1) 无偏性 若E(∧θ)=θ,则估计量∧
θ称为参数θ的无偏估计量.
不论总体X 服从什么分布, E (X )= E(X) , E(S 2)=D(X), E(A k )=μk =E(X k ),即样本均值X , 样本方差S 2,样本k 阶矩A k 分别是总体均值E(X),方差D(X),总体k 阶矩μk 的无偏估计,
(2)有效性 若E(∧θ1 )=E(∧θ2)= θ, 而D(∧θ1)< D(∧θ2), 则称估计量∧θ1比∧
θ2有效. (3)一致性(相合性) 若n →∞时,θθP →∧,则称估计量∧
θ是参数θ的相合估计量. 二.区间估计
1.求参数θ的置信水平为1-α的双侧置信区间的步骤
(1)寻找样本函数W=W(X 1 ,X 2 ,…,X n ,θ),其中只有一个待估参数θ未知,且其分布完全确定. (2)利用双侧α分位点找出W 的区间(a,b),使P{a<W <b}=1-α. (3)由不等式a<W<b 解出θθθ<<则区间(θθ,)为所求. 2.单个正态总体
待估参数 其它参数 W 及其分布 置信区间
μ σ2
已知 n
X σμ
-~N (0,1) (2/ασz n X ±) μ σ2
未知 n
S X μ
-~ t (n-1) )1((2/-±n t n S X α σ2 μ未知 2
2
)1(σS n -~ χ2(n-1) ))
1()1(,)1()1((22/12
2
2/2
-----n S
n n S n ααχχ 3.两个正态总体 (1)均值差μ 1-μ 2
其它参数 W 及其分布 置信区间
已知
22
21,σσ
2
22
1
2
1
21)
(n n Y X σσμμ+
--- ~ N(0,1) )(2
22
1
21
2
n n z Y X σσα
+
±-
未知
2
2221σσσ== 2
12111)(n n S Y X w +---μμ～t(n 1+n 2-2) )1
1)2((21212n n S n n t Y X w
+-+±-α 其中S w 等符号的意义见第六章二. 3 (2)③.
(2) μ 1,μ 2未知, W=
2
2
212221σσS S ~ F(n 1-1,n 2-1),方差比σ12/σ22的置信区间为
))
1,1(1,)1,1(1(212/1222
1212/2221----⋅-n n F S S n n F S S αα
注意:对于单侧置信区间,只需将以上所列的双侧置信区间中的上(下)限中的下标α/2改为α,另外的下(上)限取为-∞ (∞)即可.。