概率论相关知识

则 N p[A] p[A | Bj ]P[Bj ] j 1
1.2.3 贝叶斯公式
条件概率的公式可以推广到N个事件
P[Bi
|
A]

P[Bi A] P[ A]
P[ A] 0
或
P[ A |
Bi ]

P[ A Bi ] P[Bi ]
P[Bi ] 0
则有
P[Bi | A]
P[Bi ]P[ A | Bi ]
k
(x E[ X ])k

fx (x)dx
1.6.4 随机变量的各阶矩
上述原点矩与中心矩之间存在如下关系
n
k E[ X E[ X ]]n Cnk (1)nk E[ X k ](E[ X ])nk k 0
n
(1)nk Cnk m1nk mk k 0
预备知识
第一章 概 率 论
1.1 概率空间的概念 1.2 条件概率空间 1.3 随机变量及其概率分布函数 1.4 多维随机变量及其分布函数 1.5 随机变量函数的分布 1.6 随机变量的数字特征 1.7 随机变量的特征函数 1.8 极限定理
1.1 概率空间的概念
1.1.1 古典概率
上的两个随机变量，则（X，Y）称为二维
随机变量，对任意 x, y R ，令
Fxy (x, y) P[ X x,Y y]
称 Fxy (x, y) 为（X,Y）的联合分布函数， 或称二维分布函数。
二、离散型概率分布函数
当随机变量X，Y只可能取有限个或可列个值时，称其 联合分布函数为离散型分布函数。可以写成
P[ A] L( A) L()
称为几何概率。
1.1.3 统计概率
设E是一试验，Ω是其样本空间。若在同样的条
件下，将E独立的重复做n次。事件A出现了
次，则称是这n次试验中事件A出现的频数，
比值
f
( A
n)

nA n
称为n次试验中事件A出现的频率或简称为事件 A的频率。
1.1.3 统计概率
对于任意的事件A，事件频率有下列的性质
式中
Cnk

n!
k !n
k !
1.6.4 随机变量的各阶矩
矩E[X k ] 的重要性在于：
如果对于所有的k，E[X k ] 存在且已知， 则由矩 E[X k ] 的集合，可以唯一地确定随机 变量X的概率分布函数，即便不是所有的矩 都存在，它们也能帮助描述其相应的概率分 布的性质。
解： E[Y ]


(ax1 bx2 ) fx1x2 (x1, x2 )dx1dx2

a x1 fx1x2 (x1, x2 )dx1dx2

b x2 fx1x2 (x1, x2 )dx1dx2
根据边缘概率的定义，有

fx1x2 (x1, x2 )dx2 fx1 (x1)
1.3 随机变量及其概率分布函数
1.3.1 随机变量的概念
设随机试验的样本空间为 , 称定义在样
本空间上的实值单值函数 X X ( )
为随机 变量. 注：（1） 随机变量即为定义在样本空间上的实值函
数. 随机变量 X 的取值由样本点 决定.
（2） A { X () a} . 是一个事件，
若所观察的随机现象用A表示，在A中含有n
个样本点，则规定出现事件A的概率P[A]为
A
P[ A]
nA n

A中所含样本点数 S中所含样本点数
1.1.1 古典概率
古典概率的基本性质如下：
对任何事件 A( ,且P( A)存在) ，均有0 P[A] 1
P[Ω]=1
对可列多个事件列{ Ai }，i=1，2，…，n，若
故对连续型随机变量 X , 有
P{a X b} P{a X b} P{a X b}
P{a X b}. @. 若 f ( x) 在点 x 处连续，则 F ( x) f ( x)
1.4 多维随机变量及其分布函数
1.4.1 二维分布函数及其基本性质
一、二维联合分布函数的定义 设X，Y为定义在同一概率空间（S,E,P）
x
x
(3) 右连续性.
即
lim
x x0
F(x)

F ( x0 ).
另一方面，若一个函数具有上述性质，则它一定 是某个随机变量的分布函数.
连续型随机变量分布函数的性质
@. 连续型随机变量 X 取任一指定值 a(a R)的概率
为0.
P{ X a} lim P{a x X a} x0 a lim f ( x)dx 0, x0 ax
1.6.4 随机变量的各阶矩
一、k阶原点矩、k阶中心矩
随机变量X，若E[| X |k ] ，记
mk E[ X k ]
则称 mk 为X的k阶原点矩
1.6.4 随机变量的各阶矩
对于离散和连续随机变量，其k阶原点矩 分别为
n
mk E[ X k ] xik P[ X xi ] i 1
定义：设X，Y是两个随机变量，若对任意实 数x，y，有
则称X，Y为相互独立的随机变量。
1.4.3 相互独立的随机变量与条件分布
性质： 设（X，Y）是二维连续型随机变量，X
与Y独立的充分必要条件是
设（X，Y）是二维离散型随机变量，X 与Y独立的充分必要条件是
P[ X xi ,Y y j ] P[ X xi ]P[Y y j ]
为X 的分布函数，有时记作 X ~ F ( x) 或 FX ( x). 注： 1. 若将 X 看作数轴上随机点的坐标， 则分布函数F ( x) 的值就表示 X 落在区间 (, x]的概率；
2. 对任意实数x1, x2( x1 x2 ), 随机点落在 区间( x1, x2 ]的概率 P{x1 X x2} P{X x2 } P{X x1}
X x1 x2 xn pi p1 p2 pn 由概率的定义，pi (i 1,2,)

必然满足：
(1) pi 0,i 1,2,;
(2) pi 1. i
1.3.3 连续型随机变量及其概率密度
定义 如果对随机变量 X 的分布函数 F ( x), 存在非 负可积函数 f ( x), 使得对任意实数 x有
Ai Aj (i 交的事件，则
j)
，
A1, A2 ,...,
An
是两两互不相
Pn
Ai


n

PAi

i1 i1
1.1.2 几何概率
设某一事件A（也是某一区域），它的量度大小 为 L( A)，若以P[A] 表示事件A发生的概率，考虑到 “均匀分布”性，事件A发生的概率取为
x
F ( x) P{X x} f (t)dt,
则称 X 为连续型随机变量，
数，简称为概率密度或密度函数. 由定义及分布函数 的性质，易见概率密度具有下列性质：

(1) f ( x) 0; (2) f ( x)dx 1.
随机变量分布函数及其性质
定义 设X 是一个随机变量，称 F(x) P{X x} ( x )
今后我们将事件
A { X ( ) a} 记为 { X a} ……
1.3.2 离散型随机变量及其分布列
定义 设离散随机变量 X 的所有可能的取值为 xi (i 1,2,), 称 P{ X xi } pi , i 1,2, 为X 的概率分布或分布律，也称概率函数.
常用表格形式来表示 X 的概率分布：
P[A|B]称为条件概率。
1.2.2 全概率公式
在样本空间Ω上定义的任何一个事件A的概率 P[A]，可以用条件概率的公式来表示。假定 给出N个互斥事件Bn (n 1,2,, N) ，它的和等于 整个Ω ，这个事件满足
Bi Bj i j 1, 2, , N
N
Bj
j 1
1、0 P[A] 1
2、P[] 1, P[] 0
3、若 A1, A2 ,..., Ak 是两两互不相交的事件，则有
P
Ak




PAk

k1 k1
1.2 条件概率空间
1.2.1 条件概率
P[ A | B] P[ A B] P[B] 0 P[B]
1.6.2 随机变量函数的期望值
所以，上式变成
E[Y ] aE[ X1] bE[ X 2 ]
可见，加权和的期望值等于加权期望的和。这对n维 随机变量的情况也是适用的。
这说明：
1、求数学期望是线性运算； 2、这里没有规定随机变量之间非要互独立不 可，所以加权和的期望等于期望的加权和，它不 受两个随机变量是否相互独立的限制。
E[Y ] E[g(x)] g(xj )P(X xj )
对于连续型随机变量函数 j

E[Y ] yf y ( y)dy E[g( X )]

g(x) fx (x)dx
1.6.2 随机变量函数的期望值
例 求 Y aX1 bX 2 的数学期望（连续型）
F ( x2 ) F ( x1 ).
3. 随机变量的分布函数是一个普通的函数， 完整地描述了随机变量的统计规律性. 通过它， 人们就可以利用数学分析的方法 来全面研究随 机变量.
分布函wk.baidu.com的性质
(1) 单调非减. 若 x1 x2 , 则 F ( x1 ) F ( x2 );
(2) F() lim F( x) 0, F() lim F( x) 1;
1.4.3 相互独立的随机变量与条件分布
二、条件分布和条件密度函数
设随机变量X，令A等效于事件[X<x]，于是， 在给定事件B条件下，P[X<x|B]称为随机变量X的 条件分布函数，用 FX |B (x | B) 表示。
FX |B (x
|
B)

P[ X

x|
B]

P[ X x P[B]
B]
1.6 随机变量的数字特征
P[( X ,Y ) (xi , y j )] pij (i, j 1, 2, )
联合分布的性质：
此时，有
Fxy (x, y)
pij
xi x y j y
二维分布函数具有如下性质：
1.4.2 边缘分布
1.4.3 相互独立的随机变量与条件分布
一、相互独立的随机变量
1.6.1 随机变量的数学期望值
当样本空间中的样本个数n值取很大时，nk / n
接近于 P[ X xk ] ，也就是平均值接近于数学
期望值，即
X E[ X ] xk P[ X xk ]
1.6.1 随机变量的数学期望值
则当样本空间有可数无限样本空间（离散）时，
若 则数学期望

| xk | Pk 0
1、对于任意事件A均有 0
f (n) A
1
2、
f (n)
1
3、若
Ai
(i
1,2,...,
n
n)
是试验E中两两互不相交的事
件，且 Ai 仍是一事件，则有
i 1
n
f (n) n
f (n) Ai
Ai
i 1
i1
1.1.3 统计概率
归纳起来就是，事件是样本空间Ω的子集，Ω是必 然事件，事件的概率P[A]是事件A的函数，亦即 是一集合函数，且还需满足：
k 0

E[ X ] xk P[ X xk ] k 1
同理，对于连续型随机变量，则数学期望

E[ X ] xfx (x)dx
1.6.2 随机变量函数的期望值
这里要确定随机变量X的某个函数Y=g(X)的数学 期望
则由前面的随机变量的数学期望，推得 对于离散型随机变量函数
N
P[Bi ]P[ A | Bi ]
i 1
i 1,2,, N
1.2.4 独立事件、统计独立
设 (, , P)为一概率空间，事件 A 、B 且
P[A]>0，若P[B|A]=P[B]，则称事件B随机独 立于事件A。
性质： P[A B] P[A]P[B]
注意：不要把两个事件的互斥与两个事件的统计独 立混淆起来，它们是属于两个完全不同的概念。
mk E[X k ]

xk
fx (x)dx
1.6.4 随机变量的各阶矩
又若E[X]存在，且 E[| X E[X ] |k ] ，记
k E[( X E[ X ])k ]
称k 为X的k阶中心矩。对于离散和连续 随机变量，其k阶中心矩分别为
n
k (xi E[ X ])k P( X xi ) i 1