【概率统计】第五章大数定理与中心极限定理

第五章
大数定律与中心极限定理
§5.1大数定律的概念 §5.2切贝谢夫不等式 §5.3切贝谢夫定理 §5.4中心极限定理
§5.1大数定律的概念
•例1 掷一颗均匀的正六面体的骰子,出现么点的概率 是1/6,在掷的次数比较少时,出现么点的频率可能与 1/6相差得很大.但是在掷的次数很多时,出现么点的频 率接近1/6几乎是必然的. 例2 测量一个长度a,一次测量的结果不见得就等于a,量 了若干次,其算术平均值仍不见得等于a,但当测量的 次数很多时,算术平均值接近于a几乎是必然的.
设{ξn}为随机变量序列，ξ为随机变量，若任给 >0, 使得
lim P{| n | } 1
n
则称{ξn}依概率收敛于ξ. 可记为
n .
P
切 比 雪 夫 不 等 式
如
n a
p
意思是:当 n 时,ξn落在
(a , a ) 内的概率越来越大. n0 , n n0
并验证切贝谢夫不等式成立. 解:因为ξ的概率函数是 P( k ) 1/ 6(k 1, 2,6)
所以
Eξ=7/2 Dξ=35/12 P(│ξ-7/2│≥1)=2/3 P(│ξ-7/2│≥2)=P(ξ=1)+P(ξ=6)=1/3
ε=1: Dξ/ε2=35/12>2/3 ε=2: Dξ/ε2=1/4×35/12=35/48>1/3 可见,ξ满足切贝谢夫不等式.
可见,虽然有10000盏灯,但是只要有供应7200 盏灯的电力就能够以相当大的概率保证够用. 事实上,切贝谢夫不等式的估计只说明概率大 于0.95,后面将具体求出这个概率约为0.99999, 切贝谢夫不等式在理论上具有重大意义,但估 计的精确度不高.
已知某种股票每股价格ξ的平均值为1元 ，标准差为0.1元，求a,使股价超过1+a 元或低于1-a元的概率小于10%。 解:由切比雪夫不等式
lim P{| Yn | } 1
n
定理5.1(切贝夫定理)设ξ1,ξ2…是相互独立的 随机变量序列,各有数学期望Eξ1,Eξ2…及方 差 Dξ1,Dξ2… 并且对于所有k=1,2,…都有Dξk< ,其中 是 与k无关的常数,则任给ε>0,有
ι
ι
1 n 1 n lim P k Ek =1 (5.2) n n k=1 n k=1
令 0.01 0.1 2 a
0.01 P{| 1| a} 2 ; a
a 0.1
2
a 0.32
§5.3大数定律
§5.3大数定律
一、依概率收敛 定义5.1 若存在常数a,使对于任何
0, 有 lim P( n a ) 1
n
则称随机变量序列{ξn}依概率收敛于a
P{ - 3 }
解：根据切贝谢夫不等式
D 2 1 P{ - 3 } = 2= 2 (3 ) 9 9 1 P{ - 3 } 9
2
P{| E ( ) | }
D( )
;
例2 设ξ是掷一颗骰子所出现的点数,若给定
1,2, 实际计算P( -E )
1 n k P i E (1k ) n i 1
这一定理使算术平均值的法则有了理论依据.假使 要测量某一个物理量μ,在不变的条件下重复测量n 次,得到的观测值 x ,x ,,x
1 2 n
是不完全相同的.这些结果可以看作是服从同一分 布并且期望值为μ的n个相互独立的随机变量ξ1,ξ2… ξn 的试验数值。由定理3可知,当n充分大时,取 1 n
定理5.3 （辛钦大数定律） 如果ξ1,ξ2… 是相互独立 并且具有相同分布的随机变量.有E ξk=μ (k=1,2, …), 有 n
1 lim P k =1 n n k=1
n
(5.4)
1 P Yn k n k 1
推论:若{ξi,i=1.2,...}为独立同分布随机变量序列, E(ξ1k)= <, 则
1 n P Yn k n k 1
即若任给>0, 使得
lim P{| Yn | } 1
n
这说明：在定理成立的条件下，n个随机变量的算术 平均值，当n无限增加时，将几乎变成一个常数。
证明:由切比雪夫不等式
lim P{| Yn | } 1
P( E )

xk E
P( x )
k
把求和因 子放大
D
xk E

( xk E )2

2
Pk
k
( xk E )2

2
pk

2
把求和范 围放大
例1设随机变量ξ的数学期望Eξ=μ，方差Dξ=σ2 则由切贝谢夫不等式有
P{6800 7200} =
7199 k=6801

k C10000 0.7k 0.310000k
如果用切贝谢夫不等式估计:
Eξ=np=10000×0.7=7000
Dξ=npq=2100
2100 P{6800 7200} =P{ -7000 200} 12 0.95 200
定理5.2(贝努里大数定律)在独立试验序列中,当 试验次数n无限增加时,事件A的频率ξ/n(ξ是n次试 验中事件A发生的次数),依概率收敛于它的概率 P(A).即对于任意给定的ε>0,有
lim P p =1 n n
(5.3)
即：
设进行n次独立重复试验，每次试验中事件A 发生的概率为p，记fn为n次试验中事件A发生的频 率，则 p
n
a
而
a
lim P{ n -a }=1
n
a
n a 意思是: 0, n0 ,当 n n0
| n a |
lim n =a
n
1.切比雪夫大数定律的特殊情况 设{ξk, k=1,2,...}为相互独立的随机变量序列，且具 有相同的数学期望，及方差2>0，则
1 n P 1. 随机变量的算术平均值 Y k n n k 1
1 n 1 n lim P k Ek =1 n n k=1 n k=1
2. 随机事件的频率
lim P p =1 n n
fn p
这两个例子说明：
在大量随机现象中,不仅看到了随机事 件的频率具有稳定性,而且还看到大量测量值 的平均结果也具有稳定性。这种稳定性就是 本章所要讨论的大数定律的客观背景。即无 论个别随机现象的结果如何,或者它们在进行 过程中的个别特征如何,大量随机现象的平均 结果实际上与每一个别随机现象的特征无关, 并且几乎不再是随机的了。
p
n
P112
1、3、6、7、8、
§5.4中心极限定理
在客观实际中有许多随机变量,它们是由 大量的相互独立的随机因素的综合影响所形 成的。而其中每一个别因素在总的影响中所 起的作用都是微小的。这种随机变量往往近 似地服从正态分布，这种现象就是中心极限 定理的客观背景。
正态分布在随机变量的各种分布中,占有特别重要 的地位.在某些条件下,即使原来并不服从正态分布 的一些独立的随机变量,它们的和的分布,当随机变 量的个数无限增加时,也是趋于正态分布的.
作为的μ近似值,可以认为所发生的误差是很小的,即 对于同一个随机变量ξ进行n次独立观察,则所有观察结 果的算术平均数依概率收敛于随机变量的期望值.
x n
k 1
k
1 n P Yn k n k 1
大数定律告诉我们两个结论:
随机变量序列依概率收敛
n a
p
1 n lim P k =1 n n k=1
差,而方差又是用来描述随时机变量取值的分散程
度的.下面研究随机变量的离差与方差之间的关系 式.
切比雪夫不等式 (P104) 若随机变量ξ的期望和方差存在，则对任意 0，有
P{| E ( ) | }
D( )

2
(5.1)
这就是著名的切比雪夫(Chebyshev)不等式。 它有以下等价的形式：
fn p
n
证明:设
则
1 第i次试验事件A发生 i 0 第i次试验事件A不发生
E(i ) p, D(i ) p(1 p)
fn
由切比雪夫大数定理

i 1
n
i
n
p
p
如果事件A的概率很小,则正如贝努里定理指出的, 事件A的频率也是很小的,即事件A很少发生.例如 P(A)=0.001,则在1000次试验中只能希望事件A发 生一次. 在实际中概率很小的随机事件在个别试验中几乎是 不可能发生的.因此,人们常常忽略了那些概率很小 的事件发生的可能性.这个原理叫作小概率事件的 实际不可能性原理(简称小概率原理). •它在国家经济建设事业中有着广泛的应用.至于” 小概率”小到什么程度才能看作实际上不可能发生, 则要视具体问题的要求和性质而定.从小概率事件 的实际不可能性原理容易得到下面的重要结论:如 果随机事件的概率很接近1,则可以认为在个别试验 中这事件几乎一定发生
P{| E ( ) | }
D( )

2
;
例3 设电站供电网有10000盏电灯,夜晚每一盏电灯 开灯的概率都是0.7,而假定开关时间彼此独立,估计 夜晚同时开着的灯数在6800与7200之间的概率. 解:令ξ表示在夜晚同时开着的灯的数目,它服从参数 n=10000,p=0.7的二项分布.若要准确计算,应该用贝 努里公式:
随机变量的 算术平均值件下,当n充分大时,n 个独立随机变量的平均数这个随机变量的离散程度 是很小的.这意味,经过算术平均后得到的随机变量
1 k n k=1
n

p
1 n Ek n k=1
将比较密地聚集在它的数学期望的附近.它与数学期 望之差,当时n→∞,依概率收敛到0.这就是大数定律. 切贝谢夫定理为这一定律作出了精确的数学公式.它 也称为切贝谢夫大数定律. 切贝谢夫定理的一个推论通常称为贝努里大数定律.
大数定律以确切的数学形式表达了这种规律 性,并论证了它成立的条件,即从理论上阐述了 这种大量的、在一定条件下的、重复的随机现 象呈现的规律性即稳定性.由于大数定律的作用, 大量随机因素的总体作用必然导致某种不依赖 于个别随机事件的结果.
§5.2 切贝谢夫不等式
§5.2 切贝谢夫不等式
一个随机变量离差平方的数学期望就是它的方
n .
w
现令Yn k , 若Yn的标准化随机变量
k 1 w Yn* ~ N (0, 1), 则称{n }满足中心极限定理.
n
一般说来,如果某些偶然因素对总和的影响是 均匀的,微小的,即没有一项起特别突出的作用,那么 就可以断定描述这些大量独立的随机因素的总和的 随机变量是近似的服从正态分布.
n
1 n Yn k n k 1
这里
P{| Yn E (Yn ) | } 1
D(Yn )

2
.
故
1 n E (Yn ) E ( k ) n k 1 2 n 1 D(Yn ) 2 D(k ) n k 1 n
0
2
P{| Yn | } 1 2 . n
在概率论里,把研究在什么条件下,大量独立随 机变量和的分布以正态分布为极限这一类定理称为 中心极限定理.
一.依分布收敛
设{ξn}为随机变量序列，ξ为随机变量，其对应 的分布函数分别为Fn(x), F(x). 若在F(x)的连续点， 有 lim Fn ( x ) F ( x ),
n
则称{ξn}依分布收敛于ξ. 可记为
P{| E ( ) | } 1
D( )

2
.
•切贝谢夫不等式的证明:
设随机变量 有期望值E 及方差D ,则任给 >0,有
P ( E ) D
2
P( E ) 1
D
把概率转化 为求和

2
证:如果ξ是离散型的随机变量,那么