大数定律

由切比雪夫（Chebyshev）不等式知，对任意 0 ，有
1 Var ( X 1 n Xn) 2 Xn) 2 0， 2
1 P ( X1 n
n
(n )
********************************************************** 依概率收敛
P n p 1 。 的概率。则对任意的 0 ，有 lim n n
证明： 利用切比雪夫不等式 若随机变量 X 的期望、 方差存在， 则对任意 0 , P X E X
Var X
2
。
n ~ B n, p ， E n np ， Var n np 1 p ，则
1 n 1 n P X k E X k 1. 的正数 ，有 lim n n k 1 n k 1
1 n 1 n 1 n 1 n P Xi E Xi 1 P Xi E Xi n i 1 n i 1 n i 1 n i 1
1 n Var X i n i 1 1
2
1 n 1 n Var X Var X Cov X X 0 i i i j n n2 1 i j n i 1 i 1


马尔科夫大数定律
大数定律等。其中，辛钦大数定律只要求独立同分布且存在期望，对方差没有限 制。目前，各种形式的大数定律的研究仍然远远没有达到完善的程度，仍然在继 续。 **********************************************************
切比雪夫大数定律
设 X 1 , X 2 ,, X k 是两两不相关的随机变量序列，方差有界，则对于任意给定
n
n
0.7 0.6 0.7 0.4 0.5 0.4 0.6 0.4 0.7 0.4
0.44 0.44 0.40 0.58 0.46 0.46 0.52 0.48 0.54 0.46
0.56 0.46 0.42 0.51 0.54 0.53 0.56 0.53 0.56 0.40
0.518 0.517 0.504 0.503 0.498 0.495 0.504 0.490 0.514 0.504
n 1 Var Xk 0 （ 马 尔 科 夫 条 件 ） ， 则 { X k , k 1, 2, } 服 从 大 数 律 ， 2 n k 1
1 n 1 n lim P X k E X k 1. n n k 1 n k 1
n 10
n 50
n 100
n 1000
n
7 6 7 4 5 4 6 4 7 4
n
n
n
22 22 20 29 23 23 26 24 27 23
n
n
n
56 46 42 51 54 53 56 53 56 40
n
n
n
518 517 504 503 498 495 504 490 514 504
1 , 3n
E (Y ) 1, Var (Y )
1 。 n
这里我们仅画出了 n 分别取1，2，4，16 ，100 时， X 及 Y 的分布密度的图 像。可以看出，随着 n 的增大， X 和 Y 的取值越来越集中在它们各自的均值1的 周围。
由定理 2 所给出的大数定律中， 随机变量序列 { X k , k 1, 2, } 需要满足独立同分 布且期望和方差均存在的条件。人们又进一步研究这些条件可以得到什么样程 度的减弱， 其中比较常用的结论有切比雪夫大数定律， 马尔科夫大数定律和辛钦
a 。 ab
这个事实虽然感觉很显然，但是 n 是不确定的，这种越来越接近的确切含义到 底是什么，它与确定性的序列的极限是不同的。直到18世纪，数学家伯努利才 给出了一个严格的数学描述和理论证明。 ********************************************************** 伯努利大数定律 定理1：设 n 为 n 重伯努利试验中事件 A 发生的次数， p 为每次试验中 A 出现
大 数 定 律
12.1 大数定律
抛掷一枚均匀硬币，记 n 次抛掷中出现正面的次数为 n ， n 是不确定的，但 直观经验告诉我们，当 n 越来越大时，出现正面的频率
n
n
将逐渐接近于
1 。 2
利用计算机模拟抛硬币的过程： 随机生成一个 0-1 之间的数， 如果这个数大 于 1/2 就认为是抛到了正面， 否则即为抛到了背面。 关于如何用计算机生成随机 数，我们在 12.3 中会进一步介绍。模拟 n 次抛硬币的过程算一次试验，记录得 到的正面的次数 n 。 表中给出了 n 分别等于 10,50,100 和 1000 时的一些模拟结果，对每个 n 重 复 10 次试验，每次试验模拟抛硬币 10 次。当 n 10 时，得到的频率 0.4 到 0.7 不等，与 1/2 有较明显的偏离；而当 n 50 和 100 时，10 次试验的频率都在 0.4 到 0.6 之间；当 n 1000 时，与 1/2 偏离最大的频率是 0.518。可以明显地看出 随着 n 的增大，出现正面的频率越来越接近于 1/2。
对任意 Hale Waihona Puke Baidu 0 ，当 n 时，都有 P
X1 X 2 n
Xn
1。
**********************************************************
是相互独立同分布的随机变量序列，且其数学期望为
1 X1 n 0, 若x ， Xn x 1, 若x .
，方差为 2 。则 lim P
n
********************************************************** 为了直观的理解定理2和3，我们分别考虑两个独立同分布随机变量序列
**********************************************************
“频率收敛于概率”， 抽样次数越多频率越接近于概率， 平均值越接近于期望。
考虑 a 个白球， b 个黑球的盒子，摸到白球的概率为
a 。 ab
概率为
a 的含义为：重复次数 n ， n 次抽到白球，则 n 越大， n 越接近于 n ab
p 1 p E n p ， Var n n n n
p 1 p Var n A n n 1 p 1 2 n 2
P
n 1.
**********************************************************
X n , n 1,2, 为一个随机变量序列， X 为一随机变量，如果对任意的 0
lim P X n X 1 ，则称 X n , n 1,2,
n
依概率收敛于 X ，记作 X n X 。
P
大数定律的一般形式还有另一中表述方法 定理 3：设 X n , n 1,2,
大数定律的更一般的形式
定理 2：设 { X k , k 1, 2, } 是相互独立同分布的随机变量序列，且其数学期望为
， 方差为 2 。 则对于任意给定的 0 ，lim P
n
1 ( X1 n
Xn ) 0 ．
此时，我们称随机变量序列 { X k , k 1, 2, } 服从大数定律。 证明：由于 X1 , X 2 , , X n , 相互独立（实际上只需两两不相关即可）且同分布，故
1 n 1 n X EX k 1 0 ， P k n k 1 n k 1
1 n Var n Xk i 1
2
1
辛钦大数定律
设 { X k , k 1, 2, } 是独立同分布的随机变量序列。如果其期望 E X 1 ，则
{ X k , k 1, 2, } 和 {Yk , k 1, 2, } ，满足 X k ~ U 0, 2 ， Yk ~ Exp 1 ，并分别记
1 X X2 n 1 Xn ，Y
X
1 Y Y2 n 1
Yn
显然 E ( X ) 1, Var ( X )