大数定律

2
对任意ε > 0 ,估计 µ n 偏离 p 不小于ε 的概率 P(| µ n − p |≥ ε )
P(| µ n − p |≥ ε ) = P(| Sn − np |≥ nε )
(k − np) 2 = ∑ P ( Sn = k ) ≤ ∑ P ( Sn = k ) 2 2 nε k :|k − np|≥ nε k :|k − np|≥ nε
1 0
述计算积分 A = ∫ f ( x) dx 的 Monte Carlo 法.
设 X1 , Y1 , X 2 , Y2 ,⋯ 是相互独立的随机变量序列, 且都服从[0,1] 上的均匀分布.设 1 若f ( X i ) ≥ Yi Zi = , 0 若f ( X i ) < Yi
则 Zi = 1当且仅当 ( X i , Yi ) 落在曲线 f ( x) 下面阴影中.因而
µ n = Sn / n
当 n 无限增大时,频率 µ n 在某一确定值附近趋于稳定，这一确 定值称为 A 的概率。
如果 µ n 有极限,自然会把这极限看作这确定值,即 A 的概率.
µ n 是随机变量,通常的数列的极限的定义不适用.
下面证明频率 µ n “依概率收敛”(定义见后)于 p ,因而
概率的统计定义与(以公理 1.1 和公理 1.2 为基础的建立 起来的)概率论理论是相容的.
P(| X − EX |≥ ε ) ≤ DX / ε 2 .
证 2 2) 分别用 ( X − EX ) 2 和ε 2 代替 1)中的 X 和ε 有. 1
P (( X − EX ) 2 |≥ ε 2 ) ≤ E ( X − EX ) 2 / ε 2 ，
由此得
P (| X − EX |≥ ε ) ≤ DX / ε 2 .
lim n →∞ P (| S n / n − p |≥ ε ) = 0 .
(1.1)
上式称为贝努利(Bernoulli)大数定律 贝努利(Bernoulli)大数定律 贝努利(Bernoulli)大数定律,下面我们把这个定 律更明确地重述一遍.
称随机变量序列 X1 , X 2 , L 是相互独立的,若对任意的正整数
0≤ k ≤ n
0≤ k ≤ n
Sn ~ B(n, p ) ESn = np DSn = npq
DS n npq pq ≤ 2 2 ∑ ( k − ES n ) P ( S n = k ) = 2 2 = 2 2 = 2 n ε 0≤ k ≤ n nε nε nε 1
2
于是推出
定义 1.1
lim n→∞ P (| S n / n − p |≥ ε ) = 0 .
贝努利大数定律: 贝努利大数定律:设 X 1 , X 2 , L 相互独立,对每一 k = 1, 2, L
P 都有 X k ~ B (1, p ) , S n = X 1 + ⋅⋅⋅ + X n ，则 S n / n p . →
例 1． 1
设 f ( x) 是取值于[0,1] 的连续函数.下面叙
P X k ~ B (1, p ) , Sn = X1 + ⋅⋅⋅ + X n ，则 Sn / n p . →
蒲丰( 例 1.2.11 (蒲丰(Buffon)投针试验 蒲丰 )投针试验)在平面上画有平行线束, 两条相邻的平行线的距离均为 2a ,向平面随机投掷一枚长度为
2l 的针,假定 0 < a < l .则针与平行线相交的概率为 p = 2l /(π a) .
大数定律(8) 大数定律(8)
8
贝努利大数定律: 贝努利大数定律: 设 X 1 , X 2 , L 相互独立,对每一 k ，
P X k ~ B (1, p ) , Sn = X 1 + ⋅⋅⋅ + X n ，则 Sn / n p . →
定理 1.2
(大数定律 大数定律)设 X 1 , X 2 , L 是相互独立同分布的随机 大数定律
概率的统计定义)设在相同的条件下重复地进行试验 定义 1.2 (概率的统计定义 概率的统计定义 则随着试验次数的不断增大,事件 A 的频率在某一确定值附近趋 于稳定,称这一“确定值”为 A 的概率 概率,记为 P( A) . 概率
1
大数定律(2) 大数定律(2)
设 Sn 是 n 次试验中事件 A 发生的总次数,
大数定律(1) 大数定律(1)
进行 n 次独立试验，每次试验中 A发生概率为 p .设
1 Xk = 0
A在第k次发生 A在第k次不发生
则 Sn = X1 + ⋅⋅⋅ + X n 是 n 次试验中事件 A发生的总次数,而
µ n = Sn / n
就是 A 发生的频率.当 n 无限增大时,频率 µ n 在某一确定值附近 趋于稳定， （按照概率的统计定义）这一确定值称为 A的概率。
P ( Zi = 1) = P (( X i , Yi ) 落在阴影中） 阴影面积A . =
故 Zi ~ B (1, A) .
由贝努利大数定律 贝努利大数定律有 贝努利大数定律
( Z1 + L + Z n ) / n A = ∫ f ( x)dx . →
P 0 1
因此通过模拟随机变量 ( X1 , Y1 ), L , ( X n , Yn ) 便可得到 Z i 的值,进而得到积分 ∫ f ( x)dx 的近似值 ( Z1 + L + Z n ) / n)
2) 设 X 为随机变量, DX < +∞ .则对任意的ε > 0 都有
P(| X − EX |≥ ε ) ≤ DX / ε 2 .
证 仅对连续型的情况证明. 1) 由 X 的非负性,设当 x < 0 时, x 的密度 p ( x) = 0 .
+∞
P( X ≥ ε ) = ∫
ε
p ( x)dx ≤
ε ∫ε
0 1
大数定律(6) 大数定律(6)
6
pq 上小节的不等式 P (| µ n − p |≥ ε ) ≤ 2 是下面切比雪夫不等式的特例 nε
切比雪夫不等式) 定理 1.1 (切比雪夫不等式 切比雪夫不等式 1) 设 X 为非负随机变量,且期望存在.则对任意的ε > 0 都有
P( X ≥ ε ) ≤ EX / ε .
n ≥ 2 ,随机变量 X1 , L , X n 相互独立.
定理 1.1
(贝努利大数定律)设 X1 , X 2 , L 是相互独立的随机变
量序列,对每一 k = 1, 2, L 都有 X k ~ B(1, p ) , Sn = X1 + ⋅⋅⋅ + X n ，则
P Sn / n p . →
4贝 努 利 大 数 Fra bibliotek 律 : 设 X1 , X 2 ,L 相 互 独 立 , 对 每 一 k 都 有
称随机变量序列 X1 , X 2 , L 依概率收敛 依概率收敛于随机变
P 量 X ,记为 X n X ,若对任意固定的ε > 0 都有 →
lim n→∞ P(| X n − X |≥ ε ) = 0 .
由上述知, µ n “依概率收敛”于 p .
3 大数定律(3) 大数定律(3)
大数定律(4) 大数定律(4)
D( Sn / n) = ( DX1 + L + DX n ) / n = DX1 / n .
故由切比雪夫不等式有
P (| S n / n − EX 1 |≥ ε ) ≤ D( S n / n) / ε 2 ≤ DX 1 /(nε 2 ) → 0 .
9
1
+∞
xp ( x)dx ≤
∫ −∞ xp( x)dx = ε
1
+∞
EX
ε
大数定律(7) 大数定律(7)
7
切比雪夫不等式) 定理 1.1 (切比雪夫不等式 切比雪夫不等式 1) 设 X 为非负随机变量,且期望存在.则对任意的ε > 0 都有
P( X ≥ ε ) ≤ EX / ε .
2) 设 X 为随机变量, DX < +∞ .则对任意的ε > 0 都有
1.2.11(续 例 1.2.11(续)用 N 表示投针次数,ν 表示针与平行线相交次数, 由大数定律知,当 N 充分大时,频率接近于概率,即
v / N ≈ 2l /(π a ) .
于是有
π ≈ 2lN /(aν ) .
(1.1)
有 不 少 学 者 做 了 投 针 试 验 , 如 Wolf 在 1853 年 的 试 验 取 a = 45 , l = 36 , N = 5000 ,得出 v = 2532 ,因而利用(1.1)式得到π 的 估计值 2 × 36 × 5000 2000 5 π≈ = ≈ 3.1596 . 大数定律(5) 大数定律(5) 45 × 2532 633
变量序列, DX 1存在， Sn = X 1 + L + X n .则对任意的ε > 0 都有
lim n→∞ P (| Sn / n − EX1 |≥ ε ) = 0 ,
P 即 Sn / n EX1 . →
大数定律(9) 大数定律(9)
证
由假设知 E ( Sn / n) = ( EX 1 + L + EX n ) / n = EX 1,