大数定律及中心极限定理
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第5章 大数定律与中心极限定理 事件的频率在大样本下具有稳定性，即随着试验次数的
增加，事件的频率逐渐稳定于某个常数. 大量测量值的平均值 也具有这种稳定性，这种稳定性就是大数定律的客观背景.
大数定律的客观背景
大量抛掷硬币 正面出现频率
生产过程中的 废品率
某字母使用 频率
5.1 Chebyshev不等式
次定数理， （p契是比事雪件夫A大在数每定次律试）验A中发生的概率，
2这大种数 现定象 次律就是数(续中2心，) 极限p定是理事的客件观背A景。在每次试验中发生的概率，
解得 N>115.
则对任给的ε> 0， 第5章 大数定律与中心极限定理
设随机变量 服从二项分布B(n, p)，n=1,2,…,则对任意
∴
次数，p是事件A在每次试验中发生的概率，
nA XPp n
解：对每部话机的观察作为一次试验，
伯努利大数定律表明，当重复试验次数n充分大时，事件 解：记同时开着的灯数为X，X ~B(10000,0.
证：因为nA~B(n,p),可记 nA=X1+X2+…+Xn
时X称1,,XX12,,X依…2概,,A…X率n,发相X收n互的敛生独算于立术的，平E均(X频值i)=p率,i=1,n2,.A/n与事件A的概率p有较大偏差的概率很小.
设 X1,X2, …是相互独立的随机变量，它们都有有限的方差，并且方差有共同的上界，即 D(Xk) ≤C，k=1,2, …，
时,X1,X2,…,Xn的算术平均值
伯努利大数定律提供了通过试验来确定事件概率的方法.
5.2 大数定律 (续3) 下面给出的独立同分布下的大数定律，不要求随 机变量的方差存在. 定理（辛钦大数定律）
limP{
Yn np
x} x
1
t2
e 2dt(x)
n np(1p)
2
定理表明，当n很大(一般n≥50)，0<p<1是一个定值时
（或者说，np(1-p)也不太小时），则 Y n 的标准化变量 的分布近似标准正态分布，或
n n 近似服从N(0,1),
A
A
或 limP{| n p|}1 limP{| n p|}0 平事均件值 的稳频定率n 性在 的大科样学本描下述具有稳定性，即随着试验次数的增加，事件n的 频率逐渐稳定于某个常数.
第5章 大数定律与中心极限定理
证：因为n ~B(n,p),可记 n =X +X + +X 相即互n很独大立时，，服Y从n近同似一服分从布N，(0且,1A)，或
果方差有共同的上界，则
1
n
n i1
Xi
与其数学期望
1 n
n i1 E ( X i )
偏差很小的概率接近于1.
特别当 E (X k ),D (X k )2 ,k 1 ,2 ,...
时,X1,X2,…,Xn的算术平均值 X
=
1 n
n i1 X i
与其数学期望
偏差很小的概率接近于1.
即当n充分大时，n1
n i1
Xi
差不多不再是随机的了，
取值接近于其数学期望的概率接近于1.
契比雪夫大数定律给出了 平均值稳定性的科学描述
5.2 大数定律 (续2)
定理（伯努利大数定律） 证：因为nA~B(n,p),可记 nA=X1+X2+…+Xn
1，共进行1000次试验.
设n 是n重伯努利试验中事件A发生的 在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的。
设EX=µ,DX=σ2 , 则对任意正数 ε，成立不等式
P{|X|}22 或 P{|X|}122
证：（就连续型证）
P {| X | } f ( x )dx |x |
|x |
(x
2
)2
f
( x)dx
1 2Biblioteka (x)2f
( x)dx
2 2
5.2 大数定律
定理（契比雪夫大数定律）
设 X1,X2, …是相互独立的随机变量，它们都有有 限的方差，并且方差有共同的上界，即 D(Xk) ≤C，
k=1,2, …， 则对任意的ε>0，
特别，当
1n
1n
n li m P{|ni1Xini1EXi|}1
E (X k ),D (X k )2 ,k 1 ,2 ,...
契比雪夫
则对任意的ε>0，
A
而其中每一个别因素在总的影响中所起的作用都是微小的。
1
… 2
...
1, n Xi 0,
伯努利
第i次A发生； 第i次A不发生 .
X ,X ,…,X 相互独立，E(X )=p,i=1,2, ,n. 而其中每一1个别因2素在总的影n响中所起的作用都是微小的。 i
的分布近似标准正态分布，或
令n→∞,并注意概率不能大于1， np=10000 0.
D(Xk)
k1
n
k1
的分布函数Fn(x)=P{Yn≤x}，对∨ x，满足：
x
ln i m F n(x)
1 2
et2/2d t (x)
即n很大时，Yn近似服从N(0,1)，或
1
n
n i1
Xi
=
Yn
近 ~似 N(,2)
n
n
即
X
近似
~ N(,
2
)
n
5.3 中心极限定理(续2)
定理(棣莫佛－拉普拉斯定理） 设随机变量 Y n 服从二项分布B(n, p)，n=1,2,…,则对任意 x，有
辛钦
设随机变量序列X1,X2, …独立同分布，具有有限的数学期望 E(Xi)=μ, i=1,2,…， 则对任给ε >0 ，
ln im P{n 1| i n1Xi |}1
辛钦大数定律为寻找随机变量的期望值提供了一条实 际可行的途径.
5.3 中心极限定理
在客观实际中有许多随机变量，它们是由 大量的相互独立的随机因素的综合影响所形成 的。而其中每一个别因素在总的影响中所起的 作用都是微小的。这种随机变量往往近似地服 从正态分布。
limP{X |
n
| }1
(X
1 n
n k1
Xk
)
证即：由P 契{比|X雪夫不|等}式，1n22P{令X |n →E ∞(,X 并)注|意}概率1不D 能(X 2大)于1，
∴ limP{X | |}1 称 X 依概率收敛于 X P n
5.2 大数定律 (续1)
契比雪夫大数定律表明，独立随机变量序列{Xn}，如
这种现象就是中心极限定理 的客观背景。
5.3 中心极限定理（续1）
定理（独立同分布的中心极限定理 ）设随机变量
X1,X2,…,Xn,...相互独立，服从同一分布，且
E (X k),D (X k)20 k=1,2,…
n
则 X i 的标准化变量
i1
n
n
n
Xk E(Xk) Xk n
Yn k1
k1 n
增加，事件的频率逐渐稳定于某个常数. 大量测量值的平均值 也具有这种稳定性，这种稳定性就是大数定律的客观背景.
大数定律的客观背景
大量抛掷硬币 正面出现频率
生产过程中的 废品率
某字母使用 频率
5.1 Chebyshev不等式
次定数理， （p契是比事雪件夫A大在数每定次律试）验A中发生的概率，
2这大种数 现定象 次律就是数(续中2心，) 极限p定是理事的客件观背A景。在每次试验中发生的概率，
解得 N>115.
则对任给的ε> 0， 第5章 大数定律与中心极限定理
设随机变量 服从二项分布B(n, p)，n=1,2,…,则对任意
∴
次数，p是事件A在每次试验中发生的概率，
nA XPp n
解：对每部话机的观察作为一次试验，
伯努利大数定律表明，当重复试验次数n充分大时，事件 解：记同时开着的灯数为X，X ~B(10000,0.
证：因为nA~B(n,p),可记 nA=X1+X2+…+Xn
时X称1,,XX12,,X依…2概,,A…X率n,发相X收n互的敛生独算于立术的，平E均(X频值i)=p率,i=1,n2,.A/n与事件A的概率p有较大偏差的概率很小.
设 X1,X2, …是相互独立的随机变量，它们都有有限的方差，并且方差有共同的上界，即 D(Xk) ≤C，k=1,2, …，
时,X1,X2,…,Xn的算术平均值
伯努利大数定律提供了通过试验来确定事件概率的方法.
5.2 大数定律 (续3) 下面给出的独立同分布下的大数定律，不要求随 机变量的方差存在. 定理（辛钦大数定律）
limP{
Yn np
x} x
1
t2
e 2dt(x)
n np(1p)
2
定理表明，当n很大(一般n≥50)，0<p<1是一个定值时
（或者说，np(1-p)也不太小时），则 Y n 的标准化变量 的分布近似标准正态分布，或
n n 近似服从N(0,1),
A
A
或 limP{| n p|}1 limP{| n p|}0 平事均件值 的稳频定率n 性在 的大科样学本描下述具有稳定性，即随着试验次数的增加，事件n的 频率逐渐稳定于某个常数.
第5章 大数定律与中心极限定理
证：因为n ~B(n,p),可记 n =X +X + +X 相即互n很独大立时，，服Y从n近同似一服分从布N，(0且,1A)，或
果方差有共同的上界，则
1
n
n i1
Xi
与其数学期望
1 n
n i1 E ( X i )
偏差很小的概率接近于1.
特别当 E (X k ),D (X k )2 ,k 1 ,2 ,...
时,X1,X2,…,Xn的算术平均值 X
=
1 n
n i1 X i
与其数学期望
偏差很小的概率接近于1.
即当n充分大时，n1
n i1
Xi
差不多不再是随机的了，
取值接近于其数学期望的概率接近于1.
契比雪夫大数定律给出了 平均值稳定性的科学描述
5.2 大数定律 (续2)
定理（伯努利大数定律） 证：因为nA~B(n,p),可记 nA=X1+X2+…+Xn
1，共进行1000次试验.
设n 是n重伯努利试验中事件A发生的 在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的。
设EX=µ,DX=σ2 , 则对任意正数 ε，成立不等式
P{|X|}22 或 P{|X|}122
证：（就连续型证）
P {| X | } f ( x )dx |x |
|x |
(x
2
)2
f
( x)dx
1 2Biblioteka (x)2f
( x)dx
2 2
5.2 大数定律
定理（契比雪夫大数定律）
设 X1,X2, …是相互独立的随机变量，它们都有有 限的方差，并且方差有共同的上界，即 D(Xk) ≤C，
k=1,2, …， 则对任意的ε>0，
特别，当
1n
1n
n li m P{|ni1Xini1EXi|}1
E (X k ),D (X k )2 ,k 1 ,2 ,...
契比雪夫
则对任意的ε>0，
A
而其中每一个别因素在总的影响中所起的作用都是微小的。
1
… 2
...
1, n Xi 0,
伯努利
第i次A发生； 第i次A不发生 .
X ,X ,…,X 相互独立，E(X )=p,i=1,2, ,n. 而其中每一1个别因2素在总的影n响中所起的作用都是微小的。 i
的分布近似标准正态分布，或
令n→∞,并注意概率不能大于1， np=10000 0.
D(Xk)
k1
n
k1
的分布函数Fn(x)=P{Yn≤x}，对∨ x，满足：
x
ln i m F n(x)
1 2
et2/2d t (x)
即n很大时，Yn近似服从N(0,1)，或
1
n
n i1
Xi
=
Yn
近 ~似 N(,2)
n
n
即
X
近似
~ N(,
2
)
n
5.3 中心极限定理(续2)
定理(棣莫佛－拉普拉斯定理） 设随机变量 Y n 服从二项分布B(n, p)，n=1,2,…,则对任意 x，有
辛钦
设随机变量序列X1,X2, …独立同分布，具有有限的数学期望 E(Xi)=μ, i=1,2,…， 则对任给ε >0 ，
ln im P{n 1| i n1Xi |}1
辛钦大数定律为寻找随机变量的期望值提供了一条实 际可行的途径.
5.3 中心极限定理
在客观实际中有许多随机变量，它们是由 大量的相互独立的随机因素的综合影响所形成 的。而其中每一个别因素在总的影响中所起的 作用都是微小的。这种随机变量往往近似地服 从正态分布。
limP{X |
n
| }1
(X
1 n
n k1
Xk
)
证即：由P 契{比|X雪夫不|等}式，1n22P{令X |n →E ∞(,X 并)注|意}概率1不D 能(X 2大)于1，
∴ limP{X | |}1 称 X 依概率收敛于 X P n
5.2 大数定律 (续1)
契比雪夫大数定律表明，独立随机变量序列{Xn}，如
这种现象就是中心极限定理 的客观背景。
5.3 中心极限定理（续1）
定理（独立同分布的中心极限定理 ）设随机变量
X1,X2,…,Xn,...相互独立，服从同一分布，且
E (X k),D (X k)20 k=1,2,…
n
则 X i 的标准化变量
i1
n
n
n
Xk E(Xk) Xk n
Yn k1
k1 n