南昌大学概率论大数定律及中心极限定理
概率论与数理统计 第5章 大数定律和中心极限定理
5.1 大 数 定 律 作为上述定理得特殊情况，可以得到如下重要定 理： 定理 5.3 （伯努利大数定律）设 nA 是 n 重伯努利试 验中事件 A 发生的次数， p 是事件 A 在每次试验中 发生的概率，则对于任意正数，有
nA P nA 即 (5.4) p ( n ) limP p 1 n n n
第五章 大数定律和中心极限定理 【吸烟率调查问题】 某卫生组织为确定某城市成年男子的吸烟率p，将 被调查的成年男子中吸烟的频率作为p的估计，现在 要保证有 90% 以上的把握，使得调查对象吸烟者的
频率与该城市成年男子的吸烟率p之间的差异不大于
5%，问至少要调查多少对象？
5.1
大 数定 律
对某个随机变量 X进行大量的重复观测，所得到 的大批观测数据的算术平均值也具有稳定性，由于 这类稳定性都是在对随机变量进行大量重复试验的 条件下呈现出来的，历史上把这种试验次数很大时 出现的规律统称为大数定律．
即对于任意正数，有
1 n limP X i 1 n n i 1
1 n P X (n ) 也即 (5.3) i n i 1 n n 1 1 1 证：因为 E ( X i ) E ( X i ) n n n i 1 n i 1 1 n 1 D( X i ) 2 n i 1 n
nA p 实际上几乎是必定要发生的，即对于给 n
用事件发生的频率来近似地代替事件发生的概率．
5.1 大 数 定 律 上 述 契 比 谢 夫 大 数 定 律 中 要 求 随 机 变 量 X1 ， X2 ， … ， Xn ， … 的方差存在，实际上，在高等概率
论中已经证明了在不要求D(Xi)（i = 1，2，…）存在
大学《概率论与数理统计》课件第五章 大数定律与中心极限定理
例5 某单位有200台电话分机，每台分机有5%的时间 要使用外线通话。假定每台分机是否使用外线是相互独 立的，问该单位总机要安装多少条外线，才能以90%以 上的概率保证分机用外线时不等待？ 解 设有X 部分机同时使用外线，则有 其中 设有N 条外线.由题意有 由德莫佛-拉普拉斯定理得
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律 一、切比雪夫Chebyshev不等式 二、几个常见的大数定律
定义1 设随机变量序列
在常数 a ，使得对于任意
有:
则称 依概率收敛于a ，记为
，如果存
注意
以概率收敛比高等数学中的普通意义下的收敛弱 一些，它具有某种不确定性.
且
是独立同分布的随机变量. 且
累计误差即总距离误差为1200 X k 近似 N (0,100) k 1
由定理1可得
下面介绍定理1 的特殊情况.
定理2（棣莫佛-拉普拉斯定理（De Moivre-Laplace）
设随机变量 服从参数为
的二项分布
则对任意的x ，有
即 或
证 因为 所以 其中 相互独立，且都服从（0-1）分布。
定理1（独立同分布的中心极限定理）
设
为一列独立同分布的随机变量，
且具有相同的期望和方差
则对任意实数x,有
即
，或
例1 根据以往经验，某种电器元件的寿命服从均值为 100小时的指数分布. 现随机地取16只，设它们的寿命 是相互独立的. 求这16只元件的寿命的总和大于1920小 时的概率. 解 设第i 只元件的寿命为Xi , i=1,2, …,16 由题给条件知，诸Xi 独立，E( Xi ) =100, D( Xi ) =10000 16只元件的寿命的总和为
大数定律及中心极限定理.ppt
高斯在研究误差理论时已经用到正态分布，以炮弹射击误
差为例，设靶心是坐标原点，多次射击的结 Y
果，炮弹弹着点为(X,Y)，它是二维随机变 量，都认为它服从正态分布，它的每一 个
M (X,Y)
y
分量X和Y服从正态分布，这到底为什么？ 要搞清误差是怎样？
一般来说，如果某个随机变量是由大量相互独立的随机因 素综合影响形成的，而其中每一项因素对总和的影响是“均 匀微小的”，那么可以断定这个随机变量服从或近似服从正 态分布中心极限定理是用极严格的数学推导来论证这一事 实。下面介绍中心极限定理的基本形式。
二、两个中心极限定理
定理3（同分布的中心极限定理）设随机变量X1, X2, …,X n…独立同分布,且E(Xk)= ,D(Xk)=2≠0，
n n
引人随机变量
Xk
1，在第k次试验中A发生 0，在第k次试验中A不发生, k
1，2，, n
n
因而 n
X
，
k
k 1
X
1，X
，
2
X
n
相互独立均服从两点分布，
EXk p，DXk p1 p，
由切比雪夫大数定律，有
1
lim
n
P
|
n
n
Xk
k 1
p
|
l i m P | n
n n
p | 1
X = X1 + X2 + X3 + X4 + ······
而且这些小误差可以看成彼此相互是独立的，因此要讨论 X的分布，就要讨论独立随机变量和的分布问题，中心极限 定理就是研究在什么条件下独立随机变量序列和的极限分布 服从正态分布的一系列定理的总称。由于正态分布在概率论 理论和应用中占有中心地位，因此这些定理称为中心极限定 理。
中心极限定理和大数定律
中⼼极限定理和⼤数定律⽬录依分布收敛定义若有⼀列分布函数 {F n} 和分布函数F，在F的每⼀个连续点，都有F n→F，则称F n弱收敛于F，记为F nω⟶F .定义若⼀列随机变量ξn的分布函数弱收敛于ξ的分布函数，则称ξn依分布收敛于ξ，记为ξnd⟶ξ .海莱第⼀定理若有⼀列分布函数 {F n} ，则存在单调不减右连续的函数F, 0≤F(x)≤1,x∈R 和⼦列 {F nk } ，使得对F的每⼀个连续点，都有F nk→F .海莱第⼆定理设有分布函数F，⼀列分布函数 {F n} ，F nω⟶F，若g(x) 在 R 上有界连续，则∫+∞−∞g(x)dF n(x)→∫+∞−∞g(x)dF(x)勒维连续型定理设有分布函数F，⼀列分布函数 {F n} ，若F nω⟶F，则相应的特征函数列 {fn(t)} 关于t在任何有限区间⼀致收敛于F的特征函数f(t) .逆极限定理设f n(t) 是分布函数F n(x) 的特征函数，如果对每个t,f n(t)→f(t) ，且f(t) 在t=0 连续，则f(t) ⼀定是某个分布函数F的特征函数，且F nω⟶F .例 4.1 ⽤特征函数法证明⼆项分布的泊松逼近定理.Proof.设ξn服从⼆项分布B(n,p) ，且lim，它的特征函数为f_n(t) = (p_ne^{it}+q_n),\ q_n = 1-p_n，则有\lim_{n\to\infty}f_n(t) = \lim_{n\to\infty}\left(1+\dfrac{np_n(e^{it}-1)}{n}\right)^n = e^{\lambda(e^{it}-1)}恰为泊松分布的特征函数，由逆极限定理即证.推论若有⼀列随机变量\xi_n和\xi，则下述等价\xi_n\stackrel{d}\longrightarrow\xi对任意有界连续函数，有Eg(\xi_n)\to Eg(\xi)对任意实数t有f_n(t)\to f(t)推论关于密度函数或分布列判断依分布收敛若对任意x,\ p_n(x)\to p(x)，则\xi_n\stackrel{d}\longrightarrow\xi若对任意j,\ p_n(x_j)\to p(x_j)，\xi_n\stackrel{d}\longrightarrow\xi性质若g(x)在\mathbb{R}上连续，则若\xi_n\stackrel{d}\longrightarrow\xi，有g(\xi_n)\stackrel{d}\longrightarrow g(\xi)若有常数列\{a_n\},\ \{b_n\}，有分布函数F，⼀列分布函数\{F_n\}，若a_n\to a,\ b_n\to b,\ F_n\to F，则$F_n(a_nx+b_n)\to F(ax+b)若\xi_n\stackrel{d}\longrightarrow\xi，则a_n\xi_n + b_n\stackrel{d}\longrightarrow a\xi +b中⼼极限定理德莫佛-拉普拉斯⽤S_n表⽰n重伯努利实验中成功的次数，设\Phi(x)为标准正态分布的分布函数，则\lim_{n\to\infty}P\left(\dfrac{S_n-np}{\sqrt{npq}}\le x\right) = \Phi(x)可以看出⼆项分布逼近正态分布，其中P(S_n=k) = b(k;n,p)也就是说，n次独⽴实验中成功\alpha<k\le\beta次的概率为P(\alpha<S_n\le\beta) = P\left(\dfrac{\alpha-np}{\sqrt{npq}}<\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{\beta-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{\beta-np} {\sqrt{npq}}\right) - \Phi\left(\dfrac{\alpha-np}{\sqrt{npq}}\right)需要注意这⾥是n个⼆项分布的累积，每个分布只有1次实验，类似于对分布的拆分：S_n本⾝是⼆项分布，但是这⾥将n次实验拆成了n个随机变量的累计.定义设有⼀列随机变量\xi_n，若有常数B_n>0,\ A_n使得\dfrac{1}{B_n}\sum_{k=1}^n\xi_k - A_n\stackrel{d}\longrightarrow N(0,1)则称\xi_n服从中⼼极限定理.林德贝格-勒维设\{\xi_n\}独⽴同分布，记S_n = \sum_{k=1}^n\xi_k,\ E\xi_1 = a,\ Var\xi_1 = \sigma^2，则中⼼极限定理成⽴，即\dfrac{S_n-na}{\sqrt{n}\sigma} \stackrel{d}\longrightarrow N(0,1)从⽽我们可以类似于上进⾏估计；特别的，当S_n是⼆项分布，有E\xi_1 = a,\ Var\xi_1 = pq .李雅普诺夫定理若\{\xi_n\}独⽴，存在常数\delta>0，使得\dfrac{1}{(\sum_{k=1}^nVar\xi_k)^{1+\delta/2}}\sum_{k=1}^nE|\xi_k-E\xi_k|^{2+\delta} \to 0则中⼼极限定理成⽴.依概率收敛由于两个不同的随机变量可以有相同的分布函数，故分布函数的收敛性不能反映随机变量序列取值之间的接近程度，因此需要引⼊另外的收敛性.定义设\xi,\ \xi_n,\ n\ge 0是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量，若有\forall \epsilon > 0,\quad \lim_{n\to\infty}P(|\xi_n-\xi|\ge\epsilon) = 0则称\xi_n依概率收敛于\xi，记作\xi_n\stackrel{P}\longrightarrow \xi .设\xi,\ \xi_n,\ n\ge 0是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量若\xi_n\stackrel{P}\longrightarrow \xi，则\xi_n\stackrel{d}\longrightarrow\xi若\xi_n\stackrel{d}\longrightarrow c，其中c为常数，则\xi_n\stackrel{P}\longrightarrow c注意随机变量为c，则有分布列P(\xi=c) = 1，从⽽有分布函数F(x) = \left\{ \begin{aligned} &0,\quad x<c\\ &1,\quad x\ge c \end{aligned} \right.Loading [MathJax]/jax/element/mml/optable/BasicLatin.js马尔科夫不等式设\xi是定义在概率空间(\Omega,\mathcal{F},P)上的随机变量，f(x)是[0,\infty)上的⾮负单调不减函数，则有\forall x>0,\quad P(|\xi|>x)f(x) \le Ef(|\xi|)这⾥改写了不等式，注意到左边是⼀个类似于期望的格式，这样⽐较直观，事实上P(|\xi|>x)f(x) = \int_{|y|>x}f(x)dF(y) \le \int_{|y|>x}f(y)dF(y) \le \int_{\Omega}f(y)dF(y) = Ef(|\xi|)\xi_n\stackrel{P}\longrightarrow \xi当且仅当E\dfrac{|\xi_n-\xi|^2}{1+|\xi_n-\xi|^2} \to 0Proof.注意到f(x) = x^2/(1+x^2)⾮负单调不减，由上即证.弱⼤数定律伯努利⼤数定律设\{\xi_n\}独⽴同分布，P(\xi_n=1) = p,\ P(\xi_n=0) = 1-p,\ 0<p<1，记S_n = \sum_{i=1}^n\xi_i，则\dfrac{S_n}{n} \stackrel{P}\longrightarrow p设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的随机变量序列，若有常数列\{a_n\},\ \{b_n\}使得\dfrac{1}{a_n}\sum_{k=1}^n\xi_k - b_n \stackrel{P}\longrightarrow 0则称\{\xi_n\}服从弱⼤数定律.使⽤伯努利⼤数定律估计\xi_i\sim B(1,p),\quad S_n = \sum_{i=1}^n\xi_i则有估计P(S_n\le x) = P\left(\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{x-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{x-np}{\sqrt{npq}}\right)其中q=1-p .切⽐雪夫⼤数定律设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的独⽴随机变量序列，E\xi_n = \mu_n,\ Var\xi_n = \sigma_n^2，若有\sum_{k=1}^n\sigma_k^2/n^2\to 0，则称\{\xi_n\}服从弱⼤数定律，即\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0Proof.考虑\sum_{k=1}^n\xi_k/n，则E\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n}\sum_{k=1}^n\mu_k,\quad Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n^2}\sum_{k=1}^n\sigma_k^2由切⽐雪夫不等式P\left(\left|\dfrac{1}{n}\sum_{k=1}^n(\xi_k -\mu_k)\right|\ge\epsilon\right) \le \dfrac{1}{\epsilon^2}Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1} {\epsilon^2n^2}\sum_{k=1}^n\sigma_k^2 \to 0即证.马尔科夫⼤数定律设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的独⽴随机变量序列，E\xi_n = \mu_n，若有Var(\sum_{k=1}^n\xi_k^2)/n^2\to 0，则称\{\xi_n\}服从弱⼤数定律，即\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0证明是类似的，可以省去最后⼀步.⾟钦⼤数定律设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的独⽴同分布随机变量序列，E|\xi_1|<\infty，记\mu=E\xi_1,\S_n=\sum_{k=1}^n\xi_k，则\{\xi_n\}服从弱⼤数定律，即\dfrac{S_n}{n} \stackrel{P}\longrightarrow \mu平均收敛设\xi,\ \xi_n,\ n\ge 1是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量，E|\xi|^r<\infty,\ E|\xi_n|^r<\infty,\ n\ge1,\ 0<r<\infty，若E|\xi_n-\xi|^r \to 0则称\{\xi_n\}r阶平均收敛于\xi，记作\xi_n\stackrel{L_r}\longrightarrow\xi .强⼤数定律定义设\xi,\ \xi_n,\ n\ge 1是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量，若存在\Omega_0\in\mathcal{F}使得P(\Omega_0) = 1，且对任意\omega\in\Omega_0有\xi_n(\omega)\to\xi(\omega)，则称\xi_n以概率1收敛或⼏乎必然收敛于\xi，记作\xi_n\to\xi\ \mathrm{a.s.}定义若有\Omega_0\in\mathcal{F}使得P(\Omega_0) = 1，且对任意\omega\in\Omega_0，\{\xi_n(\omega)\}是柯西基本列，即\xi_n(\omega)-\xi_m(\omega)\to 0，则称\xi_n以概率1是柯西基本列。
大数定律与中心极限定理
⼤数定律与中⼼极限定理⽬录随机变量序列的两种收敛性依概率收敛：设{X n}为⼀随机变量序列，X为⼀随机变量，若对于任意ϵ>0,有P(|X n−X|≥ϵ)→0(n→∞)则称序列{X n}依概率收敛于X，记作X n P →X依概率收敛的性质：若X n P →aY n P →b则：X n±Y n P→a±bX n Y n P→abX n÷Y n P→a÷b弱收敛（按分布收敛）：随机变量X,X1,X2…的分布函数为F(x),F1(x),F2(x)…，若对于F(x)的任意⼀个连续点x，有lim n→∞F n(x)=F(x)则称分布函数序列{F n(x)}弱收敛于F(x),记作F n(x)W→F(x)也称{X n}按分布收敛于X,记作X n L →X特征函数特征函数：设X是⼀个随机变量，则φ(t)=E(e itX)为X的特征函数。
常⽤分布的特征函数0-1分布：φ(t)=pe it+q泊松分布:φ(t)=∑e itx λk e−λk!=e−λ∑(λe it)kk!=eλ(e it−1)均匀分布:φ(t)=∫b ae itxb−a dx=e itb−e itait(b−a)标准正态分布:φ(t)=e−1 2t2证明：φ(t)=∫∞−∞e itx1√2πe−12x2dx=1√2π∫∞−∞∞∑n=0(itx)nn!e−12x2dx=∞∑n=0(it)nn![∫∞−∞x n1√2πe−12x2]dx=∞∑n=0(it)nn!E(X n)当n为奇数时，E(X n)=∫∞−∞x n1√2πe−12x2dx=0当n为偶数时，E(X n)=E(X2m)=∫∞−∞x2m1√2πe−12x2dx=1√2π∫∞−∞−x2m−1d(e−12x2)=1√2π(2m−1)∫∞−∞x2m−2e−12x2dx=(2m−1)(2m−3)…1∫∞−∞1√2πe−12x2dx=(2m−1)!!=2m!2m(m−1)!故φ(t)=∞∑m=0(it)2m(2m)!E(X2m)=∞∑m=0(it)2m(2m)!2m!2m(m−1)!=∞∑m=0(−t22)mm!=e−1 2t2指数分布的特征函数:φ(t)=(1−it λ)−1证明：φ(t)=∫∞0e itxλe−λx dx=λ[∫∞0cos(tx)e−λx dx+i∫∞0sin(tx)e−λx dx]I=∫∞0cos(tx)e−λx dx=∫∞01t e−λx dsin(tx)=λt∫∞sin(tx)e−λx dx=−λt2[−1+λ∫∞cos(tx)e−λx dx]=−λ2t2I+λt2故I=λλ2+t2φ(t)=λ(λλ2+t2+itλ2+t2)=λλ2+t2(λ+it)=λλ−it=(1−it λ)−1特征函数的性质|φ(t)|≤φ(0)=1证明:|φ(t)|=|∫e itx f(x)dx|≤∫|e itx|f(x)dx=1若Y=aX+b，则φY(t)=e ibtφX(at)证明：φY(t)=∫e it(ax+b)f(x)dx=e itb∫e itax f(x)dx=e ibtφX(at)若X和Y相互独⽴，则有φX+Y(t)=φX(t)φY(t)证明：E(e it(X+Y))=E(e itx e ity)=E(e itx)E(e ity)=φX(t)φY(t)若E(X l)存在，则X的特征函数l次可导，且对1≤k≤l有φ(k)(0)=i k E(X k)证明：φ(k)(t)=∫i k x k e ixt f(x)dx将t=0代⼊得φ(k)(0)=i k∫x k f(x)dx=i k E(X k)⼤数定律 概率是频率的稳定值，其中稳定是什么意思？⼤数定律详细的描述了这个问题。
概率论中的大数定律与中心极限定理
概率论中的大数定律与中心极限定理概率论是数学中的一个重要分支，研究随机现象的规律性。
在概率论中，大数定律和中心极限定理是两个基本而又重要的概念。
本文将详细探讨这两个定律，并阐述它们在概率论中的应用。
一、大数定律大数定律是概率论中最为基本的定律之一。
它描述了在独立重复试验的条件下，随着试验次数的增加，随机事件的频率会趋于稳定，即其概率的长期平均值会趋于事件的真实概率。
大数定律可以分为弱大数定律和强大数定律两种形式。
弱大数定律是指在概率分布具有一定条件时，频率收敛到概率的几乎必然成立。
也就是说，如果一个事件发生的概率为p，那么当试验次数增加时，该事件发生的频率会趋于p。
这种定律的典型应用是频率稳定的硬币投掷问题。
当试验次数趋于无穷大时，正面朝上的频率会收敛于0.5，即硬币的正反面概率相等。
强大数定律是指在一般条件下，频率收敛到概率的几乎必然成立。
它比弱大数定律更为强大，可以涵盖更广泛的情况。
例如，当试验次数无限大时，独立同分布随机变量的均值收敛于其数学期望。
这种定律对于实际问题的应用更为广泛，可以用于解释一系列现象，如赌博、股票市场等。
二、中心极限定理中心极限定理是概率论中最为重要的定理之一。
它描述了当独立同分布随机变量的和的样本容量足够大时，这个和的分布会趋近于正态分布。
中心极限定理包括三种形式：李雅普诺夫定理、林德贝格-列维定理和棣莫弗-拉普拉斯定理。
李雅普诺夫定理是中心极限定理的一种形式，描述了独立随机变量和的分布趋近于正态分布的条件。
它要求随机变量具有有限的方差，并且样本容量足够大。
在实际应用中，李雅普诺夫定理可以用于描述大量相互独立事件的和的分布。
林德贝格-列维定理是中心极限定理的另一种形式，描述了独立同分布随机变量和的分布趋近于正态分布的条件。
与李雅普诺夫定理相比，林德贝格-列维定理的条件更为宽松，不再要求有限的方差。
这使得林德贝格-列维定理在实际应用中更为通用。
棣莫弗-拉普拉斯定理是中心极限定理的一种特殊情况，适用于二项分布。
大数定律与中心极限定理总结
大数定律与中心极限定理总结大数定律与中心极限定理是概率论与数理统计中的两个重要定理，用于描述随机变量序列的性质。
下面我将分别对这两个定理进行总结，并给出相关的参考内容。
一、大数定律大数定律是概率论中的一个基本定理，描述了随机变量序列的极限性质。
大数定律可以分为弱大数定律和强大数定律两种。
1. 弱大数定律弱大数定律是指对于一个随机变量序列，如果序列的均值存在，并且均值收敛于某个常数，那么这个序列就满足弱大数定律。
弱大数定律的代表是辛钦大数定律。
具体来说，如果一个随机变量序列X1, X2, ..., Xn，其中Xi是相互独立、同样分布的随机变量序列，它们的均值为μ，方差为σ^2。
那么对于任意给定的正数ε，有：lim(n→∞)P( |X1+X2+...+Xn)/n - μ| ≤ ε ) = 1这意味着当样本数量趋向于无穷大时，样本均值的概率逼近于1，即样本均值趋近于总体均值μ。
2. 强大数定律强大数定律是指对于一个随机变量序列，如果序列的均值存在，并且均值以概率1收敛于某个常数，那么这个序列就满足强大数定律。
强大数定律的代表是伯努利大数定律和切比雪夫大数定律。
伯努利大数定律是对于一个独立随机变量序列X1, X2, ..., Xn，其中每个随机变量取值为0或1，概率为p或1-p，那么对于任意给定的正数ε，有：lim(n→∞)P( |X1+X2+...+Xn)/n - p| ≤ ε ) = 1切比雪夫大数定律是对于一个独立随机变量序列X1, X2, ..., Xn，其具有相同的均值μ和方差σ^2，那么对于任意给定的正数ε，有：lim(n→∞)P( |X1+X2+...+Xn)/n - μ| ≤ ε ) = 1以上的大数定律说明了随机变量序列的均值具有稳定的性质，当样本数量足够大时，样本均值可以准确地反映总体均值。
二、中心极限定理中心极限定理是概率论与数理统计中的一个基本定理，描述了独立随机变量和的分布的极限性质。
概率统计大数定律与中心极限定理课件
在样本量较大时，利 用大数定律证明统计 量的收敛性和稳定性 。
在样本量较大时，利 用大数定律提高估计 的准确性。
03
中心极限定理
棣莫弗-拉普拉斯定理
棣莫弗-拉普拉斯定理是中心极限定理的一种特殊形式，它描 述了当试验次数趋于无穷时，二项分布的累积分布函数收敛 于正态分布。
棣莫弗-拉普拉斯定理指出，当试验次数n足够大时，二项分 布B(n,p)的累积分布函数近似于正态分布N(np, np(1-p))，其 中p是成功概率。这个定理在概率论和统计学中有着广泛的应 用，因为它提供了二项分布和正态分布之间的联系。
THANKS
感谢观看
中心极限定理的应用
中心极限定理在统计学、金融、社会学等领域有着广 泛的应用，它帮助我们理解大量数据的分布规律和预 测未来的趋势。
中心极限定理的应用非常广泛。在统计学中，它用于 分析样本数据并推断总体特征，如计算置信区间和假 设检验。在金融领域，中心极限定理用于分析股票价 格、收益率等金融数据的分布，从而进行风险评估和 投资决策。在社会学中，中心极限定理用于研究人口 普查、选举投票等数据的分布规律，以了解社会现象 和预测未来趋势。此外，中心极限定理还在许多其他 领域中有着广泛的应用。
离散型随机变量
离散型随机变量的取值是 离散的，其概率分布可以 用概率质量函数或概率函 数表示。
连续型随机变量
连续型随机变量的取值是 连续的，其概率分布可以 用概率密度函数表示。
02
大数定律
弱大数定律
弱大数定律定义
在独立同分布的随机试验中，随 着试验次数的增加，样本均值的
期望值趋近于总体均值。
弱大数定律的证明
的结论。
区别
大数定律主要研究随机变量的平均值的稳定性，即当随机变量的数量趋于无穷大时，它们的 平均值将趋近于某个常数。而中心极限定理则研究随机变量和的分布特性，即当独立同分布 的随机变量数量趋于无穷大时，它们的和的分布趋近于正态分布。
大数定律与中心极限定理公式
大数定律与中心极限定理公式
大数定律和中心极限定理是概率论和统计学中的重要概念，它们描述了在大量重复实验或观察中随机变量的性质。
大数定律是指当试验次数趋于无穷时，随机变量的相对频率趋于其概率。
具体来说，如果一个随机变量序列{ξn, n ∈ N} 的期望存在且等于某个常数ξ，那么对于任意小的正数ε，当 n 趋于无穷时，P( ξn - ξ ≥ ε ) 趋于 0。
中心极限定理则是指无论随机变量 X1, X2,..., Xn 的分布是什么，只要 n 足
够大，那么它们的和 X1 + X2 + ... + Xn 除以 n 的标准化形式就会近似地
服从标准正态分布 N(0, 1)。
也就是说，对于任意x ∈ R，有limn→∞
P(∣∑i=1nxi−nμ∣≤xσn)=Φ(x)\lim_{n \to \infty}
P(\frac{\sum_{i=1}^{n}x_i-n\mu}{\sqrt{n\sigma^2}} \leq x) =
\Phi(x)limn→∞P(∣∣∑i=1nxi−nμ∣∣≤xnσ2)=Φ(x)，其中μ 是 X1, X2,...,
Xn 的期望，σ^2 是它们的方差，Φ(x)是标准正态分布 N(0, 1) 的分布函数。
这两个定理在统计学中有着广泛的应用，例如在样本均值的分布、样本比例的分布、回归分析等方面都有重要的应用。
概率论05大数定律及中心极限定理
如取
则 随机变量 X取值偏离E(X)超过 3 的概率小于 0.111 .
P{| X E ( X ) | 3 } 0.111 2 9 可见，对任给的分布，只要期望和方差 2存在，
概率论
由于无穷个随机变量之和可能趋于∞，故我们 不研究n个随机变量之和本身而考虑它的标准化的随 n 机变量. 即考虑随机变量X k ( k 1,n)的和 X k
k 1
Yn
X
k 1
n
k
E ( X k )
k 1 n
n
D ( X k )
k 1
讨论Yn的极限分布是否为标准 正态分布
n
定理表明，当n很大，0<p<1是一个定值时（或 者说，np(1-p)也不太小时），二项变量 n 的分布 近似正态分布 N(np,np(1-p)).
即
n ~ N ( np, np(1 p))
近似地
概率论
下面演示不难看到中心极限定理的客观背景
f g 0
1
h
2 3 x
例:20个0-1分布的和的分布
在概率论中，习惯于把和的分布收敛于正态分 布这一类定理都叫做中心极限定理.
概率论
一、中心极限定理
定理1（独立同分布下的中心极限定理）
设随机变量X 1 , X 2 , X n , 相互独立，服从同一分 布，且具有数学期望和方差 : E ( X k ) , D( X k ) 2 ( k 1,2,)，则随机变量之和 X k的标准化变量
这种稳定性的含义说明算术平均值是依概率 收敛的意义下逼近某一常数 .
3.5 大数定律与中心极限定理详解
注意到当0p1时 必有 pq 1 4
故n只需满足如下不等式
P(| Yn np | 0.01 n )
n pq
pq
n(196)2 1 9604 4
2(0.01
n pq
)
1
因此所需要的抽样调查人数为 9604人
令 2(0.01
n pq
)
1
0.95
小结
林德贝格-列维中心极限定理
两个中心极限定理
隶莫佛－拉普拉斯定理
limP{|
n
1 n
n
i
i1
|
}1
(390)
说明
伯努利大数定律表明 当 n 很大时 事件发生的频率会“靠
近”其概率 而辛钦大数定律则表明 n 次观察的算术平均值
1 n
n
i
i1
会“靠近”它的期望值Ei
这为估计期望值提供了一条
实际可行的途径
三、中心极限定理
要解决的问题: 1.为何正态分布在概率论中占有极其重要
中心极限定理表明, 在相当一般的条件下, 当独立随机变量的个数增加时, 其和的分布趋于 正态分布.
n
10(
n 3
)
0(
n 3
)
0.95
从而
n 3
1.64
n25
补充例2 某车间有200台机床独立地工作着 设每台机床 开工率为06 开工时耗电1千瓦 问供电所至少要供多少电才 能以不小于999%的概率保证车间不会因供电不足而影响生 产
解 记X为200台机器中工作着的机器台数 则X是随机变 量 服从参数为200 06的二项分布 并且np120 npq48
的地位？ 2.大样本统计推断的理论基础是什么？
大数定律与中心极限定理
大数定律与中心极限定理大数定律与中心极限定理解析大数定律与中心极限定理是概率论中两个重要的定理。
它们揭示了随机现象的一种普遍性规律，对于我们理解和解释实际问题具有重要的参考价值。
大数定律大数定律是概率论中研究随机现象规律性的重要定理之一。
它表明，随着样本数的增加，样本均值趋近于总体均值，即大概率情况下样本的平均值与总体平均值之间的差异会逐渐减小。
这个定律的重要性在于，它提供了一种从有限样本推断总体特征的方法。
大数定律的直观解释如下：假设我们投掷一颗均匀的骰子，每次投掷的结果是随机的。
我们重复投掷100次，并记录每次投掷的点数。
根据大数定律，当投掷次数足够多时，各个点数出现的次数应该接近均匀分布，即每个点数出现的概率接近1/6。
换句话说，大数定律告诉我们，随着投掷次数的增加，样本的平均点数应该接近3.5，即骰子的期望值。
中心极限定理中心极限定理是概率论中的另一个重要定理。
它表明在一定条件下，大量独立随机变量的和近似服从正态分布。
换句话说，中心极限定理告诉我们，当我们将多个随机变量进行加和时，其分布会趋近于正态分布。
中心极限定理的具体形式有多种，其中最为常见的是离散随机变量的中心极限定理和连续随机变量的中心极限定理。
无论是哪种形式，中心极限定理都具有广泛的应用领域。
例如，在统计学中，我们常常借助中心极限定理来进行假设检验、置信区间估计等。
大数定律与中心极限定理的联系尽管大数定律和中心极限定理是两个独立的定理，但它们在解释随机现象时常常相互联系。
大数定律关注的是样本均值与总体均值的关系，探讨样本均值的稳定性。
而中心极限定理则关注的是多个独立随机变量的和服从正态分布的问题，主要研究总体的分布特征。
当样本数足够大时，根据大数定律，样本均值会趋近于总体均值。
而根据中心极限定理，当随机变量的数量足够多时，随机变量的和的分布会趋近于正态分布。
这两个定理的联系在于，当我们用多个样本均值加和来近似总体时，根据中心极限定理，所得到的和的分布会趋近于正态分布，进而可以应用正态分布的一些性质对总体进行研究和推断。
大数定理与中心极限定理课件
在金融领域，大数定理可以用来估计风 险和收益的散布。通过模拟大量的投资 组合，我们可以得到投资组合的收益率 和风险的近似值，从而为投资决策提供
参考。
在通讯领域，大数定理可以用来估计信 道容量和误码率。通过大量的实验和模 拟，我们可以得到信道容量和误码率的 近似值，从而为通讯系统的设计和优化
• 大数定理是指当实验次数足够多时，频率接近于概率的定理。 也就是说，当实验次数趋于无穷大时，随机事件的频率趋近于 该事件产生的概率。
大数定理的分类
弱大数定理
如果 $X_n$ 是独立同散布的随机变量序列，那么 $\frac{S_n}{n} \rightarrow \mu$（$n \rightarrow \infty$ ）的概率趋近于1。其中 $S_n = X_1 + X_2 + \cdots + X_n$，$\mu$ 是 $X_n$ 的数学期望。
大数定理在其他领域的应用
金融领域
大数定理在金融领域中有着广泛的应用。在保险精算中，大数定理可以用来估计风险概率 和损失散布。在投资组公道论中，大数定理可以用来确定投资组合的最优配置。
统计学
大数定理是统计学中的基本原理之一，可以用来估计样本数据的散布特征。在抽样调查中 ，大数定理可以用来确定样本的代表性和可靠性。
计算机科学
大数定理在计算机科学中也有着广泛的应用。在密码学中，大数定理可以用来保证加密算 法的安全性。在数据发掘中，大数定理可以用来确定数据散布的特征和规律。
中心极限定理在其他领域的应用
生物学
中心极限定理可以用来研究生物 群体的遗传特征和演变规律。在 遗传学中，中心极限定理可以用 来确定基因频率的散布特征和演
变趋势。
大数定律和中心极限定理的证明及应用
大数定律和中心极限定理的证明及应用大数定律和中心极限定理是概率论的两个基础定理，它们是理解概率论的重要桥梁，也是进行统计分析的基础。
本文将针对这两个定理进行证明和应用的探讨。
一、大数定律大数定律是概率论的重要定理，它指出在独立、同分布的随机变量序列t1、t2、…、tn中，随着n的增大，它们的算术平均值趋近于它们的数学期望。
设t1、t2、…、tn是n个独立同分布的随机变量，它们的数学期望为μ，方差为σ^2，则对于任意ε>0，有：P(|(t1+t2+…+tn)/n - μ| ≥ ε) → 0(n → ∞)即随着n的无限增大，随机变量序列的样本平均值与总体平均值之间的差值会趋近于0。
大数定律的证明有多种方法，这里介绍一种重要的方式——切比雪夫不等式证明法：对于随机变量序列t1、t2、…、tn，根据切比雪夫不等式有：P(|(t1+t2+…+tn)/n - μ| ≥ ε) ≤ σ^2/nε^2由于随机变量t1、t2、…、tn是独立同分布的，因此其样本方差为：sn^2 = (t1-μ)^2 + (t2-μ)^2 + … + (tn-μ)^2按此可得到：σ^2 = sn^2/n因此有：P(|(t1+t2+…+tn)/n - μ| ≥ ε) ≤ sn^2/nε^2从而有：P(|(t1+t2+…+tn)/n - μ| ≥ ε) ≤ σ^2/nε^2由此，对于任意ε>0，当n很大时，都有：P(|(t1+t2+…+tn)/n - μ| ≥ ε) → 0 (n → ∞)即可证明大数定律成立。
大数定理有广泛的应用。
以森林面积估计为例，若要估算某森林面积，可以随机抽取森林中若干个点，计算这些点所在的小区域内的树木密度，通过求平均值来估算森林的总面积。
根据大数定律，随着抽样点数增加，估算结果会趋近于真实面积。
二、中心极限定理中心极限定理（Central Limit Theorem）是概率论的又一个基础定理，它指出在独立、同分布的随机变量序列t1、t2、…、tn中，随着n的增大，这些随机变量的和的分布趋近于正态分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数定律 与 中心极限定理
我们先介绍
1
一、切比雪夫不等式 设随机变量X 有期望 和方差，则 > 0, DX P ( | X E X | ) DX , ( | ) P X E X | 1 或 2 2 . 证 (仅就连续的情形给出证明) 设X 的密度函数为 f ( x), ( xEX ) 2 则 > 0, 1 2
5.1 大数定律
概率论与数理统计是研究随机现象统计规律性的学科. 只有在相同的条件下进行大量重复试验时, 随机现象的规律性 才会呈现出来. 也就是说,要从随机现象中 寻求必然的法则, 应该研究大量随机现象. 研究大量的随机现象, 极限工具无疑 是最有效的方法. 这导致了对极限定理的 研究. 极限定理包含的内容很广泛, 其中最重要的有两类:
a n P{ n
X
k 1
n
k
n
n
b n } n
b n a n ( ) 于机器会有误差, 所以每瓶的 口服液净重为随机变量, 期望值为 100g , 标准差为 10g . 一箱 内装 200 瓶, 求一箱口服液净重大于 20500g 的概率. 解 设一箱口服液净重为 X 克, 箱中第 i 瓶净重为 X i ( i = 1,…, 200 ) 显然诸 X i 独立且同分布， 且 EX i = 100, DX i = 10 2 (i = 1, …, 200). 记 X X i , 则所求概率为 P( X > 20500 ),
1 i
i 服从参数为 i
服从参数为
的泊松分布.
i
服从正态分布 N 0, i
9
贝努里大数定律 设n次独立重复试验中事件A发生 nA次, 在每次试验中事件A发生的概率 为p,则 >0,有:
nA lim P{| p | } 1 n n
10
1, 第i次A发生 ∵令 X i 0, 第i次A不发生 E(Xi)=p, D(Xi)=p(1p)
2 1 2 limP{| X k | } 1 n n k 1 n
n
下面给出的独立同分布下的大数定律，不要 求随机变量的方差存在. 定理3（辛钦大数定律） 设随机变量序列X1,X2, …独立同分布，具有有 限的数学期E(Xi)=μ, i=1,2,…，则对任给ε >0 ，
概率接近于1.
1 n 即当n充分大时， X i 差不多不再是 n i 1 随机的了，取值接近于其数学期望的概率接 近于1.
8
2. 设随机变量序列 1 , 2 , , n , 相互独立， 它们满足切贝谢夫大数定律, 则 i 的分布可以是________.
（A）
i
i
服从[ i, i ]上的均匀分布. 的泊松分布.
[证]: 令Yk=Xk2 (k=1,2,...) 由已知, Yk (k=1,2,...)相互独立 E(Yk)=E(Xk2) =D(Xk)+E2(Xk) =2
D(Yk)=E(Yk2) E2(Yk) =E(Xk4)4
由契比雪夫大数定律: >0,有
2 1 limP{| Yk | } 1 n n k 1
可以证明，满足一定的条件，上述极 限分布是标准正态分布. 这就是下面要介 绍的
中心极限定理
19
在概率论中，习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
我们只讨论几种简单情形.
下面给出的独立同分布随机变量序列 的中心极限定理，也称列维一林德伯格 （Levy－Lindberg）定理.
1059
k
1000
0.937934
5
E i 1 ， D i 1(i 1,2,,9) 1. 设 1 , 2 ,, 9相互独立，
，则根据切贝谢夫不等式, 对于任意给定的 0 ，有______________.
P(| i 1 | ) 1 2
中心极限定理的客观背景 在实际问题中，常常需要考虑许多随机因素所 产生总影响. 例如, 炮弹射击的落点与目标的 偏差, 就受着许多随机因素的影响. 如瞄准时的误差， 空气阻力所产生的误差， 炮弹或炮身结构所引起的误差等等. 对我们来说重要的是这些随机因素的总影响.
17
自从高斯指出测量误差服从正态分布之后, 人们发现 正态分布在自然界中极为常见. 观察表明, 如果一个量是 由大量相互独立的随机因素的影响所造成, 而每一个别因 素在总影响中所起的作用不大. 则这种量一般都服从或近 似服从正态分布. 我们就来研究独立随机变量之和所特有的规律性问 题: 在一般情况下, 我们很难求出 X1 + X2 + … + Xn 分布的 确切形式, 但当 n 很大时, 可以求出这个和的近似分布.
i 1 9
1 9 P(| i 1 | ) 1 2 9 i 1
P(| i 9 | ) 1
i 1
9
2
P(| i 9 | ) 1 9 2
i 1
9
6
定理1(Chebyschev切比雪夫大数定律 )
设 Xn 是相互独立的随机变量序列, 它们的方差都存在, 且有公共上界, 即存在常数 C , 使得 DX i ≤ C , i =1, 2, …, 则 Xn 服从大数定律. 即对任意的 > 0, 有 n n 1 1 lim ( | X i E ( X i ) | ) 1 . n P n i 1 n i 1 n 证 由 Chebyschev不等式, n 证明切比雪夫大数定律主要的数学工具是 1 n DX i n D( n X i ) 1 1 C 切比雪夫不等式 i 1 i 1 Xi E ( 1 Y X 1 P (| n Y i )| ) 1 1 n i 1 n 2 2 2 i 1 n 2 n 1 , 任意事件的概率 1 由极限夹逼准则知结论成立. 特别地, 改方差的限定条件为: 设Xn 独立且有相同的期望 和方差 2 , n 1 当n 充分大时几乎 则 > 0, 有 lim P ( | X i | ) 1 . n n
5000 E ( X ) 1000, D( X ) 6 1 X P 0.01 6000 6 5000
83 6 P(| X 1000 | 60) 1 2 0.7685 108 60
4
实际精确计算
1 X P940 X 1060 P 0.01 6000 6
由契比雪夫不等式,得: 0.967 P{| X 100| 30} 1 30 2 30
例2 设有一大批种子，其中良种占1/6. 试 估计在任选的 6000 粒种子中, 良种所占比 例与1/6 比较上下小于1%的概率. 解 设 X 表示 6000 粒种子中的良种数 , X ~ B (6000,1/6 )
nA 1 又 X i nA X i n i 1 n i 1
n n
由契比雪夫大数定律得出结论
11
关于贝努利定理的说明:
贝努利定理表明事件发 生的频率
A
n 率收敛于事件的概率 p, 它以严格的数学形式 表达了频率的稳定性 .
故而当n很大时, 事件发生的频率与概率有 较大偏差的可能性很小. 在实际应用中, 当试验 次数很大时, 便可以用事件发生的频率来代替 事件的概率.
Bernoulli大数定律提供了通过试验来确定事件概率方 法的理论依据, 即用频率估计概率是合理的.
依概
12
例3 设随机变量Xk (k=1,2,...)相互独立, 具有同一分布: E(Xk)=0, D(Xk)=2, 且 E(Xk4) (k=1,2,...)存在,试证明: >0,
2 1 2 limP{| X k | } 1 n n k 1 n
当 n 无限增大时, 这个和的极限分布是什么呢? 在什么条件下极限分布会是正态的呢？
18
由于无穷个随机变量之和可能趋于∞， 故我们不研究n个随机变量之和本身而考虑 n n 它的标准化的随机变量
Zn
X
k 1
k
E ( X k )
k 1 n
Var ( X k )
k 1
的分布函数的极限.
20
定理1(独立同分布的中心极限定理)
设{Xni}是独立同分布的随机变量序列, 且EXi=, DXi=2 0, i =1, 2, … 则 >0 , X i 的标准化随机变量 nn n 1 i 1 n n X E X X i 反映了中心 i i n i 1 n i 1 i 1 X 2 极限定理的 n D Xi / n n 的分布函数 F (x)满足
f ( x ) dx | P ( | X E X | ) | X EX | X EX| DX 2 f ( x) 1 ( x ) EX dx 2 | X EX | 2 .
在未知分布的情形下 估计 P(|X-EX|< )
( x EX ) 2
i 1
不再是随机的了
在独立和同期望、方差的条件下, n 个随机变量的算术 平均值当 n →∞时, 依概率收敛于它的期望 . 7
切比雪夫大数定律表明，独立随机变 量序列{Xn}，如果方差有共同的上界，则 切比雪夫大数定律给出了
n 1 1 平均值稳定性的科学描述 与其数学期望 E ( X i )偏差很小的 Xi n i 1 n i 1 n
辛钦大数定律为寻找随机变量的期望值, 提供了 一条实际可行的途径: 若视 X i 为重复试验中对随机变量 X 的 第 i 次观察, 则当 n → 时, 对X 的 n 次观察结果的算术平均值 X 以概率收敛于 X 的期望值 EX = . 这为在不知分布的情形下, 取多次重复观测的算术平均值 X 作为 EX 的较为精确的估计提供 15 了理论保证.