概率论-参数估计1

涉及中心距的参数也可类似求解，甚至可以中心距
例： 总体 X ~ U a, b， 求a，b的矩估计。
解：假设取样n次，先写出总体，样本，并按照矩
法写出估计量
总体：X 样本：X1, X 2 ,
, Xn
接下来是矩法的标准步骤： a,b是均匀分布的两个参数
第一步：计算一阶原点矩和二阶中心矩
b - a ab E[ X ] ，Var X 2 12
k 1, 2 ,
,l
(2)用样本的矩作为总体矩的统计量
Vk (1 ,2 ,
,l ) Ak
Leabharlann Baidu
1 k (k 1,2, X i n i 1
l ) Ak
n
, l)
得l个方程构成的方程组： g (1 (3)求解方程组中的参数
k hk ( A1
ˆ , ˆ, 从而 1 2
一般步骤
若总体X的分布函数中含有l个参数1， 2， …， l，
X ~ FX . , 1 , 2 ,
我们以原点矩为例说明：
, l
要估计l个参数，我们需要l个统计量及l个相应的方程。
(1)求出总体的各阶矩，作为被统计量
Vk E[ X k ] gk 1 , 2 ,

, l
2 此时， ˆ , ˆ 为两个估计量
假若样本有观测值x1，x2，……x50,代入估计量中，有
估计值：
ˆ ( x1, x50 ), ˆ 2 ( x1, x50 )
用他们来估计μ和σ2
注意
1. 用样本的原点矩估计总体的原点矩，样本的中心 距估计总体的中心矩
2. 抽象问题中，简便起见，代入具体观测值的过程
这说明，当样本容量较大时，样本k阶矩与总体k阶
矩差别很小。
不仅仅是矩法估计，所有统计方法的中心思想都一
致：用部分推断整体；当部分足够大时，根据大数
定理，所做的推断越来越接近真实值。
例：长期的生产经验告诉我们，水泥厂成品打包机
装袋的重量X服从正态分布，试用矩法估计来估计
参数μ和σ2 。
解：设装袋的重量为随机变量X，即总体为X~N(μ, σ2)。
可以省略，只要明确写出用哪些统计量来估计相 应的参数即可
引例：X ~ U [a, b] 求a，b的估计。 很多时候参数并没有直接的概率意义。所以想要直 接用样本各阶矩作为估计量来估计参数是不现实的。 有没有一般的办法来构造估计量？ 曲线救国：尽管不能直接用样本矩作为参数的估 计量，不管三七二十一，先估计总体的各阶矩， 进而通过求解方程得到参数的估计量。
得到参数的估计值：

n
x
i 1
n
i
将具体的样本值替换为样本对应的随机变量，得到 参数的估计量：
n ˆ ＝
L n i 1
X
1 X
i
1 最终，平均寿命的估计为： =X ˆ
L
例: 设P{X k}
k e
k! 其中 0是一未知参数，求 的极大似然估计。
k 0,1, 2,
E[ X ]
此时参数恰为分布的期望，所以可以直接用样本均 值来估计 ，省去了求解方程这一步。
1 n X Xi n i 1
参数本身为分布的数字特征，不需求解方程，直接利
用样本的统计量来估计分布的数字特征，进而得到参
数估计的办法也叫数字特征法，是矩法的特例。
思考一下，是否有其他求解的办法？ 考虑泊松分布的二阶中心矩 得到矩法估计量
Al )
ˆ 为 , , , 的矩估计量 , 1 2 l l
注意
第(2)步和第(3)步的次序可以对换； (2’)求解方程组中的参数
k hk (V1 Vl )
(3’)将等式中样本的矩替换总体矩
k hk ( A1
ˆ , ˆ, 从而 1 2
和原点矩混合
Al )
ˆ 为 , , , 的矩估计量 , 1 2 l l
E[ X ] 2 2 2 Var [ X ] E [ X ] ( E [ X ])
此时，要估计参数，就转化为估计总体随机变量的矩 观测50次，即取X1，X2，……X50个样本，样本容量50
根据大数定理，样本的矩和总体的矩应当非常接近
计算样本的期望和方差
1 50 ˆ X Xi 50 i 1 50 1 2 ˆ 2 S50 X i2 ( X )2 50 i 1
i 1
, xn , ) f ( xi , )
i 1
n
取参数的估计量 ˆ ，使得样本（X1,X2,…,Xn）落在观测 值 ( x1 , x2 ,
, xn ) 上的概率L()达到最大，即
ˆ) max L( x , x , L( x1, x2 , , xn , 1 2 则称 ˆ 为参数的极大似然估计值。
dx

n

0
xe
x
dx
1

.
ˆ M
n
| X
i 1
i
|
注意：
1. 并不是标准的矩法，而是某种推广了的矩法估计； 2. 以后遇到密度函数为偶函数的情形均可这样处理。
例： 设X1，X2，…，Xn为总体X~Pois(λ)的样本，试求 参数的矩法估计量。 解： 仅有一个参数 ，只需要做一个矩法估计。 考虑一阶原点矩
解 设x1, x2， xn是X的一组样本观测值， 为非负整数
离散型随机变量，要用联合概率函数作为似然函数
先求似然函数
L xi , xi
极大似然估计的一些注意事项
1. 对于离散型总体的分布，只要把联合密度函数 改为联合概率函数即可。 2. 有些情况下参数是离散的，比如二项分布B(n,p)
中的n。此时不能求导，只能按定义找极大值，
运算比较复杂。
例: 据经验，进入稳定期的生产线生产出的LED电视的 使用寿命 X ~ Exp ，x1, x2， xn是X的一组样本观测值。 试用极大似然法估计电视机的平均寿命。
E[ X ]
2



x
2

2
e
x
dx


0
x e
2
x
dx
2

2
.
可先求解参数
2 E[ X 2 ]
再代入样本对应的矩
ˆ M
2n
2 X i i 1 n
有无其他方法？
E X = x 2 e
1 E X


x
Var[ X ]
1 n ( X i X )2 n i 1
可见：同一个参数的矩估计量可以不同。 使用哪个更好一些？ 矩法估计总能用低阶矩就不用高阶矩 之后会系统地介绍估计量优劣的评价，届时再展
开讨论
例 对容量为n的样本，求下列密度函数中参数 a 的
2 2 (a x), (0 x a) f ( x) a 其它 0, a 2 a 解 由于 E [ X ] x 2 ( a x )dx 0 a 3 a 所以由矩法估计，得 X 3 3 n 解得 a 3 X X i n i 1 3 n 所以，参数 a 的矩估计量为 a X i n i 1 矩法估计到一段落
k 阶矩的概念
定义 设 X为随机变量，若 E ( X ) 存在，则称 E ( X k )
k
为 X 的 k 阶原点矩，记作 Vk E[ X k ] ；若 k E ( X EX ) 存在，则称 E ( X EX )k 为 X 的 k 阶 中心矩，记作 Uk E[( X E[ X ])]k
（2）取自然对数
（3）令
ln L( x1 , x2 ,
, xn , ) ln f ( xi , )
i 1
n
d ln L 0 d 其解 ˆ 即为参数的极大似然估计值。
若总体的密度函数中有多个参数1，2，…，n，则将 ln L 第（3）步改为 0, (i 1, 2, , n) i 解方程组即可。
, xn , )
注意
1. 所谓似然函数，就是带参数的联合密度函数 2. 似然函数的选取是唯一的，这一点和矩法估 计不同
求解步骤
（1）构造 L( ) f ( x1 , x2 ,
, xn , ) f ( xi , )
i 1
n
将样本观测值x1, …xn代入，得到仅关于θ的似然函数
矩估计量。
回忆：为了估计鱼塘中有多少条鱼,鱼塘主先从鱼塘中
网起100条鱼作上记号后，放回鱼塘中,过了一段时间 (使有记号的鱼和无记号的鱼混合均匀)后， 从鱼塘中 网起一网鱼,共80条,其中有记号的鱼有2条。试估计鱼 塘中有多少条鱼。 由于数量很大，可以近似认为是简单随机取样，故每条 鱼是否有记号服从Xi~B(1,100/N) 估计N就是估计参数p=100/N。 可以用矩法来估计: E[X]=p=100/N
内容提要
参数的点估计
矩法估计 极大似然估计
估计量优劣性的评价
参数的区间估计
参数的点估计
矩法，极大似然法
参数的估计量和估计值
设总体的分布函数为F(x,)（未知），X1，X2，…，Xn 为样本，构造一个统计量 参数，则称
( X1 , X 2 , , X n ) 为参数的估计量。
2
第二步：用样本的矩作为总体矩的统计量
E[ X ] X， Var X S
2 n
即：
ab = X， 2 2 b a S2 n 12
第三步：求解方程组中的参数
ˆ X 3Sn , a ˆ X 3S . b n
最终得到估计量
注意：熟练之后可以略去写出总体和样本的过程。
例：
总体X 的密度为:f x, 求的矩估计。

2
e
x
, x , 0.
解：一个参数，只要一个矩即可。 最简单的，一阶原点矩： x E [ X ]= x e dx 0, 与参数θ无关，怎么办？ 2 退而求其次，选稍微复杂一些的矩
解： 注意到：E[X]=1/λ,
ˆ ，再求其倒数 可以求参数的极大似然估计 L n xi 当xi >0时，X的似然函数为 L n e i 1
取对数
ln L n ln xi
i 1 n
求导找出极大值点
dL n n xi 0 d i 1
100 2 N 4000 N 80
2 x 80
参数的极大似然估计法
当时的解法 求参数p使得P(Y=X1+…+Xn=2)最大
这样的思想实际上有很广的应用范围，我们以连续型
随机变量为例来说明。
思想：设总体X的密度函数为f(x,)，为未知参数，则 样本（X1,X2,…,Xn）的联合密度函数为 n f ( x1 , x2 , , xn , ) f ( xi , ) 原本是x的函数， 作为参数。现在反过来看，视为 的函数。将具体观测值x1, …xn代入，得到仅关于θ的 一元函数 L( ) f ( x1 , x2 , 称为似然函数
( X1 , X 2 , , X n ) 来估计
将样本观测值 x1 , x2 ,
得到的值
( x1 , x2 ,
, xn 代入 ( X1 , X 2 , , X n ) ， , xn ) 称为参数的估计值。
注意
1. 估计量是某些特殊的统计量，两者的含义不完
全相同。
2. 每次取样不同，观测值也不同，统计量的统计 值也不同，所以估计量也是随机变量。而固定 某次观测的估计值才是一个固定的数字。
1. 数理统计中最重要的一章 2. 本身难度不大，但是把之前所学的内容都综合在一起应用， 掌握起来需要花一定时间
数理统计问题：如何选取样本来对总体的种种统计
特征作出判断。 参数估计问题：知道随机变量（总体）的分布类型， 但确切的形式不知道，根据样本来估计总体的参数，这 类问题称为参数估计。 参数估计的类型——点估计、区间估计
1 n k 样本的 k 阶原点矩，记作 Ak X i n i 1 1 n 样本的 k 阶中心矩，记作 Bk ( X i X )k n i 1
矩法估计：用样本的矩作为总体矩的估计量
矩估计的想法来源于大数定理。如果总体X存 在k阶矩，对任意 0 有
1 n k k lim P X i E X 0 n n i 1