7第七章 参数估计

n L( 1¸ 2,... ,l)= P ( xi ; 1 , 2 , ..., l ) i 1 ln L 由似然方程组 0 i 1, 2, ..., l i ˆ
ˆ ˆ 解得 i i (X1, X2,…, Xn), 若它是极大值点 ˆ 则 为 的极大似然估计量.
(此处B2是样本的二阶中心矩) 本例题说明,样本均值 X 和样本二阶中心矩B2分别为总体 均值和方差的矩法估计量.
例2 求事件A的概率P(A)=p的矩法估计量.
解: 用随机变量X表示事件A的指示变量
即 则
1 X 0
A出现
A不出现 P{X=0}=1p , EX=p
P{X=1}=p ,
n 1 ˆ 所以 p的矩法估计量为 p A1 X i X n n 其中n为事件A在n次独立试验中出现的次数.也就是说,
未知, 随机抽查100个婴儿得到100 个体重数据：
8 , 7 , 6 , 6.5 , 5 , 5.2 , … 而掌握的信息就由这100个数据组成. 据此 ,我们应如何估计 呢?
为估计 ,我们需要构造出适当的样本的函数 T(X1, X2,…,Xn)，每当有了样本值，就代入该 函数中算出一个值，用来作为 的估计值。 T(X1,X2,…,Xn) 称为参数 的点估计量，
此例同样说明矩估计的结果不唯一.
注: (1)估计量和估计值的区别. 参数的估计值是估计量的一次观测值,由于估计 量是随机变量, 具有波动性, 因而参数的估计值 只是一个近似值, 参数的估计所关心的不是估计 值的数值本身, 而是关心它是用什么办法求出来 的, 即由一个怎样的统计量得到的, 并研究该 统计量的优良性质, 如无偏性, 有效性, 相合性等.
则称T(X1,X2,...,Xn)为 的估计量,记作
ˆ =T(X1,X2,...,Xn),
建立一个这样的统计量作为 的估计量,称为参数
的点估计.
如果总体X的分布函数F(x; 1¸ 2,... ,k)中含有k个 不同的未知参数,则要由样本建立k个不带未知参 数的统计量,作为这k个未知参数的估计量. 在不特别强调的情况下,估计量、估计值简称估计. 寻找一个估计量就是寻找估计未知参数的方法， 方法选定后，用样本值代入统计量就得到该参数 的估计值.
将直接影响到 f xi ; dxi , 极大似然法的原理就是
i 1 i 1 n
选取使 f xi ; dxi 达到最大的作为的估计值.
i 1
n
ˆ ˆ 而 ( x1, x2 , ..., xn ) 作为样本观测值的函数, ˆ ˆ 通常记为 ( X1, X 2 , ..., X n )
第七章
参数估计
点估计
估计量的优良性
区间估计
参数估计分为点估计和区间估计. 在实际问题中,总体 X 的分布可能是部分未知 或完全未知的.
(1)总体 X 的分布函数的类型已知,如泊松分布P()或
正态分布N(, 2), 而参数 , , 2未知,需要根据样本的信 息对未知参数进行估计, 称为参数估计.
)
例如:两人射击同一目标,事先并不知道谁的技术好,现在 每人各打一发,有一人击中目标,我们认为击中的技术比击 不中的技术要好, 显然是合理的.
又例如: 某事件A发生的概率是0.1或0.9, 在一次试验中
该事件发生了,当然认为它发生的概率是0.9.
再例如:设在一口袋中装有许多白球和黑球, 只知道两种 球的比例是3:1, 但并不知道黑球多还是白球多, 就是说 抽到黑球的概率是1/4或3/4, 希望通过实验来判断黑球 占的比例是1/4还是3/4.
ˆ 若 为的矩法估计量, g()为的连续函数,则
ˆ g ( )为g()的矩法估计量. 也称
例1 不论总体X服从什么分布,
若 EX=, DX= 2
都是有限的，求参数 及 2的矩法估计量. 解: 设X1, X2 ,…, Xn是取自总体X的样本
1 ˆ n X i 1 1 X 2 ˆ2 i n
(2)总体 X 的分布函数的类型未知,而要对其数字特征
EX , DX进行估计, 而数字特征通常与分布中的参数 有一定关系, 因此也称为参数估计.
总体 随机抽样 样本 加工 统计量 作出推断
统计分析
§7.1 点估计
适当选择一个统计量，用此统计量的观测值作为 未知参数的近似值。
例1 已知某地区新生婴儿的体重X~ N(, 2)，
(2) 矩估计是古老的点估计方法, 直观且简便, 特别是对总体 X 的期望和方差等数字特征进行 估计时, 并不一定要知道 X 的分布函数F(x; ), 但是矩法要求总体的原点矩存在, 如果原点矩 不存在,就不能用矩法. 另一方面, 矩法没有充分
利用分布函数F(x; )对参数所提供的信息.另外,
估计量就是一个统计量，原则上可以由样本
构造出许多统计量作为总体中某个未知参数的 估计量。
1 n 例如：可以用样本均值 X X i n i 1
也可以用单个分量Xi
作为总体均值 的估计量。
一 矩法 (K.Pearson在二十世纪初的一系列论文中引进的方法)
矩法的基本思想: 用样本矩作为总体矩的估计量
1
i 1
n
取对数：
n n 1 n 2 2 ln L ln(2 ) ln ( xi ) 2 2 2 2 i 1
似然方程组：
ln L 1 n ( x ) 0 2 i 1 i n 1 n ln L 2 4 ( xi ) 2 0 2 2 i 1 2
如果X为离散型,通常用X 的概率函数P(x; )代替 f(x; ).
定义 设总体X的密度函数为 f (x; 1¸ 2,... ,l),其中 1¸ 2,... ,l为未知参数, (X1,X2,...,Xn)为样本,其 联合密度函数为f (x1 ,x2 ,... , xn; 1¸ 2,... ,l), 称 L( 1¸ 2,...
矩法的理论依据: 辛钦大数定律
定义: 如果总体X的分布函数F(x; 1¸ 2,... ,l)中含有
l个不同的未知参数, 假定总体X的l 阶原点矩E(Xl)
存在,并记 k= k (1¸ 2,... ,l)= E(Xk)
(通常k都是1¸ 2, ... ,l的函数 )
(k=1, 2, ...l)
L( , ) f ( xi ; , )
2 2 i 1
i 1
n
n
1 e 2
( xi )2 2 2
1 n ( ) e 2

1 2
2
( xi )2
i 1
n
(2 ) ( ) e
n 2
n 2 2

( xi )2 2 2
(1)
如能从(1)式中解出 k= k (1¸ 2,... ,l) (k=1, 2, ...l)
用i的估计量Ai代入上式, 得到估计量
ˆ ˆ k k A1, A2 ,..., Al
ˆ 称 k 为k的矩法估计量, 其中Ai(i=1, 2, ...l) 为
样本的 i 阶原点矩.
某些分布(如泊松分布) X , B2都是的矩估计. 矩估计量不统一, 这在应用时是很不利的.
二 最大似然法
(极大似然法)
(R.Fisher在1912年的论文中提出的方法)
(极大似然法是点估计中最重要的方法.利用总体X的 分布函数的表达式F(x; )及样本所提供的信息,建立
ˆ 未知参数的估计量 (X1,X2,...,Xn)
f x ; , 样本落在点(x1,x2,...,xn)的邻域内的概率
i 1 i
n
设总体X为连续型,密度为 f (x; ),其中为待估 参数,(X1,X2,...,Xn)为样本, 则样本的联合密度为
n
为 f xi ; dxi , 这是的函数. 可见, 的取值不同,
根据矩法可得:
此处 1=EX, 2=E(X2)分别为总体的一阶,二阶原点矩
ˆ ˆ 1 , 2 分别为1, 2的估计量
因为 所以
2
1 = , 2=2+2
1 ˆ Xi X n
2
2 1 2 1 2 2 ˆ ˆ ˆ 2 X i X i X n n 2 1 1 2 2 X i nX X i X B2 n n
i
i
i
i
例1设总体 X ~ N ( , ) , (X1,X2,...,Xn)为样本
2
求参数 及2的 极大似然估计量. 解：Xi 的密度函数为：
1 f ( xi ; , ) e 2
2
( xi )2 2 2
( 0 ; i 1,2,..., n)
, 2的似然函数：
由矩法
1 1 B2 B2
此例说明, 矩估计的结果可能不唯一(通常选 择第一个结果)
例5 设总体X ~P(), 求参数的矩估计.
解: 因为EX = , 所以
1 n ˆ Xi X n i 1
又因为DX = , 所以
ˆ 1 X X 2 B i 2 n
则 ˆ1, ˆ2 分别是 1, 2的矩法估计量.
例4 设总体X服从参数>0的指数分布,其密度为
e x f ( x; ) 0 1 解: 因为EX= 1 x0 x0
求的矩估计.
1 EX
1 DX
即
由矩法
ˆ 1 X
又因为DX= 2
即
ˆ
把样本值代入T(X1,X2,…,Xn)中，得到
T(x1, x2 ,…, xn) 称为 的一个点估计值 .
定义 设总体X的分布函数为F(x ; ), 其中是未知 参数, X1,X2,…,Xn是样本, 现由样本建立不带