参数的点估计及区间估计

i 1
n
),
若总体 X 为离散型, 则
L( ) 中的 f ( x i ; ) 以 P { X i x i } 代.
例: 设 ( x1 , x2 ,…, xn ) 为取自正态总体 N ( , 2 ) 的一样本值, 求总体均值 和总体方差 2 极大似然估计. 2 1 ( x ) 2 X 的概率密度 f ( x; , ) exp[ ], 解: 2 2 2
2
1
n i 1
Xi 2X .
n
二、 极大似然估计法 是在总体类型已知的条件下使用的一种参数 估计方法 . 其基本思想是概率最大的事件最可能发生 .
例如: 某位同学与一位猎人一起外出打猎 .一只野兔 从前方窜过 . 只听一声枪响，野兔应声倒下 . 是谁打中的呢？
你很自然地想到: 只发一枪便打中, 猎人命中的 概率一般大于这位同学命中的概率. 这一枪应该 是猎人射中的 .
2
(b a ) (a b) , E ( X ) D( X ) [ E ( X )] 12 4
2
2
2
解得 a E ( X )
3{ E ( X 2 ) [ E ( X )]2 } ,
b E ( X ) 3{ E ( X 2 ) [ E ( X )]2 } ,
总体矩用相应的样本矩代替, 得 a 与 b 的矩估计量:
2 1 n 2 X 3 S0 3( X X ) i a X n i 1

2 X 3S 1 n 2 0 b X 3( X i X ) n i 1
例: 设 ( X1 , X2 ,…, Xn ) 为总体 X 的一样本, X 的概率密度
经过简单的计算知, 这个比值大于或小于1,
Sr Sr 由N 或N 而定 . k k
这就是说, 当 N 增大时, 序列 L(N; k) 先是上升而后下降;
当N 为小于
Sr k
的最大整数时, 达到最大值 .
故 N 的极大似然估计为 请看演示 —— 捕鱼问题
Sr ˆ N [ ]. k
§3 估计量的评选标准 求估计量的方法很多, 用不同的方法求出 的估计量会不一样. 我们希望用较好的估计量 去估计未知参数. 因而有必要讨论: 如何评价 一个估计量的好坏? 常用的几条标准是： 无偏性, 有效性, 一致性 估计量是随机变量, 其取值随样本值的不同 而不同. 我们希望估计量的取值在被估参数附近 摆动, 即它的期望值等于被估参数. 由此引入了 无偏性这个标准 .
似然函数 L( , 2 )
2 f ( x ; , ) i i 1 n
( )
2 n / 2
(2 )
n / 2 exp[
1 2
2 ( x ) ] i 2 i 1
n
n
两边取对数得
n 1 n 2 ln L ln( ) ln(2 ) 2 2 2
解: E ( X ) ,
E ( X 2 ) D( X ) [ E ( X )]2 2 2 ,
解得

E ( X ) , 2 E ( X 2 ) [ E ( X )]2 ,
1
总体矩用相应的样本矩代替, 得矩估计量:
E( X )
2 2
n i 1
似然函数 L(a , b )
f ( xi ; a , b )
i 1
n 1 ( b a ) , a x1 , x2 ,, xn b, 0 , 其它.
利用求导方法无法确定未知参数的极大似然估计,
由 L (a, b) 的表达式知: 若 b −a 取最小, 则 L (a, b) 达到最大, 故得 a min { xi } ,




矩估计法(moment method of estimation)
极大似然估计法(method of maximum likelihood)
一、 矩估计法 矩估计法的基本思想是用样本矩估计总体矩 . 理论依据是大数定律.
1 n l X 矩估计法: 用样本的 l 阶原点矩 i n i 1
n
n
1
n
ln L 2


1
n 2 2
nBiblioteka Baidu

1 2 ( 2 ) 2
2 ( x ) 0, i i 1
n
令


2
n 1 2 2 ( x i ) ( xi x ) 2 s 0 n i 1 n i 1

n i 1 1 n
xi x ,
作为总体的 l 阶原点矩 E ( X ) 的估计, 去求出未知参数的估计量. (若未知参数有 k 个, 则一般取 l = 1, …, k ) 由矩估计法求得的估计量叫矩估计量, 相应的 估计值叫矩估计值.
l
例: 设 ( X1 , X2 ,…, Xn ) 为总体 X 的一样本, 求总体均值
和总体方差 2的矩估计量.
k S k Cr C N r S CN
P{ X k }
,
0 k min( S , r )
把上式右端看作 N 的函数，记作 L(N; k) . 应取使 L(N; k) 达到最大的N, 作为 N 的极大似然估计.
但用对 N 求导的方法相当困难, 我们考虑比值：
( N S )( N r ) L( N ; k ) L( N 1; k ) N ( N r S k )
极大似然估计原理： 设总体 X 为连续型, 其概率密度为 f ( x; ) ( 是待估参数), ( X1 , X2 , …, Xn )为一样本, 相应 的样本值为( x1 , x2 , …, xn ) :
则 Xi 落在[ xi , xi + d xi )中的概率约为 f ( x i ; ) d x i , ( X1 , X2 , …, Xn ) 落在( x1 , x2 ,…, xn )旁边的概率
Xi X ,
2
n
E ( X ) [ E ( X )]
1
n i 1

n
X i2
2 X S0 .
2
例: 设总体 X ~ U (a, b) , ( X1 , X2 ,…, Xn ) 为一样本,
求 a, b 的矩估计量.
解: E ( X ) ( a b ) 2 ,
1 i n

b max { xi }
1 i n
问题讨论: 如何估计湖中的鱼数?
我们可用极大似然法估计湖中的鱼数.
为估计湖中的鱼数N, 第一次捕上r条鱼, 做上记号后放回. 隔一段时间后, 再捕出 S 条鱼, 结果发现这 S 条鱼中有 k 条 标有记号. 根据这个信息, 如何估计湖中的鱼数呢？ 第二次捕出的有记号的鱼数 X 是随机变量, X的分布为：
第七章
参 数 估 计
进行统计推断的一般步骤为: 总体
随机抽样
样本
统计量
作出推断
统计推断的 基本问题

参数估计问题
假设检验问题

参数的点估计
参数的区间估计 参数假设检验
非参数假设检验
参数估计问题: 就是要利用样本, 对总体 分布中包含的未知参数或未知参数的某些函数 作出估计.
如: 估计产品的废品率; 估计湖中鱼的数量;
i 1
n
则求 使 L( ) max L( ) , 如此求出的 作为 的估计, 叫 的极大似然估计. 求 时, 通常对 ln L( )求导, 令其为 0, 来获取结果. 若总体 X 为离散型, 则




L( ) 中的 f ( x i ; ) 以 P { X i x i } 代.
1 n xi x . n i 1

有时用求导方法无法最终确定未知参数的 极大似然估计, 此时用极大似然原则来求 .
例: 设总体 X ~ U [a, b] , ( x1 , x2 ,…, xn ) 为一样本值,
求 a, b 的极大似然估计.
1 (b a ) , a x b, 解: X 的概率密度 f ( x; a , b) 0 , 其它. n
综述之, 的极大似然估计 的求法如下: 设 ( X1 , X2 , …, Xn ) 为总体 X 的一样本, ( x1 , x2 , …, xn )为样本值: 若总体 X 为连续型, 概率密度为 f ( x; ),

引入似然函数 L( )
求 使 L( ) 最大.


f ( xi ;
2 ( x ) 2 i i 1

2 ( x ) 续解: ln L ln( 2 ) ln( 2 ) i 2 2 2 2 i 1 2 分别对 求导并令其为 0 得 与 ln L 令 ln L 1 n 1 n 2 2( x i )(1) [ x i n ] 0, 2 i 1 2 i 1
i 1

即求 使 f ( xi ; )dxi max f ( xi ; )dxi ,
i 1
n
n

n

i 1
f ( xi ; ) ; f ( x i ; ) max
i 1

n
i 1
记 L( ) f ( xi ; ), 叫做样本的似然函数,
同样是无偏估计量, 有的取值较集中, 有的 取值较分散. 自然是: 取值越集中的越好. 由此 引入了有效性这个标准 . 估计量与样本容量有关, 我们希望: 随着样 本容量的无限增大, 估计量与被估计量任意接近 的可能性越来越大. 由此引入了一致性这个标准.
无偏性: 若 E ( ) , 则称 是 的无偏估计. 有效性: 若 1 及 2 都是 的无偏估计, 且 D( 1 ) D( 2 ) , 则称 1 较 2 有效. 一致性: 若对 0, 有 lim P {| | } 1 , 则称 是 的一致估计.
估计降雨量等等.
参数估计又分点估计与区间估计.
§1
参数的点估计
设总体 X 的分布中含未知参数 , ( X1 , X2 , …, Xn ) 是一样本, 要构造一统计量
( X 1 ,, X n ) 作为 的估计 ( 叫做 的点估计量);
对应样本值( x1 , x2 , …, xn ), ( x1 ,, x n ) 可作为 的估计值，叫做 的点估计值. 构造点估计 的常用方法
近似为
f ( xi ; ) d xi ,
i 1
n
其取值随 而变;
既然在一次抽样中就得到了样本值(x1 , x2 , …, xn) , 因而我们有理由认为: 样本 ( X1 , X2 , …, Xn ) 在 ( x1 , x2 , …, xn ) 旁边取值的概率比较大;
根据“概率最大的事件最可能发生”，我们可取 使 n 概率 f ( xi ; )d xi 达到最大的参数 作为 的估计；
6 x( x ) 3 , 0 x , f ( x) 求 的矩估计量. 0, 其它.
解: E ( X ) x f ( x ) d x 0 x
解得


6 x ( x )
2E( X ) ,

3
dx

2
,
总体矩用相应的样本矩代替, 得矩估计量:
例: 设总体 X ~ P(λ), 求 λ 的极大似然估计.
解: X 的分布律为 P{ X k }
k
k!
e , k 0,1,2,
设( X1 , X2 , …, Xn )为一样本, 样本值为( x1 , x2 ,…, xn ),
i 1 n , 似然函数 L( ) e P { X x } i i x !x ! x ! 1 2 n i 1
n
xi
n
两边取对数得
ln L xi ln ln( x1 ! x2 ! xn !) n ,
i 1
n
续解:
ln L xi ln ln( x1 ! x2 ! xn !) n ,
i 1
n
令 dln L n 1 xi n 0 , d i 1