概率论与数理统计 第七章 参数估计

(3) 解方程组，得 θi=hi (X1, X2,…, Xn) (i=1,2,…,k);
则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并 称hi(X1, X2,…, Xn)为θi 的矩法估计量，而 称hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1. 设总体X的数学期望和方差分别是μ, σ2 ，求μ , σ2的矩估计量。
2 设X1,…Xn是取自 N ( , 2 ) 的样本， 未知,
求参数 的置信度为1 的置信区间.
查t分布表得 t 2 ,
X 使 P{| | t 2 } 1 S n
1．无偏性
2．有效性 3．一致性
一、无偏性
ˆ( X ,, X )是未知参数 的估计量，若 设 1 n
E (ˆ)
ˆ 为 的无偏估计 . 则称
二、有效性
ˆ ˆ ( X ,, X ) ˆ ˆ ( X ,, X )和 设 2 2 1 n 1 1 1 n
都是参数 的无偏估计量，若有
第 7章
参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数. 估计新生儿的体重 估计废品率 估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数 为 F(x, )，其中 为未知参数 ( 可以是向量) . 现从该总体抽样，得到样本 X1,X2,…,Xn
从样本出发构造适当的统计量
ˆ ˆ( X , , X ) 1 n
作为参数 的估计量，即点估计。
将 x1,, xn 代入估计量，得到 的估计值
ˆ ˆ( x1 , , xn )
关键问题：如何构造统计量?
ˆ ˆ( X , , X ) 1 n
点估计

矩估计 极大似然估计
矩估计
L( x1 , x2 ,..., xn ; ) f ( xi ; )
i 1
n
为样本的似然函数，简记为L(θ)。
对于固定的样本观测值x1,x2,…,xn。如果有
例1. 设总体X~N(μ,σ2)，其中μ,σ2是 未知参数。求μ,σ2的极大似然估计。
1 1 f ( x; , ) exp[ 2 ( x ) 2 ] 2 2 n 1 1 2 L( , ) exp[ 2 ( xi ) 2 ] 2 2 i 1
总体期望、方差的矩估计量分别是样本均值和 样本二阶中心矩。
例2: 已知某产品的不合格率为p, 有简单随 机样本X1 ,X2 ,…, Xn 求p的矩估计量。 解：E(X)=p.
1 ˆ Xi X p n i 1
n
例3：设电话总机在某段时间内接到呼唤的次数 服从参数λ 未知的泊松分布，现在收集了如下42 个数据：
设样本X1 , , X n来自数学期望E ( X ) , 方差D( X )
2
的总体，则X 是的一致估计量。
伯努利大数定律
设总体为参数为p的0-1分布，X1 , , X n为样本， 则X 是p的一致估计量。
§7.3
置信区间定义：
设θ 是 一个待估参数，给定 0, 若由样本X1,X2,…Xn确定的两个统计量 ˆ ˆ ( X , X ,, X ), ˆ ˆ ( X , X ,, X ) 1 1 1 2 n 2 2 1 2 n
如果只知道0<p<1,并且实 测记录是X=k (0 ≤ k≤ n),又 应如何估计p呢?
若总体分布已知，对于样本值，选取适当 的参数，使样本值出现的概率最大，这种 估计方法就是极大似然估计法。
极大似然估计法
设总体X的分布律或概率密度为f(x; Ө), θ=(θ1, θ2,…, θk)是未知参数， X1,X2, …,Xn是 总体X的样本，则称X1,X2, …,Xn的联合分布 律或概率密度函数
设X1,…Xn是取自 N ( , 2 ) 的样本， 2已知, 求参数 的置信度为1 的置信区间.
ห้องสมุดไป่ตู้
X 利用 ~ N (0， 1) / n
查正态分布表得 u 2 ,
X 使 P{| | u 2 } 1 n
例1：随机地从一批服从正态分布N(μ,0.022)的零 件16个，分别测得其长度为： 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ，并求μ的置信区间 (α=0.05) 2.14 ... 2.11 2.125 解： X 16 查表u 2 u0.025 1.96, 0.02, n 16, 代入得 X u 2 2.115, X u 2 2.135 n n μ的置信区间为(2.115,2.135).
解：(1)矩估计
E( X )

1 xf ( x)dx x( 1) x dx 0 2
1

1 X 2
2 X 1 ˆ 1 1 X
(2)极大似然估计
L( ) ( 1) ( xi )
n i 1 n

n
(0 xi 1)
求置信区间的步骤 (1) 构造仅与待估参数θ 有关，但分布已知的 函数U；
(2) 给定置信度1-α，得常数a,b，使 P{a<U<b}= 1-α； (3) 将a<U<b变形，使得： ˆ ( X , X ,..., X ) ˆ ( X , X ,..., X ) 1 1 2 n 2 1 2 n
ˆ ˆ ) 1 (ˆ1 ˆ2 ) 满足 P( 1 2
ˆ ,ˆ ]是θ 的置信度为 则称区间 [ 1 2 信区间.
1 的置
ˆ1和ˆ2 分别称为置信下限和置信上限.
§7.4
单正态总体四种类型的区间估计
1. 期望的区间估计 σ2已知时μ的置信区间 σ2未知时μ的置信区间 2. 求方差的区间估计 μ已知时σ2的置信区间 μ未知时σ2的置信区间
总体k阶原点矩 样本k阶原点矩
k EX
k
1 n k Ak X i n i 1
K.皮尔逊
P (| 大数定律： nlim
X
i 1
n
k i
n
E ( X k ) | ) 1
矩估计基本思想: 用样本矩估计总体矩 .
设总体的分布函数中含有k个未知参数 1 ,, k (1)它的前k阶原点矩都是这k个参数的函数,记为： (2)用样本i阶原点矩替换总体i阶原点矩
例2：设X1,X2,…, Xn是来自某总体X的样本，且
EX , DX
2 , 判断
2 的矩估计量是 ,
否是无偏估计。
三、一致性(相合性)
ˆ ˆ ( X ,, X ) 是参数 的估计量，若有 设 n n 1 n
则称 ˆn
是参数 的一致估计量.
切比雪夫大数定律 1 n lim P(| X i | ) 1 n n i 1
ˆ ) D( ˆ) D( 1 2
则称 ˆ1 较 ˆ2 有效 .
ˆ ) min( D( ˆ)) 如果对固定的n, D( 1 ˆ 是 ˆ的有效估计。 则称
1
例1：设X1,X2, X3是来自某总体X的样本，且 E(X)=μ,讨论μ的以下估计量的无偏性和一致性。
1 1 1 ˆ1 X 1 X 2 X 3 2 3 6 1 1 1 ˆ2 X1 X 2 X 3 3 3 3 1 1 2 ˆ3 X 1 X 2 X 3 6 6 3
1 n ˆ xi x n i 1 n 1 ˆ 2 ( xi x ) 2 n i 1
ˆX 2 n 1 2 ˆ n S
求极大似然估计量的步骤： (1) 根据f(x; θ)，写出似然函数 L( ) f ( xi ; ) (2) 对似然函数取对数 ln L( ) ln f ( xi ; )
(4) 结论
ˆ , ˆ )就是的一个 区间( 1 2 置信度为1 的置信区间.
方差未知，求期望的区间估计
例2：随机地从一批服从正态分布N(μ, σ2)的零件 16个，分别测得其长度为： 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ，并求μ的置信区间 (α=0.05)
2
(2 ) ( 2 ) exp[

n 2

n 2
1 2 2
2 ( x ) ] i i 1
n
n n 1 2 2 ln L( , ) ln( 2 ) ln 2 2 2 2
2 ( x ) i i 1
n
ln L 1 n 2 [ xi n ] 0 i 1 n ln L n 1 2 ( x n ) 0 i 2 2 2 2 2 2( ) i 1
已知方差，求期望的区间估计
例1：随机地从一批服从正态分布N(μ,0.022)的零 件16个，分别测得其长度为： 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ，并求μ的置信区间 (α=0.05)
n
i 1 n
ln L (3) 写出方程 0
若方程有解， 求出L(θ)的最大值点
i 1
ˆ( x , x ,..., x ) 1 2 n
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。