概率论与数理统计第七章---参数估计概率

n
i 1
n
i 1
ˆ为 则 的最大似然估计值
θ n
ln x
i 1
n
i
例3
设总体X的概率密度为
0 x 1 其它
( 1 ) x , f (x) 0,
其中
α 1是未知参数
,
X1 , X2 , … , Xn 是取自 X 的样本,
求参数 ɑ 的矩估计和极大似然估计 。 1 1 α 矩估计解： x E ( X ) x ( α 1) x dx ( α 1) x α 1dx

可从中解出 1 , 2 , , k , 即是 1 1 X 1 , X 2 , , X n , ,

(3)用这个解 1 , 2 , , k 分别作出 1 , 2 , , k的估计量。 需要估计未知参数的函 数 g (1 , 2 , , k )时, 就以 g ( 1 , 2 , , k )作为 g (1 , 2 , , k )的矩估计。
矩估计法 点估计 参数估计 区间估计 最大似然估计法
1、矩估计法 矩估计法的思想:当样本容量很大时，可以用样本矩作为总 体矩的估计。当总体X的分布类型已知，但含有未知参数， 可以用矩估计法获得未知参数的估计。
, (1 , 2 , , k )为待估参数， 设X的分布函数为 F（x,） 设总体X的前k阶矩存在，并且它们均是 1 , 2 , , k 的 函数，求待估参数 i (i 1,2, , k ) 的矩估计的步骤 为： （1）建立待估参数与总体矩的关系式； （2）用矩估计法建立矩估计方程，解矩估计方程； （3）写出参数的矩估计量。
n
其中 0
求 的最大似然估计值. 解 似然函数为 L( ) xi 1 ( xi ) 1
n n
(0 xi 1)
1 i n
i 1
i 1
对数似然函数为 ln L( ) n ln ( 1) ln xi
n d ln L( ) n ln xi 0 n d i 1 ln xi
L( ) f ( xi , )
i 1
n
最大似然估计法就是用使 L ( ) 达到最大值的 ˆ 去估计 .
ˆ) max L( ) L(

称 ˆ为 的最大似然估计值 . 而相应的统计量
θ( X1 , , X n ) 称为 θ 的最大似然估计量 .
两点说明： 1.由X1,X2,···,Xn的独立同分布，似然函数 是一个乘积函数。 为了方便运算，取对数似然函数为 ln L( )
(1) 求出总体 X 的前 k 阶矩 E ( X ) l ( 1 , 2 , , k ),
l
l 1, 2 , , k .
( 2)令 l (1 , 2 , , k ) Al , l 1,2, , X n .
0,
j
j 1,2,..., r j 1,2,..., r
由这两个方程组之一可解得各个未知参数θj的最大 似然估计值和最大似然估计量
或 In L 0 j
最大似然估计的性质：
如果 ˆ是总体X的分布中未知参数θ的最大似然估计 量，则对于总体X的样本值x1,x2,···,xn的似然函数L(θ), 有 ˆ) L( ), . L( 设函数u=u(θ), 具有单值反函数θ=θ(u), ˆ) ,得 ˆ (u 由u ˆ u ( ˆ ) ，代入上式有
L() f (x1,x2,,)
d ln L( ) 0 d
可以得到 的驻点 . 2.用上述求导方法求参数的驻点有时行不通，例 如在直线上求最值，这时要用最大似然原则来求 .
例2 设X1,X2,…Xn是取自总体X的一个样本
x 1 , X ~ f ( x) 0, 0 x 1 其它
参数估计
引言 第六章介绍了总体、样本、简单随机 样本、统计量和抽样分布的概念，介绍了 统计中常用的三大分布，给出了几个重要 的抽样分布定理 . 它们是进一步学习统计 推断的基础 .
参数估计
现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来 估计总体的某些参数或者参数的某些函数. 估计新生儿的体重 估计废品率 估计湖中鱼数 在参数估计问题 中，假定总体分 估计降雨量 布形式已知，未 … 知的仅仅是一个 … 或几个参数.
最大似然估计解： 似然函数 L( ) ( 1) x ( 1) 取对数
ln L( ) n ln( 1) ln xi
i 1
i 1
n
i
n
n
x i
i 1
n
n d n ln L( ) ln xi 求驻点 d 1 i 1
n 1 i 1 i
ˆ X
• 例3
设总体X的均值μ和方差σ2都存在但未知，从总体X中抽取样 本X1,X2,···,Xn，求μ和σ2的矩估计量。
解 ：因为 E ( X ) ,
E ( X 2 ) D( X ) [ E ( X )]2 2 2 ,
由方程组
2
1， 2 2 2，
ˆ ˆ（x , x ,..., x ） 1 2 n
例如我们要估计某队男生的平均身高. （假定身高服从正态分布 N ( ,0.12 ) ） 现从该总体选取容量为5的样本，我们的任务 是要根据选出的样本（5个数）求出总体均值μ的 估计. 而全部信息就由这5个数组成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69 估计 μ 为1.68， 这是点估计. 估计μ 在区间 [1.57, 1.84] 内，这是区间估计.
α1 2x 1 α2 1 x
0 0
2x 1 ˆ 故， 的矩估计值为 1 x
例3 设总体 X的概率密度为 ( 1) x ,0 x 1 f ( x) 0, 其他 其中 是未知参数，X 1 , X 2 , X n是样本，求参数 的最大似然估计。

• 例1
设总体X~B(m,p)，其中p未知，从总体X中抽取样本X1,X2,···,Xn， 求p的矩估计量。
解： 由于E(X)=mp,由方程 μ1=mp, 1 1 n p 解得 m .用X X i 代替μ1，得到p的矩估计量为
n
i 1
1 1 n ˆ X p Xi m mn i 1
2 1
1 n 1 n 解得 1， 2 - ， 用 A1 X n X i 和 A2 n X i2 分别代 i 1 i 1 2 替μ1和μ2，得到μ和σ 的矩估计量分别为
ˆ X， 1 n 2 1 n 2 ˆ X i X ( X i X )2 n i 1 n i 1
证 : 因为 E （ X ） k，
k i
1 n k 所以 E ( Ak ) E（ X i ） k , n i 1
所以 Ak 是 k 一个无偏估计量
.
有效性
ˆ ˆ ( X , , X ) ˆ ( X , , X ) 和 设 ˆ1 2 2 1 n 1 1 n
ˆ( X , , X ) 设 1 n
是未知参数 的估计量，若
ˆ 为 的无偏估计 . 则称
E (ˆ )
例如：样本均值 x 是总体期望 E ( X )的无偏估计 , 样本方差 s 2 是总体方差 D ( X )的无偏估计。
例1 设总体 X的 k阶矩 k E ( X k )存在，（ X 1， X 2， ...， X n ) 为来自总体 X的样本。 1 n 证明 ： 样本 k阶矩 Ak X ik 是总体 k阶矩 k的无偏估计。 n i 1
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然估计法是利用已知的总体的概 率密度（或概率分布）及样本，根据概率最大 的事件在一次试验中最可能出现的原理，求总 体的概率密度（或概率分布）中所含未知参数 的点估计的方法。
离散型随机变量
设总体X是离散型随机变量。概率分布为P{X=x}=p(x;θ)， 其中θ是未知参数，假定x1,x2,···,xn是样本X1,X2,···,Xn的一 组观察值。则有 P X 1 x1 , X 2 x 2 , , X n x n P ( X 1 x1 ) P ( X 2 x 2 ) P ( X n x n ) p ( x1 , ) p ( x 2 , ) p ( x n , )
• 例2
设总体X服从指数分布，其概率密度为 1 x 0, e , f ( x; ) x 0, 0， 其中θ>0为未知参数，X1,X2,···,Xn为来自总体X的样本，求θ 的矩估计量。
x

解： 由于E(X)=θ，在方程θ=μ1中 1 A X X 代替μ1，得到θ的矩估计量为 用 n


i 1
n
p ( x i , ).
n i 1
定义样本的似然函数为：L ( )
p ( xi ; )
连续型随机变量
设总体X是连续型随机变量。已知其概率密度 f(x,θ)，θ为待估参数，则样本（X1,X2,···,Xn）的 联合概率密度为
f (x1, x2 ,…, xn;θ)
似然函数为:

n
n n ln xi 0 1 i 1
ln x
i 1
n
1 (0 xi 1)
ˆ 则的最大似然估计值 n
i
ln x
i 1
n
1 (0 xi 1)
i
总体的分布中含有多个未知参数：
• 如果总体X的分布中含有r个未知参数θ1,θ2,...,θr,则 似然函数是这些未知参数的函数L=L(θ1,θ2,...,θr). 求出L或InL关于θj的偏导数并令它们等于0，得到 方程组 L