概率论与数理统计第七章。

矩法特点分析： 矩法的优点是简单易行,并不需要 事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
极大似然估计
例： 设一箱中装有若干个白色和黑色的球， 已知两种球的数目之比为3:1或1:3，现有放回 地任取3个球，有2个白球，问：白球所占的 比例p是多少？
1 ˆ 1 X X i n i 1 ˆ 2 ai X i , ( ai 1)
i 1 i 1 n n
n
一致性(相合性)
ˆ ˆ 设 n n ( X1,, X n ) 是参数 的估计量，若有 ˆ lim P(| n | ) 0 即
E( X )
由E ( X 2 ) D ( X ) [ EX ]2 2 2 可得
2 E( X 2 ) u2
X1 X n ˆ X n 1 n 1 n n 1 2 2 2 2 2 ˆ Xi X (Xi X ) S n i 1 n i 1 n
第7章
参数估计
参数估计只是参数统计分析中的一个分支，
背景：已知X~F(x, )，其中 为未知参数,
并取得总体X的一个样本 X1, X2,…, Xn 参数估计要解决的三大问题： 1. 未知参数 值的估计—点估计 矩估计，极大似然估计 2. 估计量优劣的评价标准 3. 未知参数 取值范围的估计—区间估计
E ( X ) gi (1 ,, k ), i 1,, k
i
(2)用样本i阶原点矩替换总体i阶原点矩
1 n g1 (1 , 2 ,..., k ) E ( X ) n X i , i 1 1 n 2 g 2 (1 , 2 ,..., k ) E ( X 2 ) X i , n i 1 ............ 1 n k g k (1 , 2 ,..., k ) E ( X k ) X i , n i 1
1 n ˆ n xi x i 1 1 n 2 2 ˆ ( xi x ) n i 1
ˆ X 2 n 1 2 ˆ S n
求极大似然估计量的步骤： (1) 根据f(x; θ)，写出似然函数 L( ) f ( xi ; ) (2) 对似然函数取对数 ln L( ) ln f ( xi ; )
参数估计总体思路：
背景: 总体所服从的分布类型已知
抽样
构造 统计量
估计总体中未知的参数/特征等 注：参数估计可估计总体分布的某些参数 或 数字特征或与参数有关的函数g( ).
参数估计的应用 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些未知参数.
估计新生儿的体重
估计废品率 估计湖中鱼数
n n
ˆ lim P(| n | ) 1
对于固定的样本观测值x1,x2,…,xn。如果有
ˆ ( x1 , x2 ,..., xn ) , 使得
ˆ ˆ L( ) max L( ), (或L( ) sup L( ))

ˆ 则称 ( x1 , x2 ,..., xn )为 的极大似然估计值
ˆ 称 ( X1 , X 2 ,..., X n )为极大似然估计量
rs ˆ ˆ g ( N ) 40 N 40 x
注意：频率估计概率，未知参数函数的估计
关于矩法估计的更一般表述：
1. 用样本矩代替总体矩，既可用
原点矩也可用中心矩。
2. 用样本矩函数代替总体矩函数 3. 用事件的频率代替事件的概率
关于矩法估计的计算技巧：
1. 单参数时用一阶原点矩
2. 双参数时用一阶原点矩和二阶中心矩
极大似然估计法
设总体X的分布律或概率密度为f(x; Ө), θ=(θ1, θ2,…, θk)是未知参数， X1,X2, …,Xn是 总体X的样本，则称X1,X2, …,Xn的联合分布 律或概率密度函数
L( x1 , x2 ,..., xn ; ) f ( xi ; )
i 1
n
为样本的似然函数，简记为L(θ)。
2
(2 ) ( 2 ) exp[

n 2

n 2
1 2 2
( xi ) 2 ]
i 1
n
n n 1 2 2 ln L( , ) ln( 2 ) ln 2 2 2 2
( xi ) 2
i 1
n
ln L 1 n 2 [ xi n ] 0 i 1 n ln L n 1 2 ( xi n ) 2 0 2 2 2 2 2( ) i 1
3(n 1) 2 ˆ 3(n 1) 2 ˆ aX S ，b X S n n
例4.某种鱼每条售价40元，鱼塘养殖户为了预 估今年鱼的收益，想了一个办法：他一次性从 湖中网出r 条鱼，做上记号后放回湖中，然后 再从湖中一次性网出s 条鱼，共发现其中有 x 条鱼有标记。至此你能给出他心中预估的收益 吗？
解：(1)矩估计
E( X )

1 xf ( x)dx x( 1) x dx 0 2
1

1 X 2
ˆ 2 X 1 1 1 X
(2)极大似然估计
L( ) ( 1) ( xi )
n i 1 n

n
(0 xi 1)
有效性
ˆ ˆ ˆ ˆ 设 1 1( X1,, X n )和 2 2 ( X1,, X n )
都是参数 的无偏估计量，若有
ˆ ˆ D(1 ) D( 2 )
则称 ˆ1 较 ˆ2 有效 .
如果对固定的n, D(ˆ1 ) min( D(ˆ)) 则称ˆ 是ˆ的有效估计。
i 1
ln L( ) n ln( 1) ln xi
d ln L( ) 令 0 d
1
n
ln xi
i 1
n
ˆ2 1
n
ln x
i 1
n
i
作业：习题7: 2, 3, 5
§7.2
评价一个估计量的好坏，不能仅仅依 据一次试验的结果，而必须由多次试验结 果来衡量 . 即确定估计量好坏必须在大量 观察的基础上从统计的意义来评价。 常用的几条标准是： 1．无偏性 2．有效性 3．一致性
(3) 解方程组，得 θi=hi (X1, X2,…, Xn) (i=1,2,…,k); 则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并 称hi(X1, X2,…, Xn)为θi 的矩法估计量，而称
hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1. 设总体X的数学期望和方差分别是μ, σ2 ，求μ , σ2的矩估计量。
例：两个猎人，一个老手，一个菜鸟，上 山打猎。突然窜出一只野兔，砰的一枪，命 中野兔，你会认为是哪个猎人打中了野兔？
对例1：如果只知道0<p<1,并且 实测记录是X=k (0 ≤ k≤ n),又应 如何估计p呢?
若总体分布已知，对于样本值，选取适当 的参数，使样本值出现的概率最大，这种 估计方法就是极大似然估计法。
ˆ ˆ( x1 ,, xn )
关键问题：如何构造统计量
ˆ ˆ ( X1 ,, X n )
点估计

矩估计 极大似然估计
注：这两种方法具有优良的统计性质,常用且实用
矩法
总体k阶原点矩 样本k阶原点矩
k EX
k
1 n k Ak X i n i 1
K.皮尔逊
k
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
例4. 设X1,X2,…,Xn为取自总体X~U(a, b)的样 本, 求a, b的极大似然估计量.
例5 设X1,X2,…Xn是取自总体X的一个样本 ( 1) x , 0 x 1 X ~ f ( x) 其中 >0, 0, 其它 求 的矩估计量和极大似然估计量.
X
大数定律： nlim P (|
i 1
n
k i
n
E ( X ) | ) 1
矩估计基本思想: 1.分布函数中的未知参数和总体矩有函数关系 2.用样本矩估计(代替)总体矩 .
设总体的分布函数中含有k个未知参数 1 ,, k (1)它的前k阶原点矩都是这k个参数的函数,记为：
解：E(X)=(a+b)/2, D(X)=(b-a)2/12.
1 1 1 n ˆ ˆ E ( X ) ( a b) ( a b ) X i X 2 2 n i 1 1 1 ˆ n 1 2 2 2 ˆ D( X ) (b a) (b a) M 2 S 12 12 n
§7.1
点估计
设有一个统计总体，总体的分布函数 为 F(x, )，其中 为未知参数 ( 可以是向量) . 现从该总体抽样，得到样本 X1,X2,…,Xn 从样本出发构造适当的统计量
ˆ ˆ ( X1 ,, X n )
作为参数 的估计量，即点估计。 将样本观测值 x1,, xn 代入，得到 的估计值
无偏性
ˆ 设 ( X1,, X n )是未知参数 的估计量，若
E (ˆ)
ˆ 则称 为 的无偏估计 .
例：总体X, 已知 EX , DX 判断 , 2 的矩法估计量是否是无偏估计。
2
例2：设总体X ~ P( ), X1 ,, X n为一组样本，判断下面 估计量是否为的无偏估计。 1 n 1 n 2 2 ˆ X， ˆ ˆ 1 ( X i X ) ，3 n 1 ( X i X ) 2 n i 1 i 1