应用数理统计参数估计点估计

? 依据（原理） ：
柯尔莫哥洛夫强大数定理：
如果 E( X ) ? ? , X1 , X2 ,..., Xn为相互独立且与 X
? 同分布，则
1 n
n i?1
Xi
?
? , (a .s.)
5
注：随机序列的收敛定义
? Xn ??a.e.? X, 是指
P{lim n? ?
Xn
?
，X} ?
1
（以概率1收敛，或几乎处处收敛a.s）；
…, A m)
? 2= ? 2(A1, A2 , …, A m)
……………. ? ? m = ? m(A1, A2 , …, A m)
? 例2．1 （P30）
若是总体的原点矩，则相应的样本矩是其矩估计量。 8
例2.2 设总体X的均值E(X)=?, 方差D(X)=? 2 都存在,
且? 2>0.但 ?,? 2均为未知 . X1, X2 , …,Xn为来自总体 X的 样本, 求?,? 2的矩估计量 .
解
? ? ?
a1 ? a2
E(X) ? ?
? E(X2) ?
D( X) ?
[E ( X)]2
?
?
2
?
?
2
??
由矩估计法,令
? ?
?
?
2
a1,
??
2
?
a2
?? ? A1 ? X ??2 ? A2 ? A12
? ?? ? X ,
? ?
???? 2
?
?
1 n
n
( Xi
i?1
?
X )2
?
s2
上述结果表明，总体均值与方差的矩估计量的表达式不
)2
?
(?1
? ?2 4
)2
由矩估计法 ,得
????1 ? A1 ?
?
????2 ? A1 ?
3( A2 ? A12 ) 3( A2 ? A12 )
??1 ? X ? 3 S , ??2 ? X ? 3 S
10
?【例2.4】 贝努利试验
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
因不同的总体分布而不同． 9
例2.3 设总体X服从[ θ1,θ2]上的均匀分布， θ1,θ2未知 ，X1, X2 , …,Xn为来自总体 X的样本,试求θ1,θ2的矩估 计量．
解
? ??a1
?
?
??? a2
E(X) ? ?1 ? E(X2 ) ?
??2 , 2 D(X)
?
[E(X)]2
?
(?2
? ?1 12
设总体 X 是服从参数为 ? 的指数分布，其中参数 ? 未知， ? ? 0 ．
我们的任务是根据样本 ，来估计 ? 的取值，从
而估计总体的分布．
非参数估计： 不假定数学模型，直接用已知类别
的学习样本的先验知识直接估计数学模型。
2
第二章 参数估计
? 总体X的分布形式已知，但含有未知参数。
? 由样本来推断（估计）其中的未知参数 ——参数 估计。
k价样本矩
? Ak
?
1 n
n i?1
X
k i
ak ? E(Xk)
设总体X的分布函数为F(x;? 1, ? 2, ...,?m),其中? 1, ? 2,...
? m为待估参数,如果 ak=E(X k) (k=1,2,..,m )存在, ak为? 1,
? 2 , …,? k的函数,记ak= ak(? 1, ? 2 , …,? k) (k=1,2,..,m ), X1,
并都简记为
? ?
.
? 参数? 的估计量 ? 是样本X1, X2 ,..,Xn的函数.
?点估计常用方法: 矩估计法; 极大似然估计法.
4
通过总体的一个样本来估计总体未知参数的值 的问题称为 参数的点估计问题。 ．
2.1.1．矩法估计
样本矩是描述随机变量的最简单的数字特征，它在 一定程度上反映总体的特征．这种用样本 (原点)矩作为 总体(原点)矩的估计量的方法称为矩估计法．
回顾
? 数理统计 ：由部分信息（带有随机性的数据） 推断出合理的结果 ——统计推断 。
? 样本与总体 ? 总体的分布 ——统计模型 ，统计建模的目的即
确定 X的分布、参数等 ? 参数与参数空间 ? 直方图与经验分布函数 ? 统计量及其分布 ? 三种重要的 抽样分布
1
参数估计与非参数估计
参数估计： 先假定研究的问题具有某种数学模型， 如正态分布，二项分布，再用已知类别的学 习样本估计里面的参数。如 :
? 点估计：? ? ? ( X1 , X2 ,..., Xn )，这是一个统计量，此 处称为估计量，而 ? ? ? ( x1, x2 ,..., xn ) 称为估计值。
? 区间估计：由两个统计量 ??1 ? ??1 ( X1, X2 ,..., Xn ) 和 ??2 ? ??2 ( X1, X2 ,..., Xn )构成一个区间，使
X2 , …,Xn为总体X的样本,用Ak来估计E(X k),建立m个方程:
用?? i作为? i的估计量------矩估计量.
A1= a1(? 1, ? 2 , …,? m)
A2= a2(? 1, ? 2 , …,? m) …………….
Am= am(? 1, ? 2 , …,? m)
?
? ?
1=
?
1(A1, A2 ,
X
k i
Βιβλιοθήκη Baidu
?
ak
亦即，当 n较大时，样本原点矩与总体矩非常接
近。据此可得：
? 矩估计法 ：若总体X中含有m个参数
?1 ,? 2 ,...,? m
X的真实k阶矩 (k ? m) 存在，且为 a k ，
显然，ak ? ak (?1,? 2 ,...,? m ), k ? 1,2,..., m为θ的函数。
7
a1 ? E(X) ? p
p? ? A1 ? X
(2)若总体X~b(N, p), 则未知参数 p ,N的矩估计量为
? Xn ??P? X, 是指依概率 P收敛；
?
?
?
0, lim P{| n? ?
Xn
?
X
|?
?}
?
1
? 还有依分布 F收敛 Xn ??W? X, （弱收敛） ? 以概率1收敛一定依概率收敛，但反之不一定成
立。
6
? 若 E( X k ) ? a k（X的k阶矩存在），也有
? 1
n
n i?1
a .e.
P{??1 ? ? ? ??2 } ? 1 ? ?
，其中 ? 事先给定。
3
2.1 点估计
设总体X的分布函数的形式为已知,?为总体的待估计的参 数. X1, X2 ,..,Xn是X的一个样本,x1, x2, …,xn是相应的样本值.
计未称量知点??参(?估?x数1计(,X?x问12的,, 题X…近2,就,似x…n是)值,X为用.n)的样,称用?本它估X??1的计,(XX观值21,,察.X…2值,,X…n??构,(X造xn1),一为x2个,?…适的,x当估n)的计作统量为. 在不致混淆的情况下 ,估计量和估计值统称估为估计 ,