三章参数估计ParametricEstimation

会有多项分布,
p( x1,..., xm | p1,..., pm )
n!
m
m
p
xi i
xi ! i1
i 1
m
m
l ( p1,..., pm ) log( n!) log xi! xi log pi
i 1
i 1
m
pi 1
i 1
m
m
m
l( p1,...,pm,) log(n!) logxi! xi logpi ( pi 1)
1.点估计的基本概念(Point Estimator)
点估计: 就是由样本x1,x2,…xn确定一个统计量
gx1,x2,,xn
用它估计总体的未知参数，称为总体参数的估 计量。当具体的样本抽出后，可求得出样本统 计量的值。用它作为总体参数的估计值，称作 总体参数的点估计值。
2.两种基本的点估计方法
• （1）总体的方差越大，需要的样本量越大。 • （2）样本量n和置信区间长度的平方成反比。 • （3）置信度越高，样本量越大。
样本量的确定
需要考虑问题：
➢ (1)要求什么样的精度？即我们想构造多宽的区间？ ➢ (2)对于构造的置信区间来说，想要多大的置信度？即我
k
阶中心矩。
矩法估计： V ^ k Ak, U ^ k Bk
这 是k包 个含 未 知 1， 参 ， k 数 的 联 立 方
A1 11 ，2 ， ，k
A2
21 ，2 ， ，k
Ak k 1 ，2 ， ，k
从中解出方,记 程为 组 ˆ1， 的 ，ˆ解 k,即
ˆˆ21
ˆ1 ˆ2
X1 ，X2 X1 ，X2
置信区间的含义
样本分布 /2
区间 （X ZX ，X + ZX ）
1 -
_
x
/2
_
x =
X
该随机区间以(1 - ) % 包含,以
% 不包含.
构造置信区间的一般方法 (pilot function)
枢 • 1轴 . 量 定 义 ： 的从一 个 点 估 计 出 发 造， 构 G(,ˆ),它 的 分 布 不 依 赖 于 计待 参估 数 ， 称
(ba)2
(ab)2
12
4
令
ab 2 A1
即ab2A 1,
(ba)2 (ab)2
12
4
A2
ba 1(2A2A12)
例2（续）
即 a b 2 A 1 , b a 1(A 2 2 A 1 2 )
解得：
a ˆA 1 3(A 2A 1 2)X
3n ni1(Xi
X)2
b ˆA 1 3(A2A 1 2)X
XZ
2
n,XZ2
n 中的σ用 S近似
（1） n≥30时，只需将σ2由S2代替即可.
( 2 ) n<30时，由 t X ~t(n1)
Sn
所以
P{t t/2}1
即
P{t/2S Xn t/2}1
单个总体参数的区间估计举例
[例9]某大学从该校学生中随机抽取30人， 调查到他们平均每人每天完成作业时间 为120分钟，样本标准差为30分钟，试 以95％的置信水平估计该大学全体学生 平均每天完成作业时间。
若 E X k 存在，则称之为 X 的 k 阶原点矩。记作V k
若E
XEX
k 存在，则称之为
X
的
k
阶中心矩。记作 U k
称
Ak
1 n
n i 1
X
k i
为样本的 k
阶原点矩。
称
Bk
1 n
n i1
Xi
X
k
为样本的
k
阶中心矩。
矩法估计： V ^ k Ak, U ^ k Bk
2 点估计的常用方法
• 矩估计(Moment Estimator) • 极大似然估计
(Maximum Likelihood estimator)
• 多项分布的极大似然估计 • 极大似然估计的渐进分布 • 极大似然估计的置信区间解法
2 点估计的常用方法
1） 矩估计法
设X 是一随机变量， X1,X2,......Xn是它的一个样本。
pˆ Z/2
pˆ (1 n
pˆ)
p
pˆ Z/2
pˆ (1 pˆ) n
.081.96 .08(1.08) p.081.96 .08(1.08)
400
400
.053 p.107
样本量 由
Z
在总体均值的区间估计时，半置信区间的宽度为：
2
n
•
1、正态：
n
Z
/ 22
2
2
XZ/2
n,XZ/2
n
• 2、比例：nZ/22p(21p)
3n ni1(Xi
X)2
A2
A12
1 n
n i1
Xi2
X21( n n i1
Xi2
nX2)
1 n
n i1
(Xi
X)2
2 点估计的常用方法
2）．极大似然估计法
设总体X的概率分布为Px;或概率密度为 px;
其中是未知参数。
如何求极大似然估 计量呢？
2. 点估计的常用方法-极大似然估计
2. 点估计的常用方法-极大似然估计
U
X
~
N(0,1)
n
根据区间估计的定义，在1－α置信度下，总体均 值μ的置信区间为：
P {U 2U 1 2}1
单个总体参数的区间估计
• 即：
从而有
P{Z 2
XZ2}1
n
P {XZ 2nXZ 2n}1
即在1－α置信度下，μ的置信区间为：
[XZ 2
n,XZ2
] n
注意:有很多满足置信度的置信区间
P { U 0 .5 U 1 0 .5 } x1 _
i1
i1
i1
l( p1,...,pm,)
pi
xi pi
0 pi
xi
,i 1,...,m
m
i1
pi
1 m xi
i1
1 n
pˆi
xi n
例7:Hardy-Weinberg平衡定律
假定基因的频率在自然界是固定的,基因类型三 类:AA,Aa,aa,它们出现的可能性为 (1)2,2(1),2 其中 是父代为A的可能性, 1 是父代为a的可能性
， ，
， Xn ， Xn
ˆk ˆk X1 ，X2 ， ，Xn
用 ˆ1， ， ˆk分别1， 作 ， 为 k的估计量，
这种求估计量的方为法矩称估计.法
矩估计的原理： 1. 经验分布趋向于理论分布; 2. 由辛钦大数定律知
Al
1 n
n i1
Xil
P
l,
l1,2,,k.
所以 A l 我 l, l 们 1 , ,k ,用 令 A l估 l.计
1） 矩估计法
设X 是一随机变量， X1,X2,......Xn是它的一个样本。
若 E X k 存在，则称之为 X 的 k 阶原点矩。记作V k
若E
XEX
k 存在，则称之为
X
的
k
阶中心矩。记作 U k
称
Ak
1 n
n i 1
X
k i
为样本的 k
阶原点矩。
称
Bk
1 n
n i1
Xi
X
k
为样本的
✓X = / n
✓3. 置信水平 (1 - )
✓Affects Z
X - ZX toX + ZX
© 1984-1994 T/Maker Co.
单个总体参数的区间估计
[例8]
已知某零件的直径服从正态分布，从该批产 品中随机抽取10件，测得平均直径为 202.5mm，已知总体标准差σ=2.5mm，试建 立该种零件平均直径的置信区间，给定置信 度为0.95。
解：已知 X~N(,2)
X =202.5, n=10, 1－α=0.95
[XZ 2
n,XZ2
] n
单个总体参数的区间估计
20 .5 2 1 .9 62 1 .5,0 20 .5 2 1 .9 62 1 .5 0
即
计算结果为： [200.95,204.05]
单个总体参数的区间估计
σ2未知时
3.置信区间估计的基本概念
(Confidential Interval)
• 枢轴量的概念 • 小样本置信区间求法 • 拔靴法置信区间求法
3. 置信区间估计
置信区间估计的概念
p(x,)
x1,x样2,本,xn
置信度1-α
ˆ1(x1,x2,,xn) ˆ2(x1,x2,,xn)
使得
P { ˆ 1 ( x 1 ,x 2 , ,x n ) ˆ 2 ( x 1 ,x 2 , ,x n ) } 1
本章大纲
• 点估计的基本概念 • 两种基本的点估计方法
• 矩估计 • 极大似然估计
• 多项分布的极大似然估计 • 极大似然估计的渐进分布
• 置信区间估计的基本概念 • 枢轴量的概念 • 小样本置信区间求法
• 极大似然估计的置信区间解法
• 有效估计和C-R下界 • 充分统计量
• 因子分解定理 • 量 定， 两选 个 常c和 数d， 在
给 定 的 置 信 水 ，平有P{cG(,ˆ) d}1 利 用 以 上 不 等 式ˆL解出ˆU
单一总体参数的区间估计
一.总体均值的区间估计
总体服从正态分布,σ2已知时,当
X 1, ,X ni.i.d.~N (,2)时，X~N(,2/n)
第三章 参数估计
Parametric Estimation
数理统计课题组
本章大纲
1.点估计的基本概念 2.置信区间估计的基本概念 3.两种基本的点估计方法 4.有效估计和C-R下界 5.充分统计量
学习目标
• 参数估计解决问题的基本思想; • 几种点估计方法的优缺点; • 常见点估计的评价; • 掌握大样本极大似然估计的近似分布; • 置信区间估计的定义和常用求法; • 点估计与置信区间估计的主要区别.
AA Aa aa 合计 342 500 187 1029
需要给出父代 的MLE.
解: 对数似然函数为
3
3
l() log(n!) logxi! xi logpi ()
i1
i1
3
log(n!) logxi!x1log(1)2 x2 log2(1) x3 log2 i1
3
log(n!) logxi!(2x1 x2)log(1) x2 log2(x2 2x3)log i1
解： 1EX ,
令 X,
1 n
A1 n i1 Xi X
则ˆ x 1(0 7 5 1 9 0 6 1 )1 .22
250
所 以 估ˆ计 1值 .2。 2
例2 设总 X~U 体 [a,b]a ,,b未,X 知 1,,Xn是一,个 求：a, b的矩估计量。
解：1
2
ab EX ,
2
EX2VarX(EX)2
解：1-α=0.95 tα/2=2.04
X 120S30 30 在95％的置信度下，μ的置信区间为
Xt/2
Sn,Xt/2
S n
单个总体参数的区间估计
二.总体方差的区间估计
由于 (n1)s2 ~2(n1) 2
p 1(n 12)S2
2 1
即 P (n 1 2)S22(n 1 1)S2 1
(n1)S2，(n1)S2
2
1
比例的置信区间的例子
• 400个毕业生中有32名进入研究生学习，构 造 p 的95% 置信区间估计：
•R程序:
•p.hat=32/400 •n=400 •alpha=0.05 •L=p.hat-qnorm(1-alpha/2,0,1)*sqrt(p.hat*(1-p.hat)/n) •U=p.hat+qnorm(1-alpha/2,0,1) *sqrt(p.hat*(1-p.hat)/n)
令 含多个参数
1,2,,m
1 ,2, ,m *1 * ,2 * , ,m *
最大似然解
ln L 0
* 或
L 0
*
似然方程
多项分布参数的极大似然估计
很多情况下, 假定一个变量X可能取m个状态,m>2,
每个状态假定可能性为p1,…,pm,
m
p i 1, 独立进
行n次试验, 用Xi表示第i种状态出现i 的1 频数, X1,…,Xm
l() 2 X 1 X 2 2 X 3 X 2 0 2 X 3 X 2
1
2 ( X 1 X 2 X 3 )
ˆ 0.4247
极大似然估计的理论结果
n(I)(ˆml e) n N(0,1) I()Elog p(x(,))2E2log p2(x(,))
极大似然估计的分布有渐进的正态分布
例1 设某少年儿童出版社每本书发生错字的次数X服从
参 数的 为泊 松 分 未布 知， ， 现2抽 5本 0查
新 出 版 不 同,得 的到 的以 图下 书 ,试样 估本 计
参 数 （ 用 矩 估 计 法 ） 。
错字 k 数 0 为 12 3456
错字 k 的 数 书 n k 7 为 本 5 90 5数 4 22 621 25
-2.58x -1.65x
X +1.65x +2.58x
-1P .9{ 6U 0 x.7 5 U 1 0 .2 + 1} 5 .9 61 x
P { U 0 .2 5 U 1 0 .7 } 5 1
影响到区间精度的量
✓1. 数据的分布离散程度
✓Measured by
✓2. 样本容量
其1 中 1 2 2 ( n 1 ) ， 2 2 2 (n 1 )
单个总体参数的区间估计
所以在1-α置信度下：
其1 中 1 2 2 ( n 1 ) ， 2 2 2 (n 1 )
σ2的置信区间
(n1)S2
2
， (n1)S2
1
总体标准差σ 的置信区间为