中国矿业大学周圣武概率论与数理统计

Answer：构造一个适当的统计量 (X1,X2, ,Xn)
用它的观察值 (x1,x2, ,xn) 作为θ的
近似值。
(X1,X2, ,Xn)称为θ的估计量，
(x1,x2, ,xn) 称为θ的估计值。
1.矩估计法
由英国统计学家K.皮尔逊提出.
理论依据：辛钦大数定律
设随机变量序列X1 , X2 , … 独立同分布，
Xi
ˆ 2 n 1 S 2
n
例3 设总体X ~ U ( a ,b ),a ,b 未 知 ， X 1 ,X 2 ,X n
为X 的一个样本，求 a , b 的矩估计量。
aˆ X
3 n
n i1
(Xi
X)2
bˆX
3n n i1
(Xi
X)2
例4 设 X1,X2 ,Xn为X 的一个样本，求X 的数
学期望 和方差2的矩估计量。
E ( X i k ) E ( X k ) k ,i 1 ,2 , ,n
辛钦大数定律
Ak
1 n
n i1
Xik
Pk
矩估计的基本思想：令
Akk k1,2,
⑴若X为连续型随机变量，设概率密度为
f(x ,1 , ,s ), 1 , ,s 未 知
令
A1
1
A2
2
A s s
其中 X1, ,Xn 为X的样本，
X为3次抽样中抽得的白球数，则
X~b3,p, p m/ 4
当袋中白球数m分别为1,2,3时， p对应的值分别为1/4,2/4,3/4，
X对应的分布律见下表
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
1
1/4
2
2/4
3
3/4
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
第一节 点 估 计
一 、点估计问题的一般提法 二 、矩估计法 三 、最大似然估计法
第七章
点估计问题的提出
设 总 体 X 的 分 布 函 数 为 F(x;θ), θ 为 待 估 计 参 数 ， X1,X2,…,Xn是X的样本， x1, x2,…, xn是相应样本值。
Question：如何利用这些信息估计参数θ？
Ak
1 n
n i1
X
k i
k E (X k) x kf(x ,1 , ,s)d x
解出 ˆ i g i( X 1 ,X 2 , ,X n ),i 1 ,2 , ,s
称为θ的矩估计量。
例1 设总体X 的概率密度为
(1)x, 0x1 其中 1
f(x) 0,
其它 是未知参数,
X1,X2,…,Xn是取自X 的样本,求参数α的矩估计量.
ˆ(x1, ,xn) 称为θ的最大似然估计值。
具体算法：
令
n
Lpxi,
i1
两边取对数
n
lnLlnpxi,
令
i1
dlnL 0
d
ˆg(x1, ,xn)
例7 设X1,X2,…Xn是取自总体 X~b(1, p) 的一个 样本，求参数p的最大似然估计值。
pˆ
1 n
n i1
xi
x
例8 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
且具有数学期望 E (X i),i 1 ,2 ,
则对任意ε>0，有
lni m P1nin1
Xi
1
K.皮尔逊 辛钦
命题 若总体X 的 k 阶矩 E(Xk) k 存在，
X1,X2, ,Xn为X的样本，则
Ak
1 n
n i1
Xik
P k
证 X1,X2, ,Xn 独立、 同分布
X1k,X2 k, ,Xn k 独立、 同分布
axi b,
0,
others.
所以 am in (x1,x2, xn) bm ax(x1,x2, xn)
所以 L(a,b)(b 1a)n(m inb 1m axa)n
则要使得 L ( a , b ) 取最大值 am in (x1,x2, xn) bm ax(x1,x2, xn)
a ˆm in(x1,x2, xn) b ˆm ax(x1,x2, xn)
概率论与数理统计
周圣武 中国矿业大学 理学院
第七章 参数估计
§7.1 点估计 §7.2 估计量的评选标准 §7.3 区间估计 §7.4 单个正态总体参数的区间估计 §7.4 两个正态总体参数的区间估计
统计推断
矩估计
点估计 最大似然估计
参数估计
最小二乘估计
区间估计
参数假设检验 假设检验
非参数假设检验
Answer:θ的矩估计量不存在。
2.最大似然估计法
◆ 1821年,德国数学家高斯提出最大似然 估计法；
◆ 1922年,费歇重新发现了这一方法， 并研究了这种方法的统计性质 。
Gauss
Fisher
例子: 有两外形相同的箱子,各装100个球 甲箱 99个白球 1 个红球 乙箱 1 个白球 99个红球
1
1/4 27/64 27/64 9/64 1/64
2
2/4
3
3/4
袋中白 球数m p
1
1/4
2
2/4
3
3/4
抽到白球数x x=0 x=1 x=2 x=3 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64
袋中白 球数m p
1
1/4
2
2/4
3
3/4
抽到白球数x x=0 x=1 x=2 x=3 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64 1/64 9/64 27/64 27/64
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.
问: 所取的球来自哪一箱？
答: 甲箱.
最大似然法的基本思想：
问题：请推断兔子 是谁打中的？
例6 袋中放有白球和黑球共4个，今进行3次有放回 抽样，每次抽取1个，结果抽得2次白球1次黑球，试 估计袋中白球个数。 解 设袋中白球个数为m，
ˆ
1 n
n i1
xi
x
ˆ 2
1 n
n i1
(xi
)2
n 1s2 n
例11 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
X~U(a,b)，求参数 a , b 的最大似然估计值。
解 f (x;a,b)b1a, axb, 0,, others.
似然函数
1/(ba)n, L(a,b)
e , n
i1
xi 0,
i1,2,
,n
0,
xi 0.
当L() 0时
n
lnL()nlnxi
令
i1
d ln L() 0 d
n
n i1
xi
0
所以 ˆ 1 . x
例10 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
X ~N(,2)，求参数 , 2 的最大似然估计值。
解
f(x;,2)
似然函数为
L(,
n
)
f(xi; ,
) e n
1n(xi) i1
i1
其中 xi,i1 ,2, ,n
当 令
xi ln,Li 1 ,12 l2,niLn1,(n x时inln0)Lnnl0n1i n1(xi )
第二个似然方程求不出θ的估计值，观察 ln L n 0 ，表明L是μ的严格递增函数，又
ˆ 1
n
n i1
Xi
X
(2)X为连续型总体 设X的概率密度为f(x,θ), θ未知，
X1,X2, ,Xn为X 的样本，x1,x2, ,xn 为样本值，
则 X1,,Xn 的联合密度为
L()L(x1, ,xn;ˆ)n f ( xi ; ) i 1
称为似然函数
求 ˆ ， 使 L (x 1 , ,x n ;ˆ) m a x L (x 1 , ,x n ;)
xi,i1 ,2, ,n，故 m in{x1, ,xn}
当 m in{x1, ,xn}时L 取到最大值
从而参数θ和μ的最大似然估计值分别为
ˆm in{x1, ,xn}
ˆ1 ni n1(xiˆ)xm in{x1, ,xn}
所以参数θ和μ的最大似然估计量分别为
ˆm in {X 1, ,X n} ˆXm in {X 1, ,X n}
A1x11611
27
4
1 E ( X ) 1 2 3 ( 1 2 ) 3 3
令 A1 1,
3 3 7
4
θ的矩估计值为 ˆ 5 12
Question: 设X的概率密度为
fx ; 1 2x2, 0 , x
设 X1, X2,…,Xn为X的样本，求参数θ的矩估计量。
1 e(x2 2)2,x
2
n
L( , 2)
1 e(x2i 2)2
i1 2
ln L (, 2 ) n 2 ln 2 n 2 ln2 2 1 2i n 1 (x i)2
令
lnL
1
2
[n
n i1
xi
]
0
lnL
2
2n2
1
24
n
(xi
i1
)2
0
所以 , 2 的最大似然估计值为
例13 设总体X的分布律为 X 1 2 pk
其中参数 0 未知，现有一组样本值
3
12
1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2
试求θ的极大似然估计值。
解
n