中国矿业大学周圣武概率论与数理统计

pi p(xi,) ，其中θ未知。
X1,X2, ,Xn为X 的样本，x1,x2, ,xn 为X 的样本值，
n
P {X 1x 1 ,X 2x2, ,X nxn } p (xi, )
i 1 n
Lpxi, 称为似然函数。
i1
当 LˆmL a x时，称
表示取到样本值 x1, , xn 的概率
ˆ(X1, ,Xn) 称为θ的最大似然估计量；
ˆ 1
n
n i1
Xi
X
(2)X为连续型总体 设X的概率密度为f(x,θ), θ未知，
X1,X2, ,Xn为X 的样本，x1,x2, ,xn 为样本值，
则 X1,,Xn 的联合密度为
L()L(x1, ,xn;ˆ)n f ( xi ; ) i 1
称为似然函数
求 ˆ ， 使 L (x 1 , ,x n ;ˆ) m a x L (x 1 , ,x n ;)
ˆ
1 n
n i 1
Xi
ˆ2
1 n
n i1
(Xi
X)2
n
1 n
S
2
⑵若X为离散型随机变量，设其分布律为
p i P { X x i } p ( x ,1 ,,s ) ,1 ,,s 未 知
令
A1 1
A
2
2
A s s
其中 X1, ,Xn 为样本，
Ak
1 n
n i1
X
k i
n
kE(Xk) xikp(xi,1, s)
且具有数学期望 E (X i),i 1 ,2 ,
则对任意ε>0，有
lni m P1nin1
Xi
1
K.皮尔逊 辛钦
命题 若总体X 的 k 阶矩 E(Xk) k 存在，
X1,X2, ,Xn为X的样本，则
Ak
1 n
n i1
Xik
P k
证 X1,X2, ,Xn 独立、 同分布
X1k,X2 k, ,Xn k 独立、 同分布
解
1E(X)0 1x(1)xdx
1 2
令
A1
1 n
n i1
Xi
X
A1 1 ， 则
1 X 2
α的矩估计量为
ˆ 2 X 1 .
1 X
例2 设总体 X ~ N (, 2 ),X 1 ,X 2 ,X n 为X 的
一个样本，求 , 2 的矩估计量。
Answer:
ˆ
1 n
n i 1
1E (X) xf(x;,)dx xexdx
2E (X 2) x2f(x;, )d x x 2ex dx2222
所以
1
n
n i1
1n n i1
X
2 i
Xi 2 2 2
2
解得参数θ和μ的矩估计量为
ˆ n1S , ˆX n1S
n
n
⑵ 设x1, x2, …, xn是X1, X2, …, Xn的样本值，则
1
1/4 27/64
2
2/4
3
3/4
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
1
1/4 27/64 27/64
2
2/4
3
3/4
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
1
1/4 27/64 27/64 9/64
2
2/4
3
3/4
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
注：特殊的似然函数通过求导得不到其最值点， 需要用似然估计的思想来求。
例12 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
f(x;,)1ex, x, ,0 0, x.
求 ⑴ 参数 θ和μ的矩估计量；
⑵ 参数 θ和μ的最大似然估计量。
解
⑴令
A1 A2
1 2
其 中 A1X， A21 ni n1Xi2
Xi
ˆ 2 n 1 S 2
n
例3 设总体X ~ U ( a ,b ),a ,b 未 知 ， X 1 ,X 2 ,X n
为X 的一个样本，求 a , b 的矩估计量。
aˆ X
3 n
n i1
(Xi
X)2
bˆX
3n n i1
(Xi
X)2
例4 设 X1,X2 ,Xn为X 的一个样本，求X 的数
学期望 和方差2的矩估计量。
例13 设总体X的分布律为 X 1 2 pk
其中参数 0 未知，现有一组样本值
3
12
1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2
试求θ的极大似然估计值。
解
n
L() p(xi,)
xi,i1 ,2, ,n，故 m in{x1, ,xn}
当 m in{x1, ,xn}时L 取到最大值
从而参数θ和μ的最大似然估计值分别为
ˆm in{x1, ,xn}
ˆ1 ni n1(xiˆ)xm in{x1, ,xn}
所以参数θ和μ的最大似然估计量分别为
ˆm in {X 1, ,X n} ˆXm in {X 1, ,X n}
X ~()，求参数λ的最大似然估计量。
解 P{Xxi}xxiei! ,xi 0,1,
似然函数为: L() n exi
i1 xi !
n
lnL() (xklnlnelnxk!) k1 n (xklnlnxk!) k1
dlnL() n (xk 1)0
d k1
ˆ
1 n
n i1
xi
x
最大似然估计量为
E ( X i k ) E ( X k ) k ,i 1 ,2 , ,n
辛钦大数定律
Ak
1 n
n i1
Xik
Pk
矩估计的基本思想：令
Akk k1,2,
⑴若X为连续型随机变量，设概率密度为
f(x ,1 , ,s ), 1 , ,s 未 知
令
A1
1
A2
2
A s s
其中 X1, ,Xn 为X的样本，
似然函数为
L(,
n
)
f(xi; ,
) e n
1n(xi) i1
i1
其中 xi,i1 ,2, ,n
当 令
xi ln,Li 1 ,12 l2,niLn1,(n x时inln0)Lnnl0n1i n1(xi )
第二个似然方程求不出θ的估计值，观察 ln L n 0 ，表明L是μ的严格递增函数，又
axi b,
0,
others.
所以 am in (x1,x2, xn) bm ax(x1,x2, xn)
所以 L(a,b)(b 1a)n(m inb 1m axa)n
则要使得 L ( a , b ) 取最大值 am in (x1,x2, xn) bm ax(x1,x2, xn)
a ˆm in(x1,x2, xn) b ˆm ax(x1,x2, xn)
ˆ(x1, ,xn) 称为θ的最大似然估计值。
具体算法：
令
n
Lpxi,
i1
两边取对数
n
lnLlnpxi,
令
i1
dlnL 0
d
ˆg(x1, ,xn)
例7 设X1,X2,…Xn是取自总体 X~b(1, p) 的一个 样本，求参数p的最大似然估计值。
pˆ
1 n
n i1
xi
x
例8 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
第一节 点 估 计
一 、点估计问题的一般提法 二 、矩估计法 三 、最大似然估计法
第七章
点估计问题的提出
设 总 体 X 的 分 布 函 数 为 F(x;θ), θ 为 待 估 计 参 数 ， X1,X2,…,Xn是X的样本， x1, x2,…, xn是相应样本值。
Question：如何利用这些信息估计参数θ？
ˆ(X1, ,Xn) 称为θ的最大似然估计量； ˆ(x1, ,xn) 称为θ的最大似然估计值。
例9 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
X ~ E()，求参数λ的最大似然估计值。
解 f(x;)ex, x0,
0,, x0.
0
n
似然函数 L() f (xi,) i1
n
xi
1 e(x2 2)2,x
2
n
L( , 2)
1 e(x2i 2)2
i1 2
ln L (, 2 ) n 2 ln 2 n 2 ln2 2 1 2i n 1 (x i)2
令
lnL
1
2
[n
n i1
xi
]
0
lnL
2
2n2
1
24
n
(xi
i1
)2
0
所以 , 2 的最大似然估计值为
X为3次抽样中抽得的白球数，则
X~b3,p, p m/ 4
当袋中白球数m分别为1,2,3时， p对应的值分别为1/4,2/4,3/4，
X对应的分布律见下表
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
1
1/4
2
2/4
3
3/4
袋中白 球数m p
抽到白球数x x=0 x=1 x=2 x=3
概率论与数理统计
周圣武 中国矿业大学 理学院
第七章 参数估计
§7.1 点估计 §7.2 估计量的评选标准 §7.3 区间估计 §7.4 单个正态总体参数的区间估计 §7.4 两个正态总体参数的区间估计
统计推断
矩估计
点估计 最大似然估计
参数估计
最小二乘估计
区间估计
参数假设检验 假设检验
非参数假设检验
Answer:θ的矩估计量不存在。
2.最大似然估计法
◆ 1821年,德国数学家高斯提出最大似然 估计法；
◆ 1922年,费歇重新发现了这一方法， 并研究了这种方法的统计性质 。
Gauss
Fisher
例子: 有两外形相同的箱子,各装100个球 甲箱 99个白球 1 个红球 乙箱 1 个白球 99个红球
ˆ
1 n
n i1
xi
x
ˆ 2
百度文库
1 n
n i1
(xi
)2
n 1s2 n
例11 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
X~U(a,b)，求参数 a , b 的最大似然估计值。
解 f (x;a,b)b1a, axb, 0,, others.
似然函数
1/(ba)n, L(a,b)
Ak
1 n
n i1
X
k i
k E (X k) x kf(x ,1 , ,s)d x
解出 ˆ i g i( X 1 ,X 2 , ,X n ),i 1 ,2 , ,s
称为θ的矩估计量。
例1 设总体X 的概率密度为
(1)x, 0x1 其中 1
f(x) 0,
其它 是未知参数,
X1,X2,…,Xn是取自X 的样本,求参数α的矩估计量.
Answer：构造一个适当的统计量 (X1,X2, ,Xn)
用它的观察值 (x1,x2, ,xn) 作为θ的
近似值。
(X1,X2, ,Xn)称为θ的估计量，
(x1,x2, ,xn) 称为θ的估计值。
1.矩估计法
由英国统计学家K.皮尔逊提出.
理论依据：辛钦大数定律
设随机变量序列X1 , X2 , … 独立同分布，
1
1/4 27/64 27/64 9/64 1/64
2
2/4
3
3/4
袋中白 球数m p
1
1/4
2
2/4
3
3/4
抽到白球数x x=0 x=1 x=2 x=3 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64
袋中白 球数m p
1
1/4
2
2/4
3
3/4
抽到白球数x x=0 x=1 x=2 x=3 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64 1/64 9/64 27/64 27/64
A1x11611
27
4
1 E ( X ) 1 2 3 ( 1 2 ) 3 3
令 A1 1,
3 3 7
4
θ的矩估计值为 ˆ 5 12
Question: 设X的概率密度为
fx ; 1 2x2, 0 , x
设 X1, X2,…,Xn为X的样本，求参数θ的矩估计量。
e , n
i1
xi 0,
i1,2,
,n
0,
xi 0.
当L() 0时
n
lnL()nlnxi
令
i1
d ln L() 0 d
n
n i1
xi
0
所以 ˆ 1 . x
例10 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
X ~N(,2)，求参数 , 2 的最大似然估计值。
解
f(x;,2)
袋中白 球数m p
1
1/4
2
2/4
3
3/4
抽到白球数x x=0 x=1 x=2 x=3 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64 1/64 9/64 27/64 27/64
当p=3/4时，P{X=2}的概率最大， 估计袋中白球个数为3比较合理。
其分布律为 ⑴ X 为离散型总体
i1
解出 ˆ i g i( X 1 ,X 2 , ,X n ),i 1 ,2 , ,s
例5 设总体X的分布律为 X 1 2 pk
其中参数 0 未知，现有一组样本值
3
12
1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2
试求θ的矩估计值。
解
n 16,
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.
问: 所取的球来自哪一箱？
答: 甲箱.
最大似然法的基本思想：
问题：请推断兔子 是谁打中的？
例6 袋中放有白球和黑球共4个，今进行3次有放回 抽样，每次抽取1个，结果抽得2次白球1次黑球，试 估计袋中白球个数。 解 设袋中白球个数为m，