第一节--点估计和估计量的求法

都是这 k 个参数的函数,记为：
数理统计
μ i μ i(θ 1 ,θ 2 ,L ,θ k ) i=1,2, … ,k
从这 k 个方程中解出
θjθj(μ 1,μ 2,L,μ k) j=1,2,…,k
那么用诸 μ i 的估计量 Ai 分别代替上式中的诸 μ i ,
即可得诸 θ
的矩估计量 ：
j
θ ˆjθj(A 1,A 2,L,A k) j=1,2,…,k
x
2,P
2
,
1 4
9 64
P
2
,
3 4
27 ,取 64
µp
3更合 4
理；
x 3类 似 ；
于
是
有
：
ˆp
x
1 4
x 0 ,1
3 4
x 2,3
数理统计
最大似然原理：
对每个x,取µpx,使P x;µpx Px;p',
P'是不同于ˆpx的另一值；
数理统计
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
参数估计
区间估计
数理统计
数理统计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N(,0.12)）
现从该总体选取容量为5的样本，我们的任
务是要根据选出的样本（5个数）求出总体均值
的估计. 而全部信息就由这5个数组成 . 设这5个数是:
1.65 1.67 1.68 1.78 1.69
估计 为1.68， 这是点估计. 估计在区间 [1.57, 1.84] 内，这是区间估计.
作出推断
统计量
研究统计量的性质和评价一个统计推断的 优良性，完全取决于其抽样分布的性质.
参数估计
数理统计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数.
估计新生儿的体重
估计废品率 估计湖中鱼数
在参数估计问题
估计降雨量 中，假定总体分 布形式已知，未
解 μ1EX μ
μ2EX2 D (X)[E(X)]2σ2 μ2
解得
μ μ1 σ2μ2μ12
于是 μ , σ 2 的矩估计量为
数理统计
总体矩
µμA1 X
σ ¶2A 2A 1 2n 1i n1Xi2X2
1 n
n i1
(Xi
X)2
样本矩
数理统计
例4 ：设总体X的密度为：
fx x1
0
0x1 0为未知参数，
… 知的仅仅是一个 … 或几个参数.
参数估计问题的一般提法
数理统计
设有一个统计总体 , 总体的分布函数为
F( x, ) ，其中为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计
的某个已知函数 g( ).
这类问题称为参数估计.
点估计
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
数理统计
稍事休息
数理统计
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
作为 的估计值 . T(X1,X2,…Xn) 称为参数 的点估计量， 把样本值代入T(X1,X2,…Xn) 中，得到 的一个点
估计值 .
数理统计
我们知道,若 X~Nμ,σ2 ,则 E(X)μ.
由大数定律,
样本体重的平均值
ln i m P{n 1| i n1Xi |}1
自然想到把样本体重的平均值作为总体平均体重的
一个估计.
用样本体重的均值 X 估计 μ .
类似地，用样本体重的方差 S2 估计σ2.
X
1 n
n i1
Xi ,
S2 n11in1(Xi X)2
数理统计
问题是:
使用什么样的统计量去估计 ？
可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
这个例子所作的推断已经体现了极大似然法的 基本思想 .
考察以下例子：
数理统计
假设在一个罐中放着许多白球和黑球，并
假定已经知道两种球的数目之比是1:3，但不
知道哪种颜色的球多。如果用返回抽样方法从
罐中任取n个球，则其中黑球的个数为x的概
率为：
P x ;p n x p x q n x , 其 中 q 1 p ,由 假 设 知 ， p 1 4 或 3 4
n i1
Xik
k=1,2,…
样本k阶中心矩
Bk n1in1(Xi X)k
它反映了总体k 阶矩的信息
它反映了总体k 阶 中心矩的信息
数理统计
统计量的观察值
x
1 n
n i1
xi
;
s2
1 n1
n i1
(xi
x)2
s
1 n1
n i1
(xi
x)2;
ak
1 n
n i1
xik
bk
1 n
n i1
(xi
数理统计
第一节 参数的点估计
点估计概念 求估计量的方法 课堂练习 小结 布置作业
数理统计
引言 上一讲，我们介绍了总体、样本、简
单随机样本、统计量和抽样分布的概念， 介绍了统计中常用的三大分布，给出了几 个重要的抽样分布定理 . 它们是进一步学 习统计推断的基础 .
总体
随机抽样
样 本 描述
数理统计
i 1
i 1
对p求导并令其为0，
数理统计
dld n L (p p)1 pi n 1xi1 1p(ni n 1xi)=0
得
pˆ
1 n
n i1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X 1,K,Xn)n 1i n1Xi X
数理统计
求最大似然估计(MLE)的一般步骤是：
这表明 , 当样本容量很大时 , 在统计上 , 可以用 用样本矩去估计总体矩 . 这一事实导出矩估计法.
定义 用样本原点矩估计相应的总体原点矩 , 又 用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点ห้องสมุดไป่ตู้计法称为矩估计法 .
理论依据: 大数定律 矩估计法的具体做法如下
设总体的分布函数中含有k个未知参数 θ1,θ2,L,θk, 那么它的前k阶矩 μ1,μ2,L,μk, 一般
一、点估计概念
数理统计
例1 已知某地区新生婴儿的体重 X~Nμ,σ2 ,
(μ,σ未知 )
…
随机抽查100个婴儿 ,得100个体重数据
10,7,6,6.5,5,5.2, …
而全部信息就由这100个数组成 .
据此,我们应如何估计 和 呢 ?
数理统计
为估计 :
我们需要构造出适当的样本的函数 T(X1,X2,…Xn) ， 每当有了样本，就代入该函数中算出一个值，用来
数理统计
例6 设总体 X ~N( μ , σ 2 ) , μ , σ 2 未知 . x1,K,xn 是来自 X 的样本值 , 试求 μ , σ 2 的最大似然估计量 .
解 X 的概率密度为
f(x)
1
(x)2
e 22 ,
x
2
似然函数为
n
L(μ,σ2)
1 e(x2 i σμ 2)2
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
(3) 求似然函数L() 的最大值点(常常转化为 求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
最大似然估计法就是用使 L( ) 达到最大值的 ˆ 去估计.
L(ˆ)maLx()
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ$(X1,K,Xn)称为 θ 的最大似然估计量 .
两点说明：
数理统计
1、求似然函数L() 的最大值点，可以应用 微积分中的技巧。由于ln(x)是 x 的增函数, lnL() 与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是的一个可微函数。通过
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
数理统计
数理统计
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
解：似然函数为:
L(p)= f (x1, x2,…, xn; p )
n
pxi (1p)1xi
i1
0 1 Xi ~ 1 p p
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
数理统计
对数似然函数为：
n
n
ln L (p ) x iln p )( (n x i)ln 1 (p )
若总体 X 的数学期望 EXμ有限, 则有
X
1 n
n i 1
Xi
P E(X)μ
Ak
1 n
n i1
Xik
P E ( X k ) μ k ( k 1 ,2 ,L )
g(A 1,A 2,L,A k) P g (μ 1 ,μ 2 ,L ,μ k) 其中 g 为连续函数 .
数理统计
x)k
k 1,2,L
k 1,2,L
请注意 :
数理统计
若 总 体 X的 k阶 矩 E(Xk)k存 在 ， 则 当 n 时 ，
Ak1 ni n1Xik pk k1,2,L.
事 实 上 由 X1,X2,L,Xn独 立 且 与 X同 分 布 ，
有 X1k,X2k,L,Xnk独 立 且 与 Xk同 分 布 ,E(Xik)k
若取n=3，如何通过x来估计p值
先计算抽样的可能结果x在这两种p值之下的概
率：
x 0 1 23
P
x,
3 4
1
64
9 64
27 64 27 64
P
x,
1 4
27
64
27 64
9 64
1 64
从上表看到：
数理统计
x
0,P
0,1 4
27 64
P
0
,
3 4
1 64
,取
µp
1 4
更
合
理
；
x 1 类似；
其他
X1,X2， L,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
数理统计
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
这里我们主要介绍前面两种方法 .
数理统计
几个常见统计量
复习
数理统计
样本平均值
样本方差
它反映了总体 方差的信息
X
1 n
n i1
Xi
它反映了 总体均值 的信息
S2n11in1(Xi X)2
n1 1i n1Xi2nX2
样本标准差 S n1 1i n1(Xi X)2
数理统计
样本k阶原点矩
Ak
1 n
ba
12(μ2 μ12)
解得
aμ1 3(μ2μ12) bμ1 3(μ2μ12)
于是 a , b 的矩估计量为
数理统计
总体矩
a$X
3n ni1(Xi
X)2
,
样本矩
b$X
3n ni1(Xi
X)2
数理统计
例3 设总体 X 的均值 μ 和方差σ 2 ( 0) 都存 在 , μ , σ 2 未知 . X1,K,Xn 是来自 X 的样本 , 试 求 μ , σ 2 的矩估计量 .
求解方程：
dlnL() 0 d
可以得到 的MLE .
若是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的MLE有时行不
通，这时要用最大似然原则来求 .
数理统计
下面举例说明如何求最大似然估计
例5 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的最大似然估计量.
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
数理统计
L() f (x1,x2,…, xn; )
L( )看作参数的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
矩估计量的观察值称为矩估计值 .
数理统计
例2 设总体 X 在 [ a , b ] 上服从均匀分布 ,
a , b 未知 . X1,K,Xn是来自 X 的样本 , 试求 a , b 的矩估计量 .
解
μ1EX
a
2
b
μ2EX2 D (X)[E(X)]2
(b a)2
(a b)2
12
4
即
a b 2μ1
k1,2,L,n 再 由 辛 钦 大 数 定 律 可 得 上 述 结 论 .
再 由 依 概 率 收 敛 性 质 知 ， 可 将 上 述 性 质 推 广 为
g(A1,A2,L,Ak) p g(1,2,L,k)
其 中 g为 连 续 函 数 .
这就是矩估计法的理 根论 据.
1. 矩估计法
数理统计
矩估计法是英国统计学家K.皮尔逊 最早提出来的 .