概率论与数理统计第七章-1矩估计法和极大似然估计法
合集下载
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
《概率论与数理统计》第七章
i 1
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
概率论与数理统计课后习题答案 第七章
习题 7.2 1. 证明样本均值 是总体均值
证:
的相合估计
由定理
知 是 的相合估计
2. 证明样本的 k 阶矩
是总体 阶矩
证:
的相合估计量
3. 设总体 (1)
(2)
是
的相合估计
为其样品 试证下述三个估计量
(3)
都是 的无偏估计,并求出每一估计量的方差,问哪个方差最小? 证:
都是 的无偏估计
故 的方差最小.
大?(附
)
解: (1) 的置信度为 的置信区间为
(2) 的置信度为 故区间长度为
的置信区间为
解得
四、某大学从来自 A,B 两市的新生中分别随机抽取 5 名与 6 名新生,测其身高(单位:厘米)后,算的
.假设两市新生身高分别服从正态分布:
,
其中 未知 试求
的置信度为 0.95 的置信区间.(附:
解:
.从该车床加工的零件中随机抽取
4 个,测得长度分别为:12.6,13.4,12.8,13.2.
试求: (1)样本方差 ;(2)总体方差 的置信度为 95%的置信区间.
(附:
解: (1)
(2) 置信度 的置信区间为
三、设总体
抽取样本
为样本均值
(1) 已知
求 的置信度为 的置信区间
(2) 已知
问 要使 的置信度为 的置信区间长度不超过 ,样本容量 n 至少应取多
施磷肥的
620 570 650 600 630 580 570 600 600 580
设不施磷肥亩产和施磷肥亩产均服从正态分布,其方差相同.试对施磷肥平均亩产与不施磷肥平均
亩产之差作区间估计(
).
解:
查表知
概率论与数理统计 71 点估计与最大似然估计 优质课件
10
解方程组即得
1 = 1 ( X1 , X2 ,
k = k ( X1 , X2 ,
, Xn), , Xn),
这就是1 ,2 , ,k 的矩估计量 .
11
例1： 设总体 X 在[a , b]上服从均匀分布, a , b 未知 . X1 , X2 , … , Xn 是来自 X 的样本, 求a , b的矩估计量.
5
一、点估计的概念:
1、定义7.1:
设总体 X 的分布函数为 F( x , θ ), 其中θ 为 未知参数 . 从总体 X 中抽取样本 X1 , X2 ,
… , Xn , 其观测值为 x1 , x2 , … , xn .
构造一个统计量 ( X1 , X2 , , Xn ), 用它的 观测值 ( x1 , x2 , , xn ) 来估计参数 , 称
设总体分布已知, 但含有k个未知数1,2 , ,k ,
若总体 X 的前 k 阶矩均存在 , 则可令
E( X rX
r i
,r =1,2,
,k ,
再利用总体 X 分布已知, 具体求出 E( X r ),
当然它是未知参数 1 ,2 , ,k 的函数, 这样
就得到含 k 个未知数和 k 个方程的方程组 ,
1 n
n i 1
Xi =A1称为一阶样本原点矩，
4
，1 n
n i 1
Xik =Ak称为k阶样本原点矩，
样本k阶中心矩：
Sn2 =
1 n
n
(Xi -X )2=B2称为样本二阶中心矩，
i 1
Snk =
1 n
n i 1
(Xi -X )k =
Bk 称为样本k阶中心矩，
概率论与数理统计第七章
第七章
参数估计
湖南商学院信息系 数学教研室
第七章
第一节
第二节
参数估计
矩估计
极大似然估计
第三节
第四节
估计量的优良性准则
正态总体的区间估计（一）
第五节
正态总体的区间估计（二）
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
本章讨论:
参数估计的常用方法.
估计的优良性准则. 若干重要总体的参数估计问题.
参数估计问题的一般提法 设有一个统计总体，总体的分布函数 为 F(x, )，其中 为未知参数 ( 可以是 向量) . 现从该总体抽样，得样本 X1, X2 , … , Xn
要依据该样本对参数 作出估计，或估计
(m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
1 n m Am X i m 1,2, , k n i 1 步骤三、令 am (1,2,,k) = Am
(m=1,2, ,k)得关于 1,2,,k的 方程组 步骤四、解这个方程组,其解记为
ˆ ( X , X ,, X ) i 1 2 n ，i 1,2, , k
n
1 2 ˆ : ˆ 其中 （X i X ) n i 1
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
数和2的矩估计为
例如 求正态总体 N(,2)两个未知参
参数估计
湖南商学院信息系 数学教研室
第七章
第一节
第二节
参数估计
矩估计
极大似然估计
第三节
第四节
估计量的优良性准则
正态总体的区间估计（一）
第五节
正态总体的区间估计（二）
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
本章讨论:
参数估计的常用方法.
估计的优良性准则. 若干重要总体的参数估计问题.
参数估计问题的一般提法 设有一个统计总体，总体的分布函数 为 F(x, )，其中 为未知参数 ( 可以是 向量) . 现从该总体抽样，得样本 X1, X2 , … , Xn
要依据该样本对参数 作出估计，或估计
(m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
1 n m Am X i m 1,2, , k n i 1 步骤三、令 am (1,2,,k) = Am
(m=1,2, ,k)得关于 1,2,,k的 方程组 步骤四、解这个方程组,其解记为
ˆ ( X , X ,, X ) i 1 2 n ，i 1,2, , k
n
1 2 ˆ : ˆ 其中 （X i X ) n i 1
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
数和2的矩估计为
例如 求正态总体 N(,2)两个未知参
概率论与数理统计课件第7章参数估计
一、矩估计
4
A B
一、矩估计 例1
5
01
OPTION
02
OPTION
一、矩估计 解
6
一、矩估计
7
一、矩估计
8
解（1）
一、矩估计
9
解（2）
一、矩估计 例3
10
一、矩估计 解
11
一、矩估计
12
关于矩估计量有下列结论:
一、矩估计
13
例4
解
一、矩估计
14
01
OPTION
02
OPTION
一、无偏性 定义1
51
ˆ lim E θ 如果 n+ X1 ,
, X n θ
一、无偏性
52
例1
试求 1 3 2
解
(1)由矩估计定义可知
一、无偏性
53
故
一、无偏性
54
一、无偏性 例2
55
一、无偏性
56
解
一、无偏性 定理 1
57
则有
因此, 样本均值是总体均值的无偏估计, 样本
二、极大似然估计
48
极大似然估计求解
似然函数 对数似然求导法
直接法
49
目录/Contents
7.1 7.2
点估计 点估计的优良性评判标 准 置信区间 单正态总体下未知参数的置信区间 两个正态总体下未知参数的置信区间
7.3
7.4 7.5
50
目录/Contents
7.2
点估计的优良性评判标准 一、无偏性 二、有效性 三、相合性
置信区间
69
置信区间
70
置信区间
概率论与数理统计习题及答案-第七章
1 F（x,β）=
x
,
x ,
0,
x .
其中未知参数 β>1,α>0，设 X1,X2,…,Xn 为来自总体 X 的样本 （1） 当 α=1 时，求 β 的矩估计量； （2） 当 α=1 时，求 β 的极大似然估计量； （3） 当 β=2 时，求 α 的极大似然估计量. 【解】
2 0.025
(19)
32.852,
2 0.975
(19)
8.907
(1) μ的置信度为 0.95 的置信区间
s
18.14
x ta/2 (n 1) 76.6
2.093 (68.11,85.089)
n
20
(2) 2 的置信度为 0.95 的置信区间
(2)
D( ˆ1 )
2
2
D( X1 )
1
2
D(X2 )
4
X
2
5
2
,
3
3
9
9
3
2
1
2
3
5 2
D(ˆ2 ) D( X1) D( X 2 ) ,
4
4
8
D(ˆ3
)
1
2
D( X1 )
D(X
2
)
2
(
x),
0 x ,
0,
其他.
X1，X2，…，Xn 为其样本，试求参数θ的矩法估计.
考研数学概率论与数理统计知识点终极梳理
考研数学概率论与数理统计知识点终极梳理概率论与数理统计是硕士研究生入学考试(除数二)的一个重要组成部分，从研究必然问题到研究随机问题，不仅大多数初学者感到困难，即使是对于曾学过这门学科的考生也有不少问题，特别是在做习题以及解决实际问题方面遇到的困难会更多一些。
从近几年硕士研究生入学考试数学阅卷结果来看，概率论这一部分得分率普遍较低。
在最后几天，建议大家，加强数学基本计算联系，熟练、严谨、规范非常至关重要。
此外，要注意回顾一遍大纲考点，查漏补缺。
第一章随机事件和概率1、随机事件的关系与运算2、随机事件的运算律3、特殊随机事件(必然事件、不可能事件、互不相容事件和对立事件)4、概率的基本性质5、随机事件的条件概率与独立性6、五大概率计算公式(加法、减法、乘法、全概率公式和贝叶斯公式)7、全概率公式的思想8、概型的计算(古典概型和几何概型)第二章随机变量及其分布1、分布函数的定义2、分布函数的充要条件3、分布函数的性质4、离散型随机变量的分布律及分布函数5、概率密度的充要条件6、连续型随机变量的性质7、常见分布(0-1分布、二项分布、几何分布、超几何分布、泊松分布、均匀分布、指数分布、正态分布)8、随机变量函数的分布(离散型、连续型)第三章多维随机变量及其分布1、二维离散型随机变量的三大分布(联合、边缘、条件)2、二维连续型随机变量的三大分布(联合、边缘和条件)3、随机变量的独立性(判断和性质)4、二维常见分布的性质(二维均匀分布、二维正态分布)5、随机变量函数的分布(离散型、连续型)第四章随机变量的数字特征1、期望公式(一个随机变量的期望及随机变量函数的期望)2、方差、协方差、相关系数的计算公式3、运算性质(期望、方差、协方差、相关系数)4、常见分布的期望和方差公式第五章大数定律和中心极限定理1、切比雪夫不等式2、大数定律(切比雪夫大数定律、辛钦大数定律、伯努利大数定律)3、中心极限定理(列维林德伯格定理、棣莫弗拉普拉斯定理)第六章数理统计的基本概念1、常见统计量(定义、数字特征公式)2、统计分布3、一维正态总体下的统计量具有的性质4、估计量的评选标准(数学一)5、上侧分位数(数学一)第七章参数估计1、矩估计法2、最大似然估计法3、区间估计(数学一)第八章假设检验(数学一)1、显著性检验2、假设检验的两类错误3、单个及两个正态总体的均值和方差的假设检验。
概率 第七章矩估计极大似然估计ppt课件
§1 点估计
这是包含 k 个未知参数 ， ， 的联立方 1 k
2 ， ， k A 1 1 1， A ， 2 ， ， k 2 2 1 2 ， ， k k k 1， A
ˆ， ˆ, 从中解出方程组的解 ,记为 ， 1 k即
这种对未知参数进行定 值估计的问题就是点 计问题
第七章 参数估计
注意：
§1 点估计
⑴估计量与估计值有着本 质的不同：
估 计 量 是 统 计它 量是 ，随 因机 而 （ 变 一 量 维
而估计值则是一维或多 维数组． 或多维 ； ）
⑵ 在不引起混淆的情况下 ，我们统称估计 与估计值为未知参数 的估计．
目 录
前一页
后一页
§2 估计量的评选标准 §3 区间估计
目 录
前一页
后一页
退 出
第七章 参数估计
§1 点估计 •点估计 •矩估计法 •极大似然估计法
目 录
前一页
后一页
退 出
第七章 参数估计
一、点估计问题
§1 点估计
设总体 X 的分布函数 F ( x ; ) 的形式为已 是待 估参数。 X , ,X 是 X 的一个 x , 样 ,x 是 本相 ， 1 n 1 n 应的样本值。
第七章 参数估计
§1 点估计
矩法求估计量的步骤：
2 ) 令 A ( A ); 1 1 2 2
1 ) 求 EX ( EX ); 1 2
2
3) 解上 面方 程（组）， 得 ˆ ˆ ( X , , X ) 1 1 1 n ˆ ˆ ( X ,, X )). ( 2 2 1 n
则 ( , , ), l 1 , 2 , , k . 1 其中 A X 令 A ,l 1 , , k , n
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
2014年自考 概率论与数理统计串讲讲义 第七章 参数估计
2
则 µ 的置信度 (1 − α ) 的区间估计为 （1） σ 已知时； x −
2
σ σ uα / 2 , x + uα / 2 n n
（2） σ 未知时； x −
2
s s t α (n − 1), x + t α (n − 1) n 2 n 2
（见书中 P.162 表） 设总体 X ～ N ( µ , σ ) ，且 σ = 4,
P < 1 ，未知 x1 , x2 ,", xn 为其样本，求 P 的矩估计
解：由 EX =
ˆ=x P ，故 P 的矩估计 P
2．极大似然估计
设总体 X，具有概率密度函数 f ( x;θ ) ， θ ∈ ○ H 其中 θ 为未知参数，其变化范围为○ H ， x1 , x2 , " , xn 为其样本， 则似然X =
ˆ=x µ ，故 µ
ˆ 2 = Sn 2 DX = σ 2 ，故 σ
设总体 X ～ U (0, θ ) ， θ > 0 未知，求 θ 的矩估计
例2
解：因为 EX =
θ
2
，故
θ
2
ˆ = 2 x ，即为 θ 的矩估计 ，由此解得 θ = x （矩法方程）
例3
设总体 X ～ B(1, P ) ，其中 0 <
ln f ( xi ;θ ) ∑ i
=1
n
*
③求导并令其等于 0，建立似然方程
d ln L(θ ) = 0 * dθ
ˆ ④解之即得 θ 的极大似然估计 θ 2
(θ +1) , x >1 θx − , 0 , 其他
例 4 设 x1 , x2 , " , xn 是总体 X 的样本，总体概率密度为 f ( x;θ ) = 求
则 µ 的置信度 (1 − α ) 的区间估计为 （1） σ 已知时； x −
2
σ σ uα / 2 , x + uα / 2 n n
（2） σ 未知时； x −
2
s s t α (n − 1), x + t α (n − 1) n 2 n 2
（见书中 P.162 表） 设总体 X ～ N ( µ , σ ) ，且 σ = 4,
P < 1 ，未知 x1 , x2 ,", xn 为其样本，求 P 的矩估计
解：由 EX =
ˆ=x P ，故 P 的矩估计 P
2．极大似然估计
设总体 X，具有概率密度函数 f ( x;θ ) ， θ ∈ ○ H 其中 θ 为未知参数，其变化范围为○ H ， x1 , x2 , " , xn 为其样本， 则似然X =
ˆ=x µ ，故 µ
ˆ 2 = Sn 2 DX = σ 2 ，故 σ
设总体 X ～ U (0, θ ) ， θ > 0 未知，求 θ 的矩估计
例2
解：因为 EX =
θ
2
，故
θ
2
ˆ = 2 x ，即为 θ 的矩估计 ，由此解得 θ = x （矩法方程）
例3
设总体 X ～ B(1, P ) ，其中 0 <
ln f ( xi ;θ ) ∑ i
=1
n
*
③求导并令其等于 0，建立似然方程
d ln L(θ ) = 0 * dθ
ˆ ④解之即得 θ 的极大似然估计 θ 2
(θ +1) , x >1 θx − , 0 , 其他
例 4 设 x1 , x2 , " , xn 是总体 X 的样本，总体概率密度为 f ( x;θ ) = 求
7-1矩估计
2
12
故有
ab 2
(b a)2 12
X
S＊n 2
即
a b
b a
2 2
X 3S＊n
解出得 : a X
3S＊n ,
b
X
3S＊n
3/3/2020
(4) X ~ B(n, p), E(X ) np, D(X ) np(1 p)
2X
1
0.3079
3/3/2020
1 X
例 设总体X的概率密度为
f (x, )
1
x
e
2
试求 的矩估计量 .
x , 0
法一 :虽然f (x; )中仅含一个未矩参数,但因
E(X )
x
1
x
e dx 0
2
不含 ,不能由此解出,故需继续求出总体二阶原点矩 :
广义来讲,总体参数可指总体或理论分布的数字特征, 其中包括狭义总体参数, 例如, 总体的原点矩,中心矩协方差, 相关系数, 偏度峰度以及事件的概率，或总体具有某种特征 A的个体的比率等等.
3/3/2020
2 参数的点估计
定义1.2 设X1, X 2,..., X n是来自总体X的样本,为总体分布F(x; )
dx
2 @X
2
2
所以ˆ 3/3/2020
矩
2X
x 1 (3 4 3 5 4 2 2 3) 8
所以ˆ矩
2x
方法二
EX 2
x2 f (x)dx
矩估计和极大似然估计
参数估计的方法
估计方法
点估计
矩估计法 顺序统计量法 最大似然法 最小二乘法
1/22
区间估计
参数的点估计
1. 矩法估计 2. 极大似然估计
2/22
参数估计问题的一般提法 设总体X的分布函数为F( x, θ )，其中θ 为未知参数或参数向量，现从该总体中抽样, 得到样本
X1, X2 , … , Xn . 依样本对参数θ 做出估计，或估计参数θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。
设分布律 P{X k} f (x; ), 为待估参数, ,
(其中 是 可能的取值范围)
X1,
X2 ,
,
X
是来自总体
n
X
的样本,
n
则 X1, X 2,L , X n 的联合分布律为 f (xi ; ). i 1
2. 最大似然估计法
1.设总体X为离散型随机变量，它的分布律为
P{X x} f (x, )
θ 2 (θ )2,
11/22
令
2
( )2
X,
1 n
n i1
X i2.
用样本矩 估计总体矩
得
ˆ
1 n
n
i1
X
2 i
nX
2
1
n
n i1
(Xi
X
)2
,
ˆ X
1
n
n i1
(Xi
X )2
.
ˆ, ˆ 为参数 , 的矩估计。
12/22
例3：设总体X的均值为，方差为2，求和 2 的矩估计。
解: 先求总体的均值和2阶原点矩。
E( X ) x 1 e(x) d x
0
估计方法
点估计
矩估计法 顺序统计量法 最大似然法 最小二乘法
1/22
区间估计
参数的点估计
1. 矩法估计 2. 极大似然估计
2/22
参数估计问题的一般提法 设总体X的分布函数为F( x, θ )，其中θ 为未知参数或参数向量，现从该总体中抽样, 得到样本
X1, X2 , … , Xn . 依样本对参数θ 做出估计，或估计参数θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。
设分布律 P{X k} f (x; ), 为待估参数, ,
(其中 是 可能的取值范围)
X1,
X2 ,
,
X
是来自总体
n
X
的样本,
n
则 X1, X 2,L , X n 的联合分布律为 f (xi ; ). i 1
2. 最大似然估计法
1.设总体X为离散型随机变量，它的分布律为
P{X x} f (x, )
θ 2 (θ )2,
11/22
令
2
( )2
X,
1 n
n i1
X i2.
用样本矩 估计总体矩
得
ˆ
1 n
n
i1
X
2 i
nX
2
1
n
n i1
(Xi
X
)2
,
ˆ X
1
n
n i1
(Xi
X )2
.
ˆ, ˆ 为参数 , 的矩估计。
12/22
例3：设总体X的均值为，方差为2，求和 2 的矩估计。
解: 先求总体的均值和2阶原点矩。
E( X ) x 1 e(x) d x
0
矩估计和极大似然估计
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
14
第二节
极大似然估计
第七章
极大似然估计
15
极大似然估计法: 定义7.1 设 是
1, 第i次取到不合格品； Xi i 1, 2, , n. 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
9
n
例5
设总体X ~ U [a, b], a, b未知；X 1 , , X n
1100
可用两种方法：矩法估计 和极大似然估计.
28
1 x e , x0 X : p( x; ) ( 0) 0 , other
1）矩法估计
令 X
1 EX x e dx 0 则可得 的矩法估计量为：ˆ X .
x
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X 估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
6
例2
22
令
即
所以参数
的极大似然估计量为
23
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
似然函数为:
矩估计和极大似然估计
矩估计和极大似然估计
统计学研究中估计参数是最基本的技术。
它是推断未知参数值的重要方法，它可以应用于任何分布，而无论它是均衡的还是不均衡的。
本文将介绍两种最常用的而且最有效的估计方法，即矩估计和极大似然估计。
矩估计是一种无偏估计。
它用平均方差作为估计的标准，以期获得无偏估计量。
它的思想是找到一组参数，使得它与观测数据的总平方和达到最小。
最小二乘法把参数的估计量分解为一系列不受体系误差影响的估计量，以便更加准确地估计。
极大似然估计也是无偏估计，但它是通过最大似然函数来求参数估计量的。
这个函数的思想是，根据观测数据，计算出参数的估计量，使得似然性最大。
极大似然估计就是使用给定观测数据和某个参数模型，来求出使这个参数模型似然函数最大的参数估计量。
矩估计和极大似然估计都有许多优点，如无偏性、处理简单，可以使用不同的统计模型以及可以计算准确率等等。
然而，它们也有一定的弊端。
矩估计假设数据服从正态分布，而实际数据常常不会服从正态分布，这时估计值可能会出现误差。
极大似然估计也存在类似的问题，因为它依赖于正确假设分布模型，它在模型类别选择和设定参数上可能会出现错误。
总的来说，矩估计和极大似然估计是统计学中重要的估计参数技术，它们都具有优点和缺点，但由于它们的效率和准确性，它们仍然是统计学的基础。
在选择估计方法时，应考虑到参数类别、数据分布
和分析技术，以选择最适宜的估计方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
μ1 h1 (θ1 , θ2 , μ j h j (θ1 , θ2 , μk hk (θ1 , θ2 ,
, θk ) , θk ) , θk )
, μk ) , μk ) , μk )
数理统计
从这 k 个方程中解出
θ1 g1 ( μ1 , μ2 , θ j g j ( μ1 , μ2 , θk gk ( μ1 , μ2 ,
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
2 1
b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a A1 3( A2 A12 ) 3 n 2 X ( X X ) , i n i 1
3 n 2 b X ( X X ) n i 1 i
样本矩
数理统计
例2 设总体 X 的均值 μ和方差 σ 2 ( 0) 都存
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
1 n P X X i E( X ) μ n i 1
1 n Al X il n i 1
P E ( X l ) μl ( l 1, 2,
)
P g ( A1 , A2 , , Ak ) g( μ1 , μ2 , , μk )
其中 g 为连续函数
在某炸药制造厂, 一天中发生着火现象的
次数 X 是一个随机变量 , 假设它服从以 0 为参 数的泊松分布, 参数 为未知, 设有以下的样本值 , 试估计参数 .
数理统计
着火次数 k 发生 k 次着 火的天数nk
解
0
1
2
3
4 5 6
75 90 54 22 6 2 1 250
所以 E ( X ).
因为 X ~ π( ),
knk k 0
6
用样本均值来估计总体的均值 E(X).
1 x 6 (0 75 1 90 2 54 3 22 250 n k 4 6 5 2 6 1) 1.22. k 0
故 E ( X ) 的估计为1.22 .
2 μ , σ 于是 的矩估计量为
ˆ A1 X
n n 1 1 2 2 2 2 2 ( X X ) ˆ A2 A1 X i X i n i 1 n i 1
样本矩
数理统计
例3
设总体 X服从参数为 的指数分布，求 的矩估计 .
解：
1 E ( X )
在 , μ , σ 2 未知 . X 1 , 求 μ , σ 2 的矩估计量 .
解
, X n 是来自 X 的样本 , 试
μ1 E X μ
μ2 E X 2 D( X ) [ E ( X )]2 σ 2 μ 2
数理统计
总体矩
解得
μ μ1
σ 2 μ2 μ12
ab μ1 E X 2
μ2 E X
D( X ) [ E ( X )]
2
2
( b a )2 ( a b )2 12 4
数理统计
即
a b 2 μ1 2 bຫໍສະໝຸດ a 12( μ μ 2 1)
解得
a μ1 3( μ2 μ )
数理统计
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 如何 求估计量是关键问题.
常用构造估计量的方法: (两种) 矩估计法和最大似然估计法.
1、 矩估计法
矩估计法是英国统计学家K.皮尔逊 19世纪末20世纪初提出来的 . 理论依据
数理统计
由辛钦定理 , 若总体 X 的数学期望 E X μ 存在,
1
1
1
1 1 ˆ A1 X
数理统计
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 . 缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
数理统计
§7.1 矩估计法和极大似然估计法
点估计的概念
矩估计法
极大似然估计法
数理统计
第一节
点估计
一、点估计问题的提法
二、估计量的求法 三、小结
数理统计
一、点估计问题的提法
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1
那么用诸 μi 的估计量 Ai 分别代替上式中的诸 μi , ˆ g (A , A , , A ) j=1,2,…,k θ
j j 1 2 k
数理统计
例1
设总体 X 在 [ a , b ] 上服从均匀分布 ,
a , b 未知 . X 1 , 的矩估计量 . 解
, X n是来自 X 的样本 , 试求 a , b