第六章参数估计1
第六章参数估计
113第六章 参数估计一、 知识点1. 点估计的基本概念2. 点估计的常用方法(1) 矩估计法① 基本思想：以样本矩作为相应的总体矩的估计，以样本矩的函数作为相应的总体矩的同一函数的估计。
(2) 极大似然估计法设总体X 的分布形式已知，其中),,,(21k θθθθΛ=为未知参数，),,(21n X X X Λ为简单随机样本，相应的),,,(21n x x x Λ为它的一组观测值．极大似然估计法的步骤如下：① 按总体X 的分布律或概率密度写出似然函数∏==ni i n x p x x x L 121);();,,,(θθΛ （离散型）∏==ni i n x f x x x L 121);();,,,(θθΛ （连续型）若有),,,(ˆ21nx x x Λθ使得);,,,(max )ˆ;,,,(2121θθθn n x x x L x x x L ΛΛΘ∈=，则称这个θˆ为参数θ的极大似然估计值。
称统计量),,,(ˆ21nX X X Λθ为参数θ的极大似然估计量。
② 通常似然函数是l θ的可微函数，利用高等数学知识在k θθθ,,,21Λ可能的取值范围内求出参数的极大似然估计k l x x x nl l ,,2,1),,,,(ˆˆ21ΛΛ==θθ 将i x 换成i X 得到相应的极大似然估计量k l X X X nl l ,,2,1),,,,(ˆˆ21ΛΛ==θθ 注：当);,,,(21θn x x x L Λ不可微时，求似然函数的最大值要从定义出发。
3. 估计量的评选标准(1) 无偏性：设),,(ˆˆ21nX X X Λθθ=是参数θ的估计量，如果θθ=)ˆ(E ，则称θˆ为θ的无偏估计量。
(2) 有效性：设1ˆθ，2ˆθ是θ的两个无偏估计，如果)ˆ()ˆ(21θθD D ≤，则称1ˆθ较2ˆθ更有效。
4. 区间估计114 (1) 定义 设总体X 的分布函数族为{}Θ∈θθ),;(x F ．对于给定值)10(<<αα，如果有两个统计量),,(ˆˆ111n X X Λθθ=和),,(ˆˆ122n X X Λθθ=，使得{}αθθθ-≥<<1ˆˆ21P 对一切Θ∈θ成立，则称随机区间)ˆ,ˆ(21θθ是θ的双侧α-1置信区间，称α-1为置信度；分别称1ˆθ和2ˆθ为双侧置信下限和双侧置信上限． (2) 单侧置信区间(3) 一个正态总体下未知参数的双侧置信区间（置信度为α-1）二、 习题 1. 选择题(1) 设n X X X ,,,21Λ是来自总体X 的一个样本，则以下统计量①)(211n X X + ②)2(14321n X X X X X n ++++-Λ ③)2332(101121n n X X X X +++-作为总体均值μ的估计量，其中是μ的无偏估计的个数是A.0B.1C.2D.3(2) 设321,,X X X 是来自正态总体)1,(μN 的样本，现有μ的三个无偏估计量321332123211216131ˆ;1254131ˆ;2110351ˆX X X X X X X X X ++=++=++=μμμ其中方差最小的估计量是A.1ˆμB.2ˆμC. 3ˆμD.以上都不是 (3) 设0,1,0,1,1为来自0-1分布总体B(1,p)的样本观察值，则p 的矩估计值为 。
概率论与数理统计教材第六章习题
X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：
《医学统计学》第六章+参数估计与假设检验
2、该地所有人收缩压的均数可能在什么范围？
医学统计学（第7版）
三、总体均数的区间估计
（一）σ 已知
➢ 如果变量 X 服从均数为 μ、标准差为 的正态分布，则： z
服从标准正态分布。则：
P X 1.96
X 1.96
0.95
（二）σ 未知
1. t 分布
➢ 事实上，总体标准差 通常是未知的，这时我们可以用其估计量S代替 ，但
在这种情况下，( X ) / ( S /
n)
已不再服从标准正态分布，而是服从著名的 t 分布。
William Gosset
不同自由度的t分布图
医学统计学（第7版）
2. 可信区间的计算
S12 S22
n1 n2
2 ,v
医学统计学（第7版）
例题
➢ 例6-4 评价复方缬沙坦胶囊与缬沙坦胶囊对照治疗轻中度高血压的有效性，将102名患
者随机分为两组，其中试验组和对照组分别为54例和48例。经六周治疗后测量收缩压，
试验组平均下降15.77mmHg，标准差为13.17mmHg；对照组平均下降9.53mmHg，标准
样本率的标准差称为率的标准误（standard error of rate），可用来描述样
本率抽样误差的大小。率的标准误越小，则率的抽样误差越小，率的标
准误越大，则率的抽样误差越大。公式为：
p
(1 )
n
2. 率的标准误的估计
在一般情况下，总体率 π 往往是未知的，此时可用样本率 P 来估计总体
标准差与标准误的比较
标 准 差
标 准 误
西北工业大学《概率论与数理统计》课件-第六章 参数估计
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L
ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
第六章 时间序列分析-参数估计
例:求MA(1)模型系数的矩估计
MA(1)模型 方程 xt t 1 t 1
0 (1 12 ) 2 1 1 1 2 矩估计 0 1 12 1 1
ˆ 1 1 4 12 ˆ1 ˆ 2 1
f X1 , X 2 , X3 x1 , x2 , x3 ; , 2 f X1 , X 2 x1 , x2 ; , 2 f X3 X 2 , X1 x3 x2 , x1 ; , 2
24
极大似然估计
一般地，样本中第 t 个 X t 在前 t-1 个已知的条件下，由于模 型的特点，实际上前 t-1 个 X t 1 ,, X1 只有 X t 1 作用于 X t ，因此 有
ˆ 其中 k y
ˆˆ ˆ
i 0 j 0 i
p
p
j i j k
, k 0,1,, q
13
对矩估计的评价
优点
估计思想简单直观 不需要假设总体分布 计算量小（低阶模型场合）
缺点
信息浪费严重 只用到了p+q个样本自相关系数信息，其他信息都被忽
15
极大似然估计
本节将要讨论的是根据极大似然原理，给出模型参数 1 ,, p ，
1 ,,q 和白噪声方差 2 的极大似然估计。为此，首先需要给定样本
x1,, xT 的联合分布，
F x1,, xT ; θ
θ 1 , , p , 1 , , q , 2 。 其中
3. ARMA模型的矩估计 第一步，先给出AR部分的参数 估计。
1 ,, p
的矩
q1 q 12 q p 1 p q 1 q 1 1 q 2 q p 2 p q 2 q p 11 q p 22 q p q p
第6章 参数估计
较 的样本容量
θ
B A
较 的样本容量
θ
ˆ θ
一致性： 一致性：
随着样本容量增大， 随着样本容量增大，估计量会越来越接近被估计 的参数。 的参数。即对任意的
→∞→ n
ε >0
，有
ˆ lim P{| θ −θ |< ε} =1
则称 θ 是参数θ的一致估计量。 ˆ 是参数θ的一致估计量。
X
µ -1.96 σx
+1.96σ µ +1.96σx
90%的样本 90%的样本 95% 的样本 99% 的样本
置信水平
1. 将构造置信区间的步骤重复很多次，置信 将构造置信区间的步骤重复很多次， 区间包含总体参数真值的次数所占的比例 称为置信水平. 称为置信水平. 2. 表示为 1 - a 是总体参数未在区间内的比例 3. a是总体参数未在区间内的比例 是总体参数未在区间内的比例 常用的置信水平值有 99%,
• 如某班级平均分数在75～85之间，置信水平是95% 如某班级平均分数在75～85之间，置信水平是95% 75 之间 95
5.1.3. 评价估计量的标准
1.无偏性： 无偏性：
ˆ ˆ 如果 E(θ ) =θ ，即估计量 θ 的数学 期望等于被估计的总体参数， 期望等于被估计的总体参数，我们称估计量
（35）4 35） （45）4.5 45） （55）5 55）
无偏性：估计量抽样分布的数学期望等于被 估计的总体参数. 估计的总体参数 .
ˆ P(θ)
偏 偏
A
B
ˆ θ
θ
样本平均数是总体平均数的无偏估 样本平均数是总体平均数的无偏估 计量。 计量。
以无偏性来评判估计量是很合理的。一 以无偏性来评判估计量是很合理的。 个好的估计量就某一个具体的估计值而言 可能不等于总体参数值， ，可能不等于总体参数值，但平均来看有 向估计的总体参数集中的趋势。 向估计的总体参数集中的趋势。
概率论与数理统计 茆诗松 第二版课后 习题参考答案
ai
Xi
⎟⎟⎠⎞
=
n Cov⎜⎛ 1
i=1
⎝n
X
i
,
ai
X
i
⎟⎞ ⎠
=
n i=1
ai n
Cov( X
i
,
X
i
)
=
σ2 n
n
ai
i=1
=σ2 n
，
因 Var(X ) = 1 Var(X ) = σ 2 = Cov(X , T ) ，
n
n
故 X 与 T 的相关系数为 Corr(X , T ) = Cov(X , T ) =
n
∑ 4． 设总体 X ~ N (µ , σ 2)，X1, …, Xn 是来自该总体的一个样本．试确定常数 c 使 c ( X i+1 − X i )2 为σ 2 的无 i=1
偏估计． 解：因 E[(Xi + 1 − Xi )2 ] = Var (Xi + 1 − Xi ) + [E(Xi + 1 − Xi )]2 = Var (Xi + 1) + Var (Xi ) + [E(Xi + 1) − E(Xi )]2 = 2σ 2，
n1 + n2
n1 + n2
n1 + n2
8． 设总体 X 的均值为µ ，方差为σ 2，X1, …, Xn 是来自该总体的一个样本，T (X1, …, Xn)为µ 的任一线性
无偏估计量．证明： X 与 T 的相关系数为 Var( X ) Var(T ) ．
n
∑ 证：因 T (X1, …, Xn)为µ 的任一线性无偏估计量，设 T ( X1, L, X n ) = ai X i ， i=1
第六章 参数值的估计
第六章 参数值的估计 第一节 参数估计的一般问题一、估计量与估计值参数估计就是用样本统计量去估计总体参数，如用X 估计μ，用S2估计2σ，用p 估计π等。
总体参数可以笼统地用一个符号θ表示。
参数估计中，用来估计总体参数的统计量的名称，称为估计量，用θ表示，如样本均值、样本比例等就是估计量。
用来估计总体参数时计算出来的估计量的具体数值，叫做估计值。
二、点估计与区间估计——参数估计的两种方法 1、点估计用样本估计量θ的值直接作为总体参数θ的估计量值。
2、区间估计它是在点估计基础上，给出总体参数估计的一个区间，由此可以衡量点估计值可靠性的度量。
这个区间通常是由样本统计量加减抽样误差而得到。
以样本均值的区间估计来说明区间估计原理：根据样本均值的抽样分布可知，重复抽样或无限总体抽样情况下，样本均值，由此可知，样本均值落在总体均值两侧各为一个标准误差范围内的概率为0.6827，两个标准误差范围0.9545，三个标准误差范围0.9973，并可计算出样本均值落在μ的两侧任何一个标准误差范围内的概率（根据已知的μ，σ计算）。
但实际估计时，μ是未知的，因而不再是估计样本均值落在某一范围内的概率，而只能根据已设定的概率计算这个范围的大小。
例如：约有95%的样本均值会落在距μ的两个标准误差范围内，即约有95%的样本均值所构造的两个标准误差的区间会包括μ。
在区间估计中，由样本统计量所构造的总体参数的估计区间，称为置信区间，区间的最小值为置信下限，最大值为置信上限。
例如，抽取了1000个样本，根据每个样本构造一个置信区间，其中有95％的区间包含了真实的总体参数，而5%的没有包括，则称95％为置信水平／置信系数。
构造置信区间时，可以用所希望的值作为置信水平，常用的置信水平是90％，95％，99％，见下表：α称为显著性水平，表示用置信区间估计的不可靠的概率，1-为置信水平。
如何解释置信区间：如用95%的置信水平得到某班学生考试成绩的置信区间为（60，80），即在多次抽样中有95%的样本得到的区间包含了总体真实平均成绩，（60，80）这个区间有95%的可能性属于这些包括真实平均成绩的区间内的一个。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
原点矩 vk （k 1,2,L ,l ）分别作为总体前l 阶原
点矩 ak （k 1,2,L ,l）的估计量，建立方程组
a1(1,2, ,l ) v1
a2(1,2, ,l ) v2 a(1,2, ,l ) vl
（6.1）
这是一个包含未知参数1,2,L ,l 的联立方程
组，称为矩方程组．
解方程组 , 得 m 个统计量：
6.1.1 点估计的概念
设总体 X 的分布函数形式已知, 但它的一 个或多个参数为未知, 借助于总体 X 的一个样 本来估计总体未知参数的值的问题称为点估计 问题.
一般地，设总体 X 的分布中含有未知参数 ， 且 X1, X 2,L , X n 是 来 自 总 体 X 的 一 个 样 本 ，
x1, x2,L , xn是相应的一个样本值．
估计降雨量
… …
参数估计 问题分为点估计问题与区间估计问题
点估计就是用某一个函数值作为总体未知参数的 估计值；区间估计就是对于未知参数给出一个范围， 并且在一定的可靠度下使这个范围包含未知参数 的真值.
§6.1 点估计及其求法
6.1.1 点估计的概念 6.1.2 矩估计法 6.1.3 最大似然估计法
ˆ1 ( X 1 , X 2 ,L , X n ) LLLLLLL ˆm ( X 1 , X 2 ,L , X n )
未知参数
1, ,m
的矩估计量
代入一组样本值ቤተ መጻሕፍቲ ባይዱ m 个数:
ˆ1 ˆ1( x1, x2 ,L , xn ) LLLLLLLL ˆm ˆm ( x1, x2 ,L , xn )
未知参数
若 X 的前l阶原点矩ak E(X k )（k 1,2,L ,l）存 在 ， 则 ak E(X k ) （ k 1,2,L ,l ） 均 为 未 知 参 数
1,2,L ,l 的函数，记 ak E(X k )=ak (1,2,L ,l )（k 1,2,L ,l），
根据矩估计法的基本思想，以样本的前l 阶
6.1.2 、矩估计法
它是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
矩估计法的具体做法如下： 设总体 X 的分布中仅含有l个未知参数
1,2,L ,l ，且 X1, X 2,L , X n是来自总体 X 的一个
样本．
6.1.2 矩估计法
当总体的各阶原点矩未知时，我们可以用样本的 前l 阶原点矩 Ak (k 1, 2,L ,l)作为总体的前l 阶原点矩ak （k 1,2,L ,l）的估计量． 2 进一步，也可以用样本原点矩的连续函数 g( A1, A2,L , Al ) 作 为 总 体 原 点 矩 的 连 续 函 数 g(a1, a2,L , al )的估计量，这就是矩估计法的基本思 想．
CHAP6 参数估计
§6.1 点估计及其求法 §6.2 估计量的评选标准 §6.3 区间估计 § 6.4 样本容量的确定
参数估计
参数在估参计数问估题计是问利题用中从，总假体定抽总样体得分到布的信息 来估形计式总已体知的，某未些知参的数仅或仅者是参一数个的或某几些个函数.
参数. 估计新生儿的体重
估计废品率 估计湖中鱼数
参数估计方法 .
它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费歇 .
Gauss
费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
这恰好符合大数定律．
矩法的优点是简单易行,并不需要事先知 道总体是什么分布 .
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时，选取 那些总体矩用相应样本矩代替带有一定的随 意性 .
6.1.3 最大似然估计法
是在总体类型已知条件下使用的一种
若构造一个适当的统计量ˆ X1, X 2,L , X n ，用 其 观 测 值 ˆ x1, x2,L , xn 作 为 的 近 似 值 ， 则 称 ˆ X1, X 2,L , X n 是 的 一 个 估 计 量 ， 并 称 ˆ x1, x2,L , xn 是 的一个估计值．
的估计量与估计值统称估计，并都简记为ˆ．
估计.
例6.2 设总体 X在 [a,b] 上服从均匀分布, a,b 未知.
X 1 , X2,,Xn是来自 X的样本, 试求 a,b 的矩估计
量.
解
a 1E (X ) (a b )/2 ,
a 2 E (X 2 ) D (X ) [E (X )2]
( b a ) 2 /1 ( 2 a b ) 2 /4 ,
设 X1, X 2,L , X10为总体 X 的一个容量为 10 的样本， 按矩估计法，p 的矩估计量为
pˆ X
现在得到的样本值 x1,x2
,L
11,0x10i1中01 X有i ．8
个“0”和
2
个“1”
于是 p 的矩估计值为
pˆ
1 10
10 i1
xi
2． 10
由此可见，次品率的矩估计即为次品出现的频率，
即 ab2a1, ba 12 (a2a12).
解得
注意到 以
v1, v2
aa1 3(a2a12), ba1 3(a2a12).
n 1i n 1X i2X 2n 1i n 1(X iX )2,
代替 a1,a2, 得到 a,b的矩估计量分别为
aˆX
3 n
n i1
(Xi
X)2,
bˆX
3 n
n i1
(Xi
X)2.
例 6．3 设有一大批产品，其次品率 p0 p 1
是未知的．现从中随机抽出 10 件，发现 2 件次
品．试求 p 的矩估计值．
解 若次品用“1”表示，正品用“0”表示，
则总体 X 服从参数为 p 的（0-1）分布，即
PX 1 p, PX 0 1 p．
于是
E X 1 p 01 p p．
1, ,m
的矩估计值
例6.1 设总体 X的概率密度为
(1)x, 0x1
f(x)
0,
, 其它
其中1是未知参数, X 1,X 2 ,X n是取自 X的 样本, 求参数的矩估计.
解 数学期望是一阶原点矩
a1E(X)01(1)xdx
(1)1x1d 0
x 1 2,
其样本矩为 X12, 而 ˆ 21XX1, 即为 的矩