第六章 参数估计
第六章参数估计
113第六章 参数估计一、 知识点1. 点估计的基本概念2. 点估计的常用方法(1) 矩估计法① 基本思想：以样本矩作为相应的总体矩的估计，以样本矩的函数作为相应的总体矩的同一函数的估计。
(2) 极大似然估计法设总体X 的分布形式已知，其中),,,(21k θθθθΛ=为未知参数，),,(21n X X X Λ为简单随机样本，相应的),,,(21n x x x Λ为它的一组观测值．极大似然估计法的步骤如下：① 按总体X 的分布律或概率密度写出似然函数∏==ni i n x p x x x L 121);();,,,(θθΛ （离散型）∏==ni i n x f x x x L 121);();,,,(θθΛ （连续型）若有),,,(ˆ21nx x x Λθ使得);,,,(max )ˆ;,,,(2121θθθn n x x x L x x x L ΛΛΘ∈=，则称这个θˆ为参数θ的极大似然估计值。
称统计量),,,(ˆ21nX X X Λθ为参数θ的极大似然估计量。
② 通常似然函数是l θ的可微函数，利用高等数学知识在k θθθ,,,21Λ可能的取值范围内求出参数的极大似然估计k l x x x nl l ,,2,1),,,,(ˆˆ21ΛΛ==θθ 将i x 换成i X 得到相应的极大似然估计量k l X X X nl l ,,2,1),,,,(ˆˆ21ΛΛ==θθ 注：当);,,,(21θn x x x L Λ不可微时，求似然函数的最大值要从定义出发。
3. 估计量的评选标准(1) 无偏性：设),,(ˆˆ21nX X X Λθθ=是参数θ的估计量，如果θθ=)ˆ(E ，则称θˆ为θ的无偏估计量。
(2) 有效性：设1ˆθ，2ˆθ是θ的两个无偏估计，如果)ˆ()ˆ(21θθD D ≤，则称1ˆθ较2ˆθ更有效。
4. 区间估计114 (1) 定义 设总体X 的分布函数族为{}Θ∈θθ),;(x F ．对于给定值)10(<<αα，如果有两个统计量),,(ˆˆ111n X X Λθθ=和),,(ˆˆ122n X X Λθθ=，使得{}αθθθ-≥<<1ˆˆ21P 对一切Θ∈θ成立，则称随机区间)ˆ,ˆ(21θθ是θ的双侧α-1置信区间，称α-1为置信度；分别称1ˆθ和2ˆθ为双侧置信下限和双侧置信上限． (2) 单侧置信区间(3) 一个正态总体下未知参数的双侧置信区间（置信度为α-1）二、 习题 1. 选择题(1) 设n X X X ,,,21Λ是来自总体X 的一个样本，则以下统计量①)(211n X X + ②)2(14321n X X X X X n ++++-Λ ③)2332(101121n n X X X X +++-作为总体均值μ的估计量，其中是μ的无偏估计的个数是A.0B.1C.2D.3(2) 设321,,X X X 是来自正态总体)1,(μN 的样本，现有μ的三个无偏估计量321332123211216131ˆ;1254131ˆ;2110351ˆX X X X X X X X X ++=++=++=μμμ其中方差最小的估计量是A.1ˆμB.2ˆμC. 3ˆμD.以上都不是 (3) 设0,1,0,1,1为来自0-1分布总体B(1,p)的样本观察值，则p 的矩估计值为 。
第六章 参数估计
总体均值 在置信度 下的置信区间为： 55000 x z 135000 1 . 96 113440 , 156560 • = 。 n 25 • 即在95%的概率可靠程度下，此次抽样得该地区 企业总经理的年平均收入的置信区间为 （113440，156560）
2
第二节 区间估计
第二节 区间估计
• 点估计的优点是简洁明了，给出了具体的估 计值；缺点是无法提供估计量的精度和概率可靠 程度，这便是区间估计解决的问题。
以下我们从一个实际问题的解决，了解 区间估计的概念。
第二节 区间估计
• 【例6-3】 已知某企业生产的灯管寿命服从 正态分布，现从一大批灯管中随机抽取 n=16只，分别测得寿命（单位：小时）如 下：
• 3510 3450 3480 3460 3520 3496 3490 3460 • 3464 3526 3530 3470 3516 3520 3494 3470
• 在概率可靠程度1-α=95%下，求这批灯管平 均寿命 的区间估计。
第二节 区间估计
• 该例是总体服从正态分布，总体方差未知 ，小样本的情况。 • 此时，可算得总体均值点估计量 x ，样本 标准差s， x t ~ t (n 1) • 对 x 进行标准化，即 ，对于概 s n 率可靠程度 1 ，有： • P t t 2 (n 1) 1 (6.1)
2
n
16
• 即在概率可靠程度95%下，此次抽样得该批灯管 平均寿命的区间估计为（3476.8, 3503.2）小时 之间。
第二节 区间估计
• 一 、区间估计的概念
从例6-3可看出，区间估计就是总体参数θ落 在区间估计量 (ˆ ,ˆ ) 内的概率为1-α，即 ˆ ˆ 1 。称区间 (ˆ ,ˆ ) 为总体参数 P 1 2 θ的置信度为 1 的置信区间。
第六章 参数值的估计
百分率的间距估计
第三节 决定样本的大小
决定样本大小的准则
在能够付出的研究代价限度内，选取最大的样本量 我们愿意容忍多少错误？（正比） 所研究的个案间的相互差异的大小，即标准差大小 （反比）
样本大小计算公式
S为总体保准差 e为允许的估测错误
置信水平/可信度
总体参数落在一既定置信区间的估测概率 如，我们可以说“有95%的样本会落在40-60%之间”
置信区间/可信间距
估测总体参数值的范围，如前面说的40-60%
置信区间与置信水平
当置信区间扩大时，置信水平将会相应增加
第二节 间距估计： 均值、百分率、积距相关
第六章 参数值的估计
第一节 点值估计与间距估计
点值估计
即根据样本统计值来直接估测总体参数取值 通常不采用，因无法知道正确或错误的概率
间距估计
就是以两个数值之间的间距来估计参数值 间距大小，取决于我们在估计时所要求的可信程度 在样本大小一定的情况下，要求的可信度越大，则间 距就会越大
第六章 参数估计
第六章 参数估计§6.1 点估计的几种方法6.1.1 替换原理和矩法估计 一、矩法估计替换原理：(1)用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；(2)用样本矩的函数去替换相应的总体矩的函数。
举例二、概率函数);(θx p 已知时未知参数的矩法估计设总体具有已知的概率函数),,;(1k x p θθ ，∈),,(1k θθ Θ是未知参数或参数向量，n x x x ,,21 是样本，假定总体的k 阶原点矩k μ存在，则对所有j ，,0k j <<j μ都存在，若假设k θθ,,1 能够表示成k μμ,,1 的函数),,(1k j j μμθθ =，则可给出诸j θ的矩法估计：k j a a kj j ,1),,,(ˆ1==θθ 其中k a a ,,1 是前k 个样本原点矩：∑==n i ji j x n a 11，进一步，如果要估计k θθ,,1 的函数),(1k g θθη =，则可直接得到η的矩法估计)ˆ,ˆ(ˆ1kg θθη=。
例1 设总体为指数分布，其密度函数为x e x p λλλ-=);(，0>xn x x x ,,21 是样本，此处1=k ，由于λ/1=EX ，亦即EX /1=λ，故λ的矩法估计为x /1ˆ=λ另外，由于2/1)(λ=X Var ，其反函数为)(/1X Var =λ，因此，从替换原理来看，λ的矩法估计也可取为s /1ˆ1=λ， s 样本标准差。
这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。
例2设n x x x ,,21 是来自),(b a 上的均匀分布的样本，a 与b 均是未知参数，这里2=k 其密度函数为⎪⎩⎪⎨⎧≤≤-=0,1),;(bx a a b b a x p ，求a ，b 的矩估计.解 由2)(121)(,2)(a b X D b a X E -=+= 得方程组：⎪⎪⎩⎪⎪⎨⎧-==-=+∑=n i i X X n X V a r a b X b a 122.)(1)()(121,2解此方程组，得到矩估计量: .)(3ˆ , )(3ˆX Var X b X Var X a+=-= 6.1.2最大似然估计定义6.1.1 设总体的概率函数为);(θx p ，Θ∈θ，其中θ是一个未知参数或几个未知参数组成的参数向量，Θ是参数θ可能取值的参数空间，n x x x ,,21 是来自该总体的样本，将样本的联合概率函数看成θ的函数，用),,;(21n x x x L θ表示，简记为)(θL ，);();();(),,;()(2121θθθθθn n x p x p x p x x x L L ==)(θL 称为样本的似然函数。
西北工业大学《概率论与数理统计》课件-第六章 参数估计
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L
ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
第六章 时间序列分析-参数估计
例:求MA(1)模型系数的矩估计
MA(1)模型 方程 xt t 1 t 1
0 (1 12 ) 2 1 1 1 2 矩估计 0 1 12 1 1
ˆ 1 1 4 12 ˆ1 ˆ 2 1
f X1 , X 2 , X3 x1 , x2 , x3 ; , 2 f X1 , X 2 x1 , x2 ; , 2 f X3 X 2 , X1 x3 x2 , x1 ; , 2
24
极大似然估计
一般地，样本中第 t 个 X t 在前 t-1 个已知的条件下，由于模 型的特点，实际上前 t-1 个 X t 1 ,, X1 只有 X t 1 作用于 X t ，因此 有
ˆ 其中 k y
ˆˆ ˆ
i 0 j 0 i
p
p
j i j k
, k 0,1,, q
13
对矩估计的评价
优点
估计思想简单直观 不需要假设总体分布 计算量小（低阶模型场合）
缺点
信息浪费严重 只用到了p+q个样本自相关系数信息，其他信息都被忽
15
极大似然估计
本节将要讨论的是根据极大似然原理，给出模型参数 1 ,, p ，
1 ,,q 和白噪声方差 2 的极大似然估计。为此，首先需要给定样本
x1,, xT 的联合分布，
F x1,, xT ; θ
θ 1 , , p , 1 , , q , 2 。 其中
3. ARMA模型的矩估计 第一步，先给出AR部分的参数 估计。
1 ,, p
的矩
q1 q 12 q p 1 p q 1 q 1 1 q 2 q p 2 p q 2 q p 11 q p 22 q p q p
第6章 参数估计
较 的样本容量
θ
B A
较 的样本容量
θ
ˆ θ
一致性： 一致性：
随着样本容量增大， 随着样本容量增大，估计量会越来越接近被估计 的参数。 的参数。即对任意的
→∞→ n
ε >0
，有
ˆ lim P{| θ −θ |< ε} =1
则称 θ 是参数θ的一致估计量。 ˆ 是参数θ的一致估计量。
X
µ -1.96 σx
+1.96σ µ +1.96σx
90%的样本 90%的样本 95% 的样本 99% 的样本
置信水平
1. 将构造置信区间的步骤重复很多次，置信 将构造置信区间的步骤重复很多次， 区间包含总体参数真值的次数所占的比例 称为置信水平. 称为置信水平. 2. 表示为 1 - a 是总体参数未在区间内的比例 3. a是总体参数未在区间内的比例 是总体参数未在区间内的比例 常用的置信水平值有 99%,
• 如某班级平均分数在75～85之间，置信水平是95% 如某班级平均分数在75～85之间，置信水平是95% 75 之间 95
5.1.3. 评价估计量的标准
1.无偏性： 无偏性：
ˆ ˆ 如果 E(θ ) =θ ，即估计量 θ 的数学 期望等于被估计的总体参数， 期望等于被估计的总体参数，我们称估计量
（35）4 35） （45）4.5 45） （55）5 55）
无偏性：估计量抽样分布的数学期望等于被 估计的总体参数. 估计的总体参数 .
ˆ P(θ)
偏 偏
A
B
ˆ θ
θ
样本平均数是总体平均数的无偏估 样本平均数是总体平均数的无偏估 计量。 计量。
以无偏性来评判估计量是很合理的。一 以无偏性来评判估计量是很合理的。 个好的估计量就某一个具体的估计值而言 可能不等于总体参数值， ，可能不等于总体参数值，但平均来看有 向估计的总体参数集中的趋势。 向估计的总体参数集中的趋势。
第六章参数估计基础
1总体分布的形态和样本含量对样本均数的抽样分布会产生何种影响？
从正态分布的总体中随机抽样，样本均数呈正态分布；从非正态分布的总体中随机抽样，样本量n较小时，样本均数的分布仍呈非正态分布，当样本量n足够大时，样本均数的分布近似正态哦分布。
计算：σXbar=σ/√n.在实际应用中，总体标准差σ常常未知，需要用样本标准差S来估计。此时，均数标准误的估计值为SXbar=S/√n.由此式可见，若增加样本含量n可减小样本均数的抽样误差。
主要应用：1估计总体均数的置信区间。 2均数的假设检验。
样本频率的抽样分布和抽样误差：频率的标准误用符号σp表示，它反映了样本频率之间以及样本频率与总体概率之间的离散程度，也反映了样本频率抽样误差的大小。
1.点估计：直接用随机样本的样本均数Xbar作为总体均数μ的估计值或用样本频率p作为总体概率π的估计值的方法称为点估计。这是一种没有考虑抽样误差的简单估计方法。
2.区间估计：用已知样本统计量和标准误确定总体参数所在范围的方法称为区间估计。所估计的总体参数的范围通常称为参数的置信区间，，是一个开区间，这一估计可相信的程度称为置信度或置信水平。若标准差不变，置信度由95%提高到99%，置信区间便由窄变宽，估计的精度下降。
计算：σp=√（π(1-π)/n）。在实际应用中，总体概率π常常未知，需要用样本频率p来估计。因此频率标准误的估计值为Sp=√（p(1-p)/n-1）约等于 √（p(1-p)/n）。由此式可见，增加样本含量n可减小样本频率的抽样误差。
主要应用：1估计总体概率的置信区间 2频率指标的假设检验。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
区间估计与假设检验的区别
目的不同：区间估计的目的是对未知参数的
一个取值变化范围的检验；假设检验是对已经 给出的有关未知参数的一个说法作检验。
态度不同：对未知参数给出估计的取值区间
σ未知时，μ的1- α置信区间：
s x t , df n 1 2 n
影响区间宽度的因素
数据的离散程度（用 s 来测度） 样本容量 n 置信水平 1 - α
【例 1】某大学从该校学生中随机抽取 100 人，调查到 他们平均每天参加体育锻炼的时间为 26 分钟。试以 0.95 的置信水平估计该大学全体学生平均每天参加体 育锻炼的时间（已知总体标准差为6分钟）。 解： 已知 x ＝26，=6，n=100，1- = 0.95，Ｚ/2=1.96 , x Z 2 x Z 2 n n 6 6 26 1.96 , 26 1.96 100 100 24.824, 27.176 以 95 ％的概率保证平均每天参加锻炼 的时间在24.824～27.176 分钟之间。
σ已知时，μ的1 - α置信区间：
x u
2
n
σ未知时，μ的1- α置信区间可由下式导出：
P t t t 2 2
1
1
x P t t s 2 2 n
s s P x t x t 1 n n 2 2
1. μ 的置信区间
σ 已知 σ 未知
σ已知时，μ的(1- α) 置信区间可由下式导出：
P u u u 2 2
x P u u 2 2 n
1
1
P x u x u 1 n n 2 2
2
估计量的评判准则-（有效性）
有效性：一个方差较小的无偏估计量称为一个 更有效的估计量。
P(X )
均值的抽样分布
B A
中位数的抽样分布
X
估计量的评判准则-（相容性）
相容性：随着样本容量的增大，估计量越来越 接近被估计的总体参数。
P(X )
较大的样本容量
B
较小的样本容量
A
X
小结
样本平均数和方差具有无偏性、有效性 和相容性等特点，因此样本平均数和方 差分别是 和 σ2 的最优估计。
2
df 2 ,df1 ,
2
df1 ,df 2 ,
s2
μ的双侧 (1-α) *100%置信区间: X t / 2,n1 s / n
对于假设检验： 如果拒绝H0(在α水平)，则必有t < -tα/2,n-1或t > tα/2,n-1。
t x 0 / s / n t / 2,n1
x 0 t / 2, n 1s / n
区间包含总体未知参数的概率 表示为(1- α)
α 为显著性水平，是总体参数未包含在区间 内的概率
常用的置信水平值有 0.99，0.95，0.90
相应的显著性水平为 0.01，0.05，0.10
置信区间和置信水平
置信区间 样本统计量 (点估计)
置信下限
置信上限
例如：某班级平均分数在75～85之间，置信 水平是0.95。
可以导出μ1 - μ2的1 - α置信区间为：
x1 x 2 u
2
12
n1
2 2
n2
3.平均数差的置信区间
σi未知但相等时，
用类似的方法可以得到μ1 - μ2的1 - α置信区间：
x1 x 2 t
2
n1 1s12 n2 1s22
2
E ( X i2 ) nE ( X 2 ) n(V ( X ) E ( X ) 2 ) n( 2 2 )
n
E ( X i X ) nE ( X 2 )
E ( X ) V ( X ) E ( X )2
i 1 2
i 1 n
2
n 1 2 E (S ) (n( 2 2 ) ( 2 n 2 )) 2 n 1
第六章 参数估计
主要内容
点估计 区间估计
参数估计：
由样本统计量估计总体参数。 是估计总体参数的统计量。
估计量：
点估计
定义：从总体中抽取一个样本，根据该样 本的统计量对总体的未知参数作出一个数 值点的估计。例如：
总体平均数 可以由样本平均数、中位数和 众数来估计。 总体方差 σ2 可以用以下两个统计量估计：
区间估计与假设检验的关系
（为什么会得到相同的统计推断）
对于区间估计：
假设我们检验 H0: μ=μ0；HA: μ≠μ0 分析：对于双侧显著性水平 α，当且仅当 μ 的双侧 (1-α) 置信区间不包含 μ0 时，则在 α 水平拒绝 H0；而当且仅当 μ 的双侧 (1-α) 置 信区间包含 μ0 时，则在 α 水平接受H0。
时，应该有相当大的概率(1- α)；假设检验是确 定对不能接受这个假设的容忍界限，不是非常 有把握不拒绝原假设。
3.平均数差的置信区间
σi已知时，由
x1 x 2 1 2 P u u 1 2 2 1 2 2 2 n n 1 2
σ 的 1 - α 置信区间为：
n1 n1
s
2 2
, s
2 1
2
【例2】一个混杂的小麦品种，株高标准差σ0＝14 cm，经提纯后随机抽出10株，它们的株高为：90、 105、101、95、100、100、101、105、93、97 cm， 考查提纯后的群体是否比原群体整齐？
解： H0：σ＝14；HA：σ ≠ 14 将小麦提纯试验的有关数据s = 4.92, n = 10及 上下侧分位数代入下式，
2 s 2F 2 2 df , df , 1 2 s2 2 2 P 2 2 2 s F s 1 1 1 df2 ,df1 , 2
1
1
5.方差比的置信区间
由此得出σ1/σ2的1 - α置信区间：
s2
s1 F
s1 F ,
1 n 2 ( X X ) i n i 1
1 n 2 ( X X ) i n 1 i 1
哪一个统计量是总体参数的最优估计量？
估计量的评判准则-（无偏性）
无偏性：估计量的数学期望等于总体参数。
P( X )
无偏 B A
有偏
C
X
μ
1 n 2 2 2 S ( X X ) 要证 E(S ) i n 1 i 1 1 n 1 2 先证 V ( X ) V ( X i ) 2 nV ( X i ) n i 1 n n n 1 n 1 2 2 2 2 E (S ) E ( ( X X ) ) E ( ( X 2 X X X )) i i i n 1 i 1 n 1 i 1
2
n 1s
2 0
2
x
i 1
10
i
x
2 0
218.1 1.11 2 14
解：
H0的拒绝域：因HA： σ < σ0 ，故为左尾检验， 当 χ2 <χ21－α时拒绝H0 （χ29, 0.99=2.09）。 结论： χ2=1.11<χ29, 0.99=2.09, 即P < 0.01，所以拒绝零 假设。 因此植株经提纯后变得非常整齐 。
s n1
2 2
, s
n1
2
1 2
解：得出 σ 的0.99置信区间为：（3.04，11.21）。 H0：σ＝14不包含在置信区间内，应拒绝H0。 用置信区间进行假设检验：如果任一指定的值 μ0 不落在 μ 的双侧 (1-α) 置信区间内，则我们说 这个参数 μ 与 μ0有显著的差异，显著水平为 α。
【对比】一个混杂的小麦品种，株高标准差 σ0＝14 cm，经提纯后随机抽出10株，它们 的株高为：90、105、101、95、100、100、 101、105、93、97 cm，考查提纯后的群体 是否比原群体整齐？ 解：小麦株高是服从正态分布的随机变量
假设：H0： σ = σ0 =14 cm HA： σ < σ0 显著性水平： α＝ 0.01 使用χ2检验，ss＝218.1
点估计的问题
如果样本均值x = 3 ，则 3 就是 的估计 值。 只给出了未知参数估计值的大小，没有考 虑抽样误差。
区间估计
区间估计：根据一个样本的观察值给出总 体参数的估计范围（区间）
该区间由样本统计量加减抽样误差而得到的 总体参数被包含在这一区间的概率称为置信 水平
置信水平
2. σ 的置信区间
2 n 1 s 2 2 P 1 2 1 2 2
2 2 n 1 s n 1 s 2 P 1 2 2 1 2 2
n 1 n 1 Ps s 1 2 n 1s / n
μ的双侧 (1-α)置信区间即
对于假设检验：
X t / 2,n1 s / n
如果拒绝H0(在α水平)，则必有t < -tα/2,n-1或t > tα/2,n-1。 类似地，如果t > tα/2,n-1，则