第七章参数估计

七、参数估计这一部分，“数学一”和“数学三”的考试大纲、考试内容和要求完全一致．“数学二”不考概率论与数理统计，而“数学四”只考概率论不考数理统计．Ⅰ、 考试大纲要求㈠ 考试内容考试大纲规定的考试内容为：点估计的概念 估计量和估计值 矩估计法 最大似然估计法 估计量的评选标准 区间估计的概念 单个正态总体均值的区间估计 单个正态总体方差和标准差的区间估计 两个正态总体的均值差和方差比的区间估计㈡ 考试要求(1) 理解参数的点估计、估计量与估计值的概念，了解评选估计量的基本标准——无偏性、有效性（最小方差性）与相合性（一致性）的概念，并会证明估计量的无偏性；会比较两个无偏估计量的方差；会利用大数定律证明估计量的相合性．(2) 掌握求估计量的方法——矩估计法和最大似然估计法；矩估计法一般只涉及一阶和二阶矩．(3) 掌握建立未知参数的（单侧或双侧）置信区间的一般方法，掌握正态总体的均值、方差、标准差和矩，以及与其相联系的特征的置信区间的求法．(4) 掌握建立两个正态总体的均值差和方差比，以及与其相联系的特征的置信区间的一般求法．Ⅱ、考试内容提要统计推断，就是由样本推断总体，是统计学的核心内容，其两个基本问题是统计估计和统计检验．统计推断的众多分支、应用、方法及原理都是围绕着估计与检验建立和展开的．参数估计，就是根据样本来估计总体的未知参数，分为点估计和区间估计．㈠ 评选估计量的标准点估计是用统计量的值估计未知参数的值；作估计用的统计量称为估计量；估计量是随机变量，它所取的具体值称为估计值．例如，对于任意总体X ，可以分别用样本均值X 和样本方差2S 做总体的数学期望X E 和方差X D 的估计量．我们用统计量()n n X X X g ,,,ˆ21 =θ（有时简记为θˆ）做未知参数θ的估计量，其中()n X X X g ,,,21 是简单随机样本()n X X X ,,,21 的函数．同一个未知参数θ一般有多个可供选择的估计量．评选估计量的标准，是对于估计量优良性的要求，考试大纲要求掌握无偏性、有效性（最小方差性）、相合性．1、无偏性 称估计量θˆ为未知参数θ的无偏估计量，如果θˆE =θ． 2、有效性 假设1θˆ和2θˆ都是θ的无偏估计量，那么如果1ˆθD ≤2ˆθD ，则称估计量1θˆ比2θˆ更有效．在未知参数θ任何两个无偏估计量中，显然应该选更有效者——方差较小者．3、相合性 称估计量()n n X X X g ,,,ˆ21 =θ为未知参数θ的相合估计量，如果nˆθ依概率收敛于θ．换句话说，当n 充分大时，相合估计量n θˆ以十分接近１的概率近似等于它所估计的未知参数θ，即{}1ˆ≈≈θθnP ．相合性一般是大数定律的推论．㈡ 求估计量的方法考试大纲要求掌握最常用的两种求估计量的方法：矩估计法和最大似然估计法．1、矩估计法 矩估计法，是用样本矩估计相应的总体矩、用样本矩的函数估计总体矩相应函数的一种估计方法．矩估计法无需知道总体的分布．总体的k 阶原点矩和k 阶中心矩定义分别定义为k k X E =α 和 ()k k X X E E -=μ(k=0,1,2,…)．考试大纲只涉及一阶矩和二阶矩．矩估计法的步骤为：(1) 用k 阶样本原点矩k ˆα估计k 阶总体原点矩k α，用k 阶样本中心矩k ˆμ估计总体的k 阶中心矩k μ．例如，用一阶样本原点矩——样本均值X =1αˆ估计总体的数学期望1α=X E ，用二阶样本中心矩——未修正样本方差22ˆμ=n S 估计总体的方差D X 2μ=． (2) 设()21ααθ,f =是一阶原点矩1α和二阶原点矩2α的函数，则()21ααθˆ,ˆf ˆ=就是()21ααθ,f =的矩估计量(见例7.19)．(3) 设()21,ααθi i f =(i=1,2)是一阶原点矩1α和二阶原点矩2α的函数，则() ˆ,ˆˆ21ααθi i f =就是()21,ααθi i f =(i=1,2)的矩估计量(见例7.5、例7.18~7.20)．2、最大似然估计法 最大似然估计法要求事先知道总体分布的数学表达式．我们用概率函数()θ;x f 表示总体X 的概率分布，其中θ是一维参数或()21,θθθ=是二维参数．对于离散型总体X ，其概率函数为(){}⎩⎨⎧==．的可能值不是若的可能值；是若 , 0, ;X x X x x X x f θθP (7.1) 对于连续型总体X ，其概率函数()θ;x f 就是概率密度．(1) 似然函数 设总体X 的概率函数为()θ;x f ，()n X X X ,,,21 是来自总体X 的简单随机样本，则称函数()()()()θθθθ;;;21n X f X f X f L = (7.2a)为参数θ的似然函数；称函数()()()()θθθθ;ln ;ln ;ln ln 21n X f X f X f L +++= (7.2b)为对数似然函数，亦简称似然函数．(2) 最大似然估计量 对于给定的样本值()n x x x ,,,21 ，使似然函数()θL 或()θL ln 达到最大值的参数值θˆ，称做未知参数θ的最大似然估计值．对于几乎一切样本值()nx x x ,,,21 ，使似然函数()θL 或()θL ln 达到最大值的估计量θˆ，称做未知参数θ的最大似然估计量，即最大似然估计量θˆ（以概率1）决定于条件：()()()αθθα；；nn X X X L X X X L L ,,,max ˆ,,,ˆ2121 ==． (3) 似然方程 由函数有极值的必要条件，得方程()0d d =θθL 或()()()0d ;d ;1d dln 1==∑=θθθθθi n i i X f X f L ， (7.3) 称做参数θ的似然方程；假如未知参数()21,θθθ=是二维的，则得似然方程（组）()()⎪⎪⎩⎪⎪⎨⎧=∂∂=∂∂;0,021θθθθL L 或 ()()()()()()⎪⎪⎩⎪⎪⎨⎧=∂∂=∂∂=∂∂=∂∂∑∑==．0 ; ;1ln ,0 ; ;1ln 122111ni i i ni i i X f X f L X f X f L θθθθθθθθθθ (7.4)在相当广泛的情形下，似然方程的解就是最大似然估计量．一般，要用微积分中判断最大值的方法来判断似然方程的解是否最大似然估计量．有时，只能用近似计算的方法求解似然方程．在有些情形下，似然函数对θ的导数不存在，这时应采用其他方法求最大似然估计量(见例7.19，例7.21和例7.27)．(4) 最大似然估计量的函数 假设参数θ的函数()θτg =有唯一反函数，而θˆ是θ的最大似然估计量，则()θˆˆg T=是()θτg =的最大似然估计量．㈢ 参数的区间估计未知参数θ的区间估计，亦称 “置信区间”，是以统计量为端点的随机区间)ˆ ,ˆ(21θθ,它以充分大的概率包含未知参数θ的值，其中区间的端点1ˆθ和2ˆθ是统计量． 1、置信区间 设θ是总体X 的未知参数，()n X X X ,,,21 是来自总体X 的简单随机样本，21ˆ,ˆθθ是两个统计量，满足{}αθθθ-=<<1ˆˆ21P ， (7.5) 则称随机区间)ˆ ,ˆ(21θθ为参数θ的置信度为α-1的区间估计或置信区间，简称为θ的α-1置信区间；区间的端点——统计量21,θθˆˆ分别称做置信下限和置信上限．对于具体的样本值),,,(21n x x x ，)ˆ ,ˆ(21θθ是直线上一个普通的区间，称做置信区间的一个实现． 置信度是随机区间)ˆ ,ˆ(21θθ“包含”或“覆盖”未知参数θ的值的概率．置信度一般选充分接近１的数，例如α-1＝0.95．直观上，如果多次使用置信度为0.95的置信区间)ˆ ,ˆ(21θθ估计参数θ，则该区间平均有95%的实现包含θ的值，不包含θ值的情形大致只有5%左右．2、单侧置信区间 设) ,ˆ(b θ和)ˆ ,(θa 都是参数θ的α-1置信区间，其中a 和b 是已知常数或无穷大，则) ,ˆ(b θ称做下置信区间，而)ˆ ,(θa ——上置信区间． 3、置信区间的求法 设θ是总体X 的未知参数，X ＝()n X X X ,,,21 是来自总体X 的简单随机样本．建立未知参数θ的α-1置信区间的一般步骤为（见例7.26和例7.27）：(1) 选择一个包含参数θ的样本的函数()θ；X f T =，但是其分布不依赖于参数θ；假设()T g ；X =θ是()θ；X f T =的反函数；(2) 对于给定的置信度α-1，根据T 的概率分布选两个常数(分位数)21λλ,使之满足条件{}αλλ-=<<121T P ； (7.11)(3) 利用()T g ；X =θ和()θ；X f T =之间的反函数关系，由(7.11)式可得{}{}2121ˆˆ1θθθλλα<<=<<=-P P T ， 其中，若()θ；X f T =是θ的增函数，则()11ˆλθ；X g =，()22ˆλθ；X g =；若()θ；X f T =是θ的减函数，则()11ˆλθ；X g =，()22ˆλθ；X g =；由此得参数θ的α-1置信区间()21 ,θθˆˆ． 注 式(7.11)中21λλ,的选择有一定任意性，因此具有相同置信度的置信区间并不惟一．对于对称分布（如正态分布、t 分布）以及偏度不大的分布（如2χ分布和F 分布），通常按如下原则选取21λλ,：{}{}221αλλ=≥=≤T T P P ． (7.12)㈣ 正态总体参数的区间估计正态总体参数的置信区间，主要是一个正态总体均值和方差的置信区间，以及两个正态总体均值差和方差比的置信区间．1、一个正态总体参数的区间估计 假设总体()2,σμN~X ，()n X XX ,,,21是来自总体X的简单随机样本；X 是样本均值，2S 是样本方差．表7-1列出了μ和2σ的α-1置信区间．表7-1 μ和2-12、两个正态总体参数的区间估计 假设2,~x a N X σ，2,~y b N Y σ；()m X X X ,,,21 和()n Y Y Y ,,,21 分别是来自总体X 和Y 的简单随机样本，，2x S ，Y ，2y S 是相应的样本均值和样本方差；2xy S 是联合样本方差(见(6.16)式)．b a -和22yxσσ的α-1置信区间列入表7-2．Ⅲ、 典型例题分析〖填空题〗例7.1（估计量） 假设总体X 服从参数为λ的泊松分布，n X X X ,,,21 是来自总体X 的简单随机样本，X 是样本均值，2S 是样本方差，则对于任意实数α，[]2)1(S X αα-+E = ．分析 熟知，对于任何总体 X ，样本均值X 是总体数学期望的无偏估计量，样本方差2S 是总体方差的无偏估计量；对于泊松分布，数学期望和方差都等于分布参数λ，因此[]λλααλαααα=-+=-+=-+)1()1()1(22S X S X E E E ．例7.2（最大似然估计量） 设总体X 服从参数为λ的泊松分布，n X X X ,,,21 是来自总体X 的简单随机样本，则概率{}1≥X P 的最大似然估计量为 ．分析 熟知，样本均值是参数λ的最大似然估计量，而{}{}λ--==-=≥e 1011X X P P 是λ的单调函数．根据最大似然估计量的性质，--e 1是λ--e 1的最大似然估计量，即概率{}1≥X P 的最大似然估计量．例7.3（最大似然估计量） 设总体X 的概率密度为：⎩⎨⎧<≥=--；，，，若若θθθθx x x f x 0e );()( ()n X X X ,,,1 是来自总体X 的简单随机样本，则未知参数θ的最大似然估计量θˆ= ．分析 参数θ的似然函数为．θθθθn X ni X ni ini i i X f L +-=--=∑====∏∏1ee);()(1)(1由此可见，其似然方程无解，需要直接求其似然函数⎪⎩⎪⎨⎧≥⎭⎬⎫⎩⎨⎧∑+-==，，，若不然若 0 ,,,exp )(211θθθn n i i X X X n X L 的最大值．当θ<n X X X ,,,21 时0)(=θL ，而当θ≥n X X X ,,,21 时，即当{}θ≥n X X X ,,,min 21 时)(θL 随θ的增大而增大，当{}n X X X ,,,min 21 =θ时)(θL 取最大值．例7.4（矩估计量） 设来自总体X 的简单随机样本()n X ,,X 1，总体X 的概率分布为⎪⎪⎭⎫ ⎝⎛--θθθ312201~X ，其中0<θ<1/3．试求未知参数θ的矩估计量．分析 总体X 的数学期望为θθθ82)31(22-=-+-=X E ．用样本均值X 估计数学期望X E ，得θ的矩估计量：．，)2(81ˆ82)31(22X X -=-=-+-=θθθθ 例7.5（矩估计量） 设总体X 的概率密度为⎪⎩⎪⎨⎧<<=-，，若不然，，若 0 10 );(1x x x f θθθ， 其中未知参数θ>0，n X X X ,,,21 是来自总体X 的简单随机样本，则θ的矩估计量为 ．分析 总体X 的数学期望（一阶原点矩）为1d d );(11+====⎰⎰∞∞-θθθθαθx x x x xf X E ．用一阶样本矩（样本均值）X =1ˆα估计总体X 的一阶矩X E =1α，得关于未知参数θ的方程，其解就是θ的矩估计量：)1(ˆX X -=θ． 例7.9（置信区间） 设正态总体X 的标准差为1，由来自X 的简单随机样本建立的数学期望μ的0.95置信区间，则当样本容量为25时置信区间的长度L = ；为使置信区间的长度不大于0.5，应取样本容量≥n ．分析 正态总体的数学期望μ的0.95置信区间的一般公式为⎪⎪⎭⎫⎝⎛--n X n X 0096.1 96.1σσ，，其中根据条件10=σ．由此可见，当样本容量为n 已知时置信区间的长度784.025192.3296.10==⨯=n L σ．当限定置信区间的长度不大于L 时，样本容量为n 应满足4656.615.013664.1592.3220==⎪⎭⎫ ⎝⎛≥L n σ．例7.10（无偏估计量） 设总体X 服从参数为λ的泊松分布；),,,(21n X X X 是来自X 的简单随机样本，则2λ的无偏估计量为 ．分析 熟知λ==X X D E ．设X 为样本均值，则()．，2222221λλλλλλ=-+=⎪⎭⎫ ⎝⎛-+=+=n n X n X n X X X E E D E 由此可见2λ的无偏估计量为．X nX 12-〖选择题〗例7.12（估计量） 设σ是总体X 的标准差，n X X X ,,,21 是来自总体X 的简单随机样本，则样本标准差S 是总体标准差σ的(A) 矩估计量． (B) 最大似然估计量．(C) 无偏估计量． (D) 相合估计量． [ D ] 分析 应选（D ）．因为总体标准差σ的矩估计量和最大似然估计量都是未修正的样本标准差，所以（A ）和（B ）不成立；样本方差是总体方差的无偏估计，但是样本标准差不是总体标准差的无偏估计，因此（C ）也不成立；从而只有（D ）正确．例7.13 设),(~),,(~22σσb N Y a N X ，并且相互独立；基于分别来自总体X 和Y 容量相应为9和11的简单随机样本，得样本均值X 和Y ，样本方差22yx S S 和；记 )108(181 ),(2122222212y x xy y x S S S S S S +=+=． 由熟知的事实“服从自由度为ν的2χ分布的随机变量的方差等于2ν”，可见2σ的4个无偏估计量221222,,,xyy x S S S S 中方差最小者是 (A) 2x S ． (B) 2y S ． (C) 212S ． (D) 2xy S ． [ D ]分析 应选（D ）．利用“自由度为ν的2χ分布的随机变量的方差等于2ν”,容易计算出4个无偏估计量221222,,,xy y x S S S S 的方差．事实上,228σx S 和2210y S 分别服从自由度为1ν=8和2ν=10的2χ分布，可见95100464181 4095441 510102 48828844422444212424242422242．；；；σσσσσσσσσσσσ=⎪⎪⎭⎫ ⎝⎛+==⎪⎪⎭⎫ ⎝⎛+==⨯==⨯=⎪⎪⎭⎫ ⎝⎛=xy y x xS S S S S D D D D D于是，估计量221222,,,xyy x S S S S 中方差最小者是2xy S ． 例7.15 设()n X X X ,,,21 是来自正态总体),(~2σμN X 的简单随机样本，为使()∑-=+-=1121n i i i X X k D成为总体方差2σ的无偏估计量，应选k=(A)11-n ． (B) n 1． (C) ()121-n ． (D) n 21． [ C ] 分析 由条件知：222μσ+=X E ．假如统计量D 是总体方差2σ的无偏估计量，则()()()， 22112221112211121)1(22222σσμμσ=-=-+=-+=-=∑∑∑-=-=++-=+n k kX X X XkX XkD n i n i i i i i n i i iE E E ()121-=n k ．〖解答题〗例7.19（最大似然估计量） 假设随机变量X 在区间],[b a 上均匀分布，试求区间端点a 和b 最大似然估计量。