第7章 参数估计

郑州轻工业学院数学与信息科学系第七章：参数估计概率统计教研组统计推断是根据样本所提供的信息对总体的特性作出种种推断，参数估计是统计推断的重要问题之一它是在总体的分布类型已知时，利用观测数据对总体中的未知参数进行估计．本章学习总体参数的两种估计方法，点估计和区间估计．●【装配线的平衡问题】使装配线达到平衡是一项重要的经营管理活动，主要目标是确保不同操作台的操作耗用近似相同的时间．如果装配线不平衡，操作员就会出现有时无事可做，有时忙不过来的现象．结果，产品堆积在费时的操作台上，影响整个装配线的效率．建立装配线，经常要使用各种管理科学工具，常常需要估计各个操作台的平均装配时间，以对装配线进行合理的调整．●【装配线的平衡问题】下面随机记录了某装配线两个操作台各30次的装配时间(单位:分钟)，如何估计操作台的平均装配时间？它们的平均装配时间有无显著差异?X 2.27 1.87 1.93 2.25 1.21 1.66 1.64 1.73 2.41 1.95 2.12 1.82 2.09 1.05 2.04 2.27 2.32 2.57 1.95 2.07 1.36 2.18 1.86 2.61 1.24 2.05 1.76 2.11 2.04 1.74Y 2.96 2.6 3.23 3.86 3.82 3.89 3.54 3.21 2.76 3.44 2.96 3.34 2.67 4.12 4.38 2.75 2.45 3.28 3.7 3.47 3.31 3.39 3.35 3.26 3.6 3.54 2.75 3.91 3.19 3.1主要内容：§7.1参数的点估计§7.2参数的区间估计第七章：总结7.1.1点估计问题的一般提法【定义7.1】设总体X 的分布函数F (x ;θ1,θ2,…,θm )形式已知，但其中含有一个或多个未知参数：θ1,θ2,⋯,θm ，又设X 1，X 2，…，X n 为总体的一个样本，x 1，x 2，…，x n 是样本观测值，构造m 个统计量：用的观测值作为未知参数θi 的近似值的方法称为点估计法．称为未知参数θi 的估计量，称为未知参数θi 的估计值．,,...,2,1),,,,(ˆ21m i X X X ni = θ),,,(ˆ21n i X X X θ),,,(ˆ21ni x x x θ),,,(ˆ21ni X X X θ),,,(ˆ21ni x x x θ●7.1.1点估计问题的一般提法进行点估计关键是构造统计量，不同的统计量得到的估计值是不同的.下面介绍两种常用的点估计方法：矩估计法和最大似然估计法7.1.2矩估计【定义】用样本k阶矩来近似总体k阶矩，这种用样本矩去估计总体相应矩的方法，即是所谓的矩估计法．●7.1.2矩估计方法：设总体X 的分布有m 个参数θ1,θ2,…,θm ,且总体的k 阶矩μk =E (X k )存在(1)计算出前m 阶总体矩(2)用样本k 阶矩近似相应的总体k 阶矩的原则，即令(3)解上述关于参数θ1,θ2,⋯,θm 的方程组便得到参数的估计量称为参数θ1,θ2,⋯,θm 的矩估计量⎪⎩⎪⎨⎧==),,,(...........),,,(212111m m m mθθθμμθθθμμ ⎪⎩⎪⎨⎧==),,,(...........),,,(212111m m mm A A θθθμθθθμ ),,,,(ˆˆ21ni i X X X θθ=●7.1.2矩估计方法：设总体X 的分布有m 个参数θ1,θ2,…,θm ,且总体的k 阶矩μk =E (X k )存在(1)计算出前m 阶总体矩(2)用样本k 阶矩近似相应的总体k 阶矩的原则，即令(3)如果样本观测值为x 1,x 2,…,x n ，称的观测值为θ1,θ2,⋯,θm 的矩估计值⎪⎩⎪⎨⎧==),,,(...........),,,(212111m m m mθθθμμθθθμμ ),,,(ˆˆ21ni i X X X θθ=),...,,(ˆ21n i x x x θ⎪⎩⎪⎨⎧==),,,(...........),,,(212111m m mm A A θθθμθθθμ7.1.2矩估计【例7-1】设总体X 的均值μ和方差σ2都存在，但μ和σ2均未知，求μ和σ2的矩估计量．解：设X 1,X 2,…,X n 为总体X 的一个样本，总体X 的一阶、二阶矩分别为用样本矩A 1和A 2分别代替总体矩μ1和μ2，得解之1ˆA =μ;1μμ==EX 22EX =μ222)(μο+=+=EX DX ;1μ=A 222μο+=A ;11X X n n i i ==∑=7.1.2矩估计【例7-1】设总体X 的均值μ和方差σ2都存在，但μ和σ2均未知，求μ和σ2的矩估计量．解：设X 1,X 2,…,X n 为总体X 的一个样本，总体X 的一阶、二阶矩分别为用样本矩A 1和A 2分别代替总体矩μ1和μ2，得解之2122ˆA A -=σ;1μμ==EX 22EX =μ222)(μο+=+=EX DX ;1μ=A 222μο+=A 221)(1B X X n ni i =-=∑=2X -∑==n i i X n 121●7.1.2矩估计【评注】对任意总体X,其均值μ和方差σ2的矩估计都分别:常用分布中参数的矩估计：(1)X ~B (n ,p )(n 已知):(2)X ~P (λ):(3)X ~U (0,b ):(4)X ~Exp (θ):(5)X ~N (μ,σ2):μˆ;11X X n n i i ==∑=2ˆσ221)(1B X X n n i i =-=∑=,ˆX =μ22ˆB =σ.ˆX =θ.ˆX =λ.2ˆX b =n X p/ˆ=●7.1.2矩估计【例7-2】设一大批产品的合格率是p ，每次从中抽出10件进行检验，共抽15次，每次抽出的10件中合格品的个数记录如下，求合格率p 的矩估计值．887979789888798解：用X i 表示第i 次抽出的10件中合格品的个数，i =1,2,…,15,则可以认为X 1，X 2，…，X 15独立同分布，是来自二项分布总体X ～B(10，p )的样本．由于为E (X )=10p 的矩估计量，所以p 的矩估计值为：%801015120==X 1015...10/ˆ1521x x x x p +++==●7.1.2矩估计【例7-3】设总体X 的概率密度为其中θ(θ>–1)为待估参数，X 1，X 2，…，X n 为总体的一个样本，求θ的矩估计量．解：由于只有一个待估参数，只需写出总体的一阶矩用A 1代替μ1，得θ的矩估计量为⎩⎨⎧<<+=其他,010,)1();(x x x f θθθ)(1X E =μ121ˆ11--=A A θdx x x θθ⎰+=10)1(121--=X X 21++=θθ●7.1.3最大似然估计【最大似然思想】【例】有个两外形相同的箱子，各装100个球：第一箱99个白球1个红球第二箱1个白球99个红球现从两箱中任取一箱，并从箱中任取一球，结果所取得的球是白球，试估计所取到的球来自哪一箱？答案是第一箱．因为第一箱更有利于白球的出现．这种思考问题的方法，称为最大似然思想●7.1.3最大似然估计【最大似然估计法】若X,X2,…,X n为总体X的一个样本1,x2,…,x n出现时,若要估计总体X中的未当样本观测值x1知参数θ,自然要选取使x,x2,…,x n出现的“概率”达到最1大的作为θ的估计值了●7.1.3最大似然估计若X 是离散型总体，其分布律为P {X =x }=P (x ;θ)，x 1,x 2,…,x n 出现的概率是(7.1) 于是，θ的估计值应为L (θ)最大值点，即其中Θ为θ的取值范围．称这样得到的为θ的最大似然估计值称为θ的最大似然估计量．);,...,,()(21θθn x x x L L =∏==n i i x p 1)(θ；)ˆ;,...,,()ˆ(21θθn x x x L L =∏=∈=n i i x p 1)(max θΘθ；θˆ);,...,,(max 21θθn x x x L Θ∈=),,,(ˆˆ21nx x x θθ=),,,(ˆˆ21n X X X θθ=●7.1.3最大似然估计若X 是连续型总体，其概率密度为f (x ;θ)，由于(7.2) 刻画了X 1，X 2，…，X n 在x 1，x 2，…，x n 附近小邻域内出现概率，于是θ的估计值也应为L (θ)最大值点，即其中Θ为θ的取值范围．称此为θ的最大似然估计值，称为θ的最大似然估计量．称(7.1)和(7.2)式是基于x 1，x 2，…，x n 的似然函数．∏===n i i n x f x x x L L 121)();,...,,()(θθθ；);,...,,(max )ˆ;,...,,()ˆ(2121θθθΘθn n x x x L x x x L L ∈==∏=∈=n i i x f 1)(max θΘθ；),,,(ˆˆ21nx x x θθ=),,,(ˆˆ21n X X X θθ=●7.1.3最大似然估计求最大似然估计值就是求似然函数L (θ)的最大值点 【步骤】(1)求似然函数L (θ)=L (x 1,x 2,…,x n ;θ)或对数似然函数ln L (θ)=ln L (x 1,x 2,…,x n ;θ)(2)求似然函数L (θ)=L (x 1,x 2,…,x n ;θ)的最大值点或对数似然函数ln L (θ)=ln L (x 1,x 2,…,x n ;θ)的最大值点方法：在似然函数可微的情况下，解方程（7.3)或(7.4)0);,...,,()(21==θθθθd x x x dL d dL n 0);,...,,(ln )(ln 21==θθθθd x x x L d d L d n 似然方程对数似然方程●7.1.3最大似然估计上述方法同样适用于总体分布中含有多个为知参数θ1，θ2，…，θm 的情形．此时，只需要求出似然函数或者对数似然函数的最大值点就可以了．),...,,;,...,,(),...,,(212121m n m x x x L L θθθθθθ=),...,,;,...,,(ln ),...,,(ln 212121m n m x x x L L θθθθθθ=●7.1.3最大似然估计【例7-4】总体X 服从参数为λ的泊松分布，λ（λ>0）未知，求参数λ的最大似然估计量．解：设X 1,X 2,…,X n 是来自X 的样本，x 1,x 2,…,x n 是样本观测值．由于X 的分布律为故基于x 1,x 2,…,x n 的似然函数为对数似然函数为{} ,2,1,0!);(====-x e x x p x X P xλλλ);,,,()(21λλn x x x L L =)(ln λL ∏=-=ni i x ex i1!λλ∏=-∑==ni ix n x eni i1!1λλλln 1∑+=n i i x λn -=!ln i nx ∑-●7.1.3最大似然估计【例7-4】总体X 服从参数为λ的泊松分布，λ（λ>0）未知，求参数λ的最大似然估计量．解：对数似然函数为 对数似然方程为 解之得 由于 所以λ的最大似然估计值和最大似然估计量分别为为!ln ln )(ln 11i n i ni i x x n L ∑==-∑+-=λλλ01)(ln 1=∑+-==n i i x n L d d λλλx x n n i i =∑==11λ01)(ln 1222<∑-==n i i x L d d λλλ;1ˆx x n n i=∑=λX X n i =∑=1ˆλ●7.1.3最大似然估计【例7-5】设总体X 的概率密度为其中θ(θ>–1)为待估参数，求θ的最大似然估计量．解：设X 1，X 2，…，X n 为总体X 的一个样本，x 1，x 2，…，x n 是样本观测值．似然函数为当0<x 1,x 2,…,x n <1时，⎩⎨⎧<<+=其它,010,)1();(x x x f θθθ)(θL ∏==ni i x f 1);(θ)(ln θL ⎩⎨⎧<<+=其它,01,...,,0,)...()1(2121n n n x x x x x x θθ∑=++=n i ix θn 1ln 1)(ln θ●7.1.3最大似然估计【例7-5】设总体X 的概率密度为其中θ(θ>–1)为待估参数，求θ的最大似然估计量．解：当0<x 1,x 2,…,x n <1时， 令 解得 由于⎩⎨⎧<<+=其它,010,)1();(x x x f θθθ∑=++=ni ix θn L 1ln ln )(ln θθ1)(0ln 1)(ln 1=∑++==n i i x n L d d θθθ∑--==ni ix n 1ln 1θ0)1()(ln 222<+-=θθθn L d d●7.1.3最大似然估计【例7-5】设总体X 的概率密度为其中θ(θ>–1)为待估参数，求θ的最大似然估计量．解：当0<x 1,x 2,…,x n <1时， 令 解得 所以，θ的最大似然估计值为⎩⎨⎧<<+=其它,010,)1();(x x x f θθθ∑=++=ni ix θn L 1ln ln )(ln θθ1)(0ln 1)(ln 1=∑++==n i i x n L d d θθθ∑--==ni ix n 1ln 1θ--=nn1ˆθ●7.1.3最大似然估计【例7-5】设总体X 的概率密度为其中θ(θ>–1)为待估参数，求θ的最大似然估计量．解：当0<x 1,x 2,…,x n <1时， 令 解得 所以，θ的最大似然估计量为⎩⎨⎧<<+=其它,010,)1();(x x x f θθθ∑=++=ni ix θn L 1ln ln )(ln θθ1)(0ln 1)(ln 1=∑++==n i i x n L d d θθθ∑--==ni ix n 1ln 1θ--=nn1ˆθ●7.1.3最大似然估计【例7-6】设X 1，X 2，…，X n 是N (μ，σ2)的样本，求μ与σ2的的最大似然估计量．解：设x 1，x 2，…，x n 是总体X 的样本观测值．由于X 的概率密度为 故似然函数为⎭⎬⎫⎩⎨⎧--=2222)(exp 21),;(σμσπσμx x f ∏=⎭⎬⎫⎩⎨⎧--=ni i x L 12222)(exp 21),(σμσπσμ⎪⎪⎪⎬⎫⎪⎪⎪⎨⎧--=∑=21222)(exp )()2(122σμσπn i i x n n●7.1.3最大似然估计【例7-6】设X 1，X 2，…，X n 是N (μ，σ2)的样本，求μ与σ2的的最大似然估计量．解：故似然函数为对数似然函数),(2σμL 2122)(σμ∑=--ni ix⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧--=∑=21222)(exp )()2(122σμσπn i i x n n ),(ln 2σμL )2ln(2πn -=2ln 2σn -●7.1.3最大似然估计【例7-6】设X 1，X 2，…，X n 是N (μ，σ2)的样本，求μ与σ2的的最大似然估计量．解：对数似然函数对数似然方程组2122)(σμ∑=--ni ix),(ln 2σμL )2ln(2πn -=2ln 2σn -22),(ln σσμ∂∂L ∑==-=ni ix120)(1μσμσμ∂∂),(ln 2L ∑==-+-=ni ixn 12420)(212μσσ●7.1.3最大似然估计【例7-6】设X 1，X 2，…，X n 是N (μ，σ2)的样本，求μ与σ2的的最大似然估计量．解：解对数似然方程组，即得可以验证，当时lnL(μ,σ2)达到最大值．μ和σ2的最大似然估计量分别为,1ˆ1∑==ni i x n μ∑=-=n i i x x n 122)(1ˆσ,ˆμμ=22ˆσσ=,1ˆ1∑==n i i x n μ∑=-=ni i x x n 122)(1ˆσ●7.1.3最大似然估计【例7-6】设X 1，X 2，…，X n 是N (μ，σ2)的样本，求μ与σ2的的最大似然估计量．解：μ和σ2的最大似然估计量分别为所以，对于正态分布总体来说，μ和σ2的最大似然估计与矩估计是相同的．在求参数的最大似然估计时，有时不需要建立似然方程或对数似然方程，直接观察似然函数就很容易得到其最大值点，从而得到参数的最大似然估计。