概率论与数理统计7-1

第一节点估计一、点估计问题的提法设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1在某炸药制造厂 , 一天中发生着火现象的 次数 X 是一个随机变量 , 假设它服从以 λ > 0 为参 数的泊松分布, 参数 λ 为未知 , 设有以下的样本值 , 试估计参数 λ .一、点估计问题的提法 二、估计量的求法 三、小结着火次数 k 发生 k 次着 火的天数 nk01234 5 675 90 54 22 6 2 1 Σ = 250点估计问题的一般提法 设总体 X 的分布函数 F ( x;θ )的形式为已知, θ 是待估参数 . X 1 , X 2 , 本, x1 , x2 , , X n 是 X 的一个样 , xn 为相应的一个样本值 .解因为 X ~ π(λ ),所以 λ = E ( X ).用样本均值来估计总体的均值 E(X).x=∑ knk k =0 ∑ nk k =066=1 (0 × 75 + 1 × 90 + 2 × 54 + 3 × 22 + 250 4 × 6 + 5 × 2 + 6 × 1)= 1.22.点估计问题就是要构造 一个适当的统计量 ( X 1 , X 2 , , X n ), 用它的观察值 θ ( x1 , x2 , , xn ) θ 来估计未知参数 θ . θ ( X 1 , X 2 , , X n )称为 θ 的估计量 . 通称估计 , θ ( x , x , , x )称为θ 的估计值 . 简记为 θ .1 2 n故 E ( X ) = λ 的估计为 1.22 .例2在某纺织厂细纱机上的 断头次数 X 是一个随机变量 , 假设它服从以 λ > 0 为参数的泊松分布 , 参数 λ 为未知, 现检查了150只纱锭在某一时间段 内断头的次数 , 数据如下, 试估计参数 λ .断头次数 k 断头 k 次的纱锭数 nk 0 1 2 3 4 5 6 45 60 32 9 2 1 1 150二、估计量的求法由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数估计值往往不同, 如何求估计量是关键问题. 常用构造估计量的方法: (两种)矩估计法、最大似然估计法.解 先确定一个统计量 X , 再计算出 X 的观察值 x ,把 x 作为参数 λ 的估计值 .x = 1.133 .λ 的估计值为 1.133.11. 矩估计法设 X 为连续型随机变量 , 其概率密度为 f ( x;θ1 ,θ 2 , 其中 θ1 ,θ 2 , ,θ k ), 或 X 为离散型随机变量 , ,θ k ), ,θ k 为待估参数 , 其分布律为 P { X = x } = p ( x;θ1 ,θ 2 ,l = E ( X l ) = ∫ x l f ( x;θ1 ,θ 2 , ,θ k )dx (X为连续型) ∞或 l = E ( X l ) =x∈R X+∞∑ x l p( x;θ1 ,θ 2 ,,θ k ), (X为离散型)若 X1 , X 2 ,, X n 为来自 X 的样本，,θ k 的函数 , 即其中 RX 是 x 可能取值的范围 , l = 1,2, , k 1 n 因为样本矩 Al = ∑ X il 依概率收敛于相应的 n i =1总体矩 l ( l = 1, 2, 的连续函数 . , k ), 样本矩的连续函数依概 率收敛于相应的总体矩假设总体 X 的前 k 阶矩存在 ,且均为 θ1 ,θ 2 ,矩估计法的定义 用样本矩来估计总体矩,用样本矩的连续函 数来估计总体矩的连续函数,这种估计法称为矩 估计法. 矩估计法的具体做法: 令 l = Al , l = 1, 2, , k .这是一个包含 k 个未知参数 θ 1 ,θ 2 , 解出其中θ 1 ,θ 2 ,例3设总体 X 在[a , b]上服从均匀分布 , 其中a , , X n ) 是来自总体 X的样本, 求a ,b 未知, ( X 1 , X 2 , b 的估计量.解1 = E ( X ) = a + b ,2,θ k 的方程组,,θ k 的,θ k . ,θ k 分别作为 θ1 ,θ 2 , 2 = E ( X 2 ) = D( X ) + [ E ( X )]2 =a+b 1 n 令 = A1 = ∑ X i , 2 n i =1(a b)2 + (a + b )2 ,12 4 用方程组的解 θ1 ,θ 2 ,估计量 , 这个估计量称为矩估计 量.矩估计量的观察值称为矩估计值.1 n 2 (a b )2 (a + b )2 + = A2 = ∑ X i , n i =1 12 4a + b = 2 A1 , 即 b a = 12( A2 A12 ) . 例4 设总体 X 服从几何分布 , 即有分布律P{ X = k } = p(1 p )k 1 体 X 的样本 , 求 p的估计量 . ( k = 1,2, ), , X n ) 是来自总 1 , p 其中 p ( 0 < p < 1) 未知, ( X 1 , X 2 ,∞解方程组得到a, b的矩估计量分别为2 a = A1 3( A2 A1 ) = X 3 ∑ ( X i X )2 , n i =1n解1 = E ( X ) = ∑ k p(1 p )k 1 =k =13 n 2 b = A1 + 3( A2 A1 ) = X + ∑ ( X X )2 . n i =1 i1 令 = A1 = X , p 1 所以 p = 为所求 p的估计量 . X2例52设总体 X 的均值 和方差 σ 2 都存在, 且有2σ > 0, 但 和σ 均为未知, 又设 X 1 , X 2 , , X n 是一个样本 , 求 和σ 2 的矩估计量 . 1 = E ( X ) = , 解 2 = E ( X 2 ) = D( X ) + [ E ( X )]2 = σ 2 + 2 , = A1 , 令 2 2 σ + = A2 . 解方程组得到矩估计量分别为 = A1 = X ,σ 2 = A2 A12 = 1 n 1 n 2 2 ∑ Xi X 2 = n ∑(Xi X ) . n i =1 i =1上例表明: 总体均值与方差的矩估计量的表达式不因不 同的总体分布而异. 例 X ~ N ( ,σ 2 ), , σ 2 未知, 即得 ,σ 2 的矩估计量 1 n 2 = X, σ 2 = ∑(Xi X ) . n i =1 一般地, 1 n 用样本均值 X = ∑ X i作为总体 X的均值的矩估计 , n i =1 1 n 用样本二阶中心矩 B2 = ∑ ( X i X )2 作为总体 n i =1X的方差的矩估计 .2. 最大似然估计法(1) 设总体 X 属离散型又设 x1 , x2 , 一个样本值 ., xn 为相应于样本 X 1 , X 2 , , X n 取到观察值 x1 , x2 ,n, Xn 的 , xn 的概率 ,似然函数的定义设分布律 P{ X = k } = p( x;θ ), θ 为待估参数 , θ ∈ Θ ,则样本 X 1 , X 2 ,即事件 X 1 = x1 , X 2 = x2 ,, X n = xn 发生的概率为i =1(其中 Θ 是 θ 可能的取值范围 ) X1 , X 2 , , X n是来自总体 X 的样本 , , X n 的联合分布律为 ∏ p( xi ;θ ).i =1 nL(θ ) = L( x1 , x2 ,, xn ;θ ) = ∏ p( xi ;θ ), θ ∈ Θ ,则 X1 , X 2 ,L(θ )称为样本似然函数 .注： L(θ ) = P{ X 1 = x1 , X 2 = x2 , , X n = xn } 表示样本X 1 , X 2 , , X n 取到观察值x1 , x2 , , xn的概率最大似然估计法得到样本值 x1 , x2 ,( 2) 设总体 X 属连续型, xn时, 选取使似然函数 L(θ )似然函数的定义设概率密度为 f ( x;θ ), θ 为待估参数 , θ ∈ Θ , 取得最大值的θ 作为未知参数θ 的估计值,即 L( x1 , x2 , , xn ;θ ) = max L( x1 , x2 ,θ ∈Θ, xn ;θ ).( 其中 Θ 是 θ 可能的取值范围 ) X1 , X 2 ,则 X1 , X 2 , 又设 x1 , x2 , 一个样本值 .( 其中 Θ 是 θ 可能的取值范围 ) 这样得到的 θ 与样本值 x1 , x2 , , x n有关 , 记为 ( x1 , x 2 , , xn ), 参数 θ 的最大似然估计值 , θ, X n 是来自总体 X 的样本 , , X n 的联合密度为 ∏ f ( xi ;θ ).i =1 nθ ( X 1 , X 2 ,, X n ) 参数 θ 的最大似然估计量 ., xn 为相应于样本 X 1 , X 2 ,, Xn 的3则随机点 (X 1 , X 2 , 的 概率近似地为, X n ) 落在点(x1 , x2 ,, xn ) 的邻域 (边长分别为dx1 , dx2 ,n i =1, dxn的n维立方体)内最大似然估计法是由费舍尔引进的. 求最大似然估计量的步骤:(一 ) 写出似然函数L(θ ) = L( x1 , x2 ,n费舍尔∏ f ( x i ;θ )dx i ,, xn ;θ ) = ∏ f ( xi ;θ ),i =1 nL(θ ) = L( x1 , x2 ,L(θ )称为样本的似然函数 . 若 L( x1 , x2 , , x n ;θ ) = max L( x1 , x2 ,θ ∈Θ, xn ;θ ) = ∏ p( xi ;θ )i =1, xn ;θ ).或L(θ ) = L( x1 , x2 ,n, xn ;θ ) = ∏ f ( xi ;θ );i =1 nnθ ( x1 , x2 , , xn ) 参数 θ 的最大似然估计值 , θ ( X 1 , X 2 , , X n ) 参数 θ 的最大似然估计量 .(二) 取对数i =1ln L(θ ) = ∑ ln p( xi ;θ ) 或 ln L(θ ) = ∑ ln f ( xi ;θ );i =1(三 ) 对 θ 求导d ln L(θ ) d ln L(θ ) = 0,对数似 , 并令 然方程 dθ dθ . 解方程即得未知参数 θ 的最大似然估计值 θ例6设 X ~ B(1, p ), X 1 , X 2 ,, X n是来自 X 的一个样本, 求 p的最大似然估计量 .解 设 x1 , x2 ,一个样本值 , X的分布律为, xn为相应于样本 X 1 , X 2 ,, Xn的最大似然估计法也适用于分布中含有多个 未知参数的情况. 此时只需令 ln L = 0, i = 1,2, , k . 对数似然方程组 θ i解出由 k 个方程组成的方程组 , 即可得各未知参 数 θ i ( i = 1,2, , k ) 的最大似然估计值 θ i .P{ X = x } = p x (1 p )1 x , x = 0, 1 ,n i =1n似然函数 L( p ) = ∏ p xi (1 p )1 xi=p ∑ xii =1(1 p )n∑ xii =1n,n n ln L( p ) = ∑ xi ln p + n ∑ xi ln(1 p ), i =1 i =1例8设 X 服从参数为 λ ( λ > 0) 的泊松分布 , , X n 是来自 X 的一个样本 , 求 λ 的最大X1 , X 2 ,令∑ xi n ∑ xi d i =1 ln L( p ) = i =1 = 0, dp 1 p p 1 n p = ∑ xi = x . n i =1 p= 1 n ∑ Xi = X . n i =1nn似然估计量 .解因为 X 的分布律为 P{ X = x} = e λ , ( x = 0, 1, 2, , n) x! 所以 λ 的似然函数为 n ∑ xi xi n i =1 λ λ nλ λ L(λ ) = ∏ , x !e = e n i =1 i ∏ ( xi !)i =1λx解得 p 的最大似然估计值 p 的最大似然估计量为这一估计量与矩估计量是相同的.4n n ln L(λ ) = nλ + ∑ xi ln λ ∑ ( xi !), i =1 i =1例9x1 , x2 ,设总体 X ~ N ( ,σ 2 ), ,σ 2为未知参数 , , xn 是来自 X 的一个样本值 , 求 和σ 2令∑ xi d ln L(λ ) = n + i =1 = 0, dλ λn的最大似然估计量 .解X的概率密度为 f ( x; , σ 2 ) = 1 e 2 πσ( x )2 2σ 21 n 解得 λ 的最大似然估计值 λ = ∑ xi = x , n i =1 n 1 λ 的最大似然估计量为 λ = ∑ X i = X . n i =1,X 的似然函数为L( , σ ) = ∏2 i =1 n这一估计量与矩估计量是相同的.1 e 2 πσ( xi )2 2σ 2,n n 1 n ln L( , σ 2 ) = ln( 2 π ) ln σ 2 ∑ ( x i )2 , 2 2 2σ 2 i =1 2 ln L( , σ ) = 0, 令 ln L( , σ 2 ) = 0, σ 2 1 n 2 ∑ x i n = 0 , σ i =1 n n + 1 ∑ ( x i ) 2 = 0 , 2σ 2 2(σ 2 )2 i =1由 1 n ∑ x n = 0 解得 σ 2 i =1 i n 2σ2 = ∑ xi = x , 1 n n i =1由+1 2(σ )2 2∑ ( xi )2 = 0 解得 i =1n1 n σ 2 = ∑ ( xi x ) 2 , n i =1 故 和σ 2 的最大似然估计量分别 为 = X , σ 2 = ∑ ( X i X )2 . 它们与相应的矩 估计量相同.1 n n i =1例10设总体 X 在 [a , b] 上服从均匀分布 , 其中 a ,因为 a ≤ x1 , x2 ,, xn ≤ b 等价于a ≤ x( l ) , x( h ) ≤ b,b 未知, x1 , x2 ,, xn 是来自总体 X 的一个样本值 ,作为a, b的函数的似然函数为 1 a ≤ x( l ) , b ≥ x( h ) , n, L( a , b ) = (b a ) 0, 其他 于是对于满足条件 a ≤ x( l ) , b ≥ x( h )的任意 a , b有求 a , b 的最大似然估计量 .解记x( l ) = min( x1 , x2 ,x( h ) = max( x1 , x2 ,, xn ),, xn ),X 的概率密度为 1 , a ≤ x ≤ b, f ( x; a , b ) = b a 0, 其他 . L( a , b ) =1 1 , ≤ ( b a ) n ( x( h ) x( l ) ) n5即似然函数 L(a , b) 在 a = x( l ) , b = x( h ) 时 取到最大值 ( x( h ) x( l ) ) n , a, b 的最大似然估计值 a = x( l ) = min xi ,1≤ i ≤ n最大似然估计的性质 设 θ 的函数 u = u(θ ), θ ∈ Θ 具有单值反函 数 θ = θ ( u), u ∈ U. 又设 θ 是 X 的概率密度函数 f ( x;θ ) ( f 形式已知 ) 中的参数 θ 的最大似然 估计 , 则 u = u(θ ) 是 u(θ ) 的最大似然估计 . b = x( h ) = max xi ,1≤ i ≤ na, b 的最大似然估计量 a = min X i ,1≤ i ≤ n b = max X i .1≤ i ≤ n 因为θ 是θ 的最大似然估计值 , 所以 L( x1 , x 2 , , xn ;θ ) = max L( x1 , x 2 ,证明θ ∈Θ, xn ;θ ),其中x1 , x2 ,, xn是来自总体 X的一个样本值 ,它们与相应的矩估计量不同. 由于 u = u(θ ), θ = θ ( u),故 L( x1 , x2 , , xn ;θ ( u)) = max L( x1 , x2 ,u∈U, xn ;θ ( u)),三、小结 矩估计法 两种求点估计的方法: 最大似然估计法 在统计问题中往往先使用最大似然估计法, 在最大似然估计法使用不方便时, 再用矩估计法. 于是 u = u(θ )是 u(θ )的最大似然估计 .此性质可以推广到总体分布中含有多个未知 参数的情况. 1 n 如例9中σ 2 的最大似然估计值为 σ 2 = ∑ ( X i X )2 , , n i =1 函数 u = u(σ 2 ) = σ 2 有单值反函数 σ 2 = u2 ( u ≥ 0),故标准差 σ 的最大似然估计值为1 n 2 ∑ ( X i X ) . n i =1似然函数 L(θ ) = L( x1 , x2 , 或L(θ ) = L( x1 , x2 ,, xn ;θ ) = ∏ p( xi ;θ )i =1 nnσ = σ2 = , xn ;θ ) = ∏ f ( xi ;θ );i =1费舍尔资料Ronald Aylmer FisherBorn: 17 Feb. 1890 in London, England Died: 29 Jul. 1962 in Adelaide, Australia6。