第七章 参数估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
， k ) 定义7.1 设总体X中含有未知参数 (1， 2，
，xk ) ，使 若对每个i( i=1，2，k)，存在连续函数 gi ( x1，x2，
i gi (E( X )，E( X 2 )， ，E( X k ))，i 1 ， 2， ，k， 则称 i gi (1， 2， ， k ) 为 i 的矩估计量，其中
的估计值。
( x1，x2， ，xn ) 作为未知参数
说明：1. 在统计推断中，当不致混淆时，通常对样本和样本 ，xn )。 观察值的表示法不加区分，均表成 ( x1，x2， 2. 对于两组不同的样本观察值 ，可得到未知参数 的两个 估计值，但 的估计量是同一个。
一、矩估计 矩估计法原理：用样本k阶原点矩(中心矩)作为总体k阶原点 矩(中心矩)的估计量，用样本k+m阶混合矩作为总体k+m阶混 合矩的估计量。 特别，用 X 作为E(X)的估计量，用 B2 作为D(X)的估计 量，用样本协方差(相关系数)作为cov(X，Y)和 rXY 的估计量。
，xn ) ，使 L( ) max L( ) 对几乎所有样 若有 ( x1，x2，
本观察值都成立，则称 ( X 1，X 2， ，X n )为的极大似然估
计量，称 ( x1，x2， ，xn )为的极大似然估计值。
说明：在求极大似然估计量时，先用一组抽象的样本观察值 来求，因而得到的是待估参数的极大似然估计值，再用样本 代换样本观察值，才能得到待估参数的极大似然估计量。若 用一组具体的样本观察值代入，便可得到待估参数的具体极 大似然估计值。 求L()的极大值 ： 通过 d ln L( ) 0，求出 。 说明：1. 因为L()是样本观察值的函数(此时样本观察值不变)，
p (k ) P( X xk )， } 。
点估计
点估计(教材p177) 用样本 ( X1，X 2， ，X n ) 构造适当的统
计量 ( X 1，X 2， ，X n ) ，作为未知参数 的估计量。
当取得一组样本观察值
( x1，x2， ，xn ) 后，用相应的
F(x； )来表示X的分布函数，当取不同的值，就会得到不 同的分布函数。我们称所有可能取值的集合为参数空间，记 为。把{F(x； )， }称为X的分布函数族。
若X为连续型随机变量，和分布函数族对应的是密度函数 族{ f (x； )， }。
若X是离散型随机变量，和分布函数族对应的是概率分布 函数族{ 第一节
矩估计的优越性：当总体分布类型未知时仍可对总体各阶矩进 行估计。
矩估计的缺陷：当总体分布类型已知时，未能充分利用总体 分布提供的信息。
二、极大似然估计 引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但 不知哪种颜色的球多。今有放回连抽两球均取出黑球，问：罐 中黑球多还是白球多？
解：设抽出黑球的概率为p，抽得黑球数为X，则X～B(2，p)。
P(X=2)=
p
2
。 根据题意，知 p=3/4 或 p=1/4 。
若 p=1/4，则 P(X=2)=1/16； 若 p=3/4，则 P(X=2)=9/16。 这说明当黑球多时事件 (X=2) 发生的概率大得多， (或者说样本来自总体B(2，3/4)的可能性比来自总体B(2，1/4) 的可能性大得多) 根据“概率越大的事件越可能发生”的实际推断原理，应选 3/4作为p的估计值。
L( ) L( x1，x2， ，xn； ) f ( xi； ).
(或 L( )
p( x ； ) ).
i i 1
n
百度文库i 1
注意，当X是离散型随机变量，因样本观察值是取定的，故 L()， 仅是的函数，对连续型随机变量，仍将L()， 仅看作的函数。
d
d ln L( ) 2. 由于 只是lnL()取极值的必要条件，从理论上 0 d
来说，还应验证lnL( ) lnL()， 对所有样本观察值都 成立。但这种验证通常是非常困难的，故多不进行验证。 3. 若不只一个参数需要估计，也采用同样的方法，只是这时似 然函数是多元函数，要通过令偏导数等于零求出驻点。(具体步 骤见教材p182-183)。
第七章 引言
参数估计
参数估计：当总体的某些参数未知(一般要求分布类型已知)时， 从样本出发构造适当的统计量，作为未知参数的估计量。当取 得一组观察值后，以相应的统计量的观察值作为未知参数的估 计值，并讨论估计值对真值进行估计的可靠性。 参数估计方法是处理实际问题时最常用的方法。 预备概念：当总体X中含有未知参数 (可以是向量)时，可用
若p的可供选择的估计值有许多，仍应选择发生概率最大的 p 作为p的估计，这就是极大似然估计的思想。
极大似然估计的原理(教材p180-181) 设总体X的概率密度函数族为f(x； ) (或概率分布函数族为 P(X=x)=p(x ； ) )，。 ，xn ) 为任一组样本观察值(一组抽象的数)，则 设 ( x1，x2， 样本的密度函数(或概率分布)为 n
i X / n，i 1， 2， ，k.
2， ， n )为 (1， 2， ， n ) 的矩估计量。 称 ( 1 ，
n
j 1
i j
如何求i gi ( E( X )，E( X 2 )， ，E( X k ))，i 1 ， 2， ，k？ 设总体X的密度函数为
f ( x；1， 2， ， k )，
由总体原点矩的定义，有
E( X i ) xi f ( x；1， 2， ， k )dx， i 1， 2， ，k.
从理论上来说，由上面k个方程，可以解出
i gi (E( X )，E( X 2 )， ，E( X k ))，i 1 ， 2， ，k.
，xk ) ，使 若对每个i( i=1，2，k)，存在连续函数 gi ( x1，x2，
i gi (E( X )，E( X 2 )， ，E( X k ))，i 1 ， 2， ，k， 则称 i gi (1， 2， ， k ) 为 i 的矩估计量，其中
的估计值。
( x1，x2， ，xn ) 作为未知参数
说明：1. 在统计推断中，当不致混淆时，通常对样本和样本 ，xn )。 观察值的表示法不加区分，均表成 ( x1，x2， 2. 对于两组不同的样本观察值 ，可得到未知参数 的两个 估计值，但 的估计量是同一个。
一、矩估计 矩估计法原理：用样本k阶原点矩(中心矩)作为总体k阶原点 矩(中心矩)的估计量，用样本k+m阶混合矩作为总体k+m阶混 合矩的估计量。 特别，用 X 作为E(X)的估计量，用 B2 作为D(X)的估计 量，用样本协方差(相关系数)作为cov(X，Y)和 rXY 的估计量。
，xn ) ，使 L( ) max L( ) 对几乎所有样 若有 ( x1，x2，
本观察值都成立，则称 ( X 1，X 2， ，X n )为的极大似然估
计量，称 ( x1，x2， ，xn )为的极大似然估计值。
说明：在求极大似然估计量时，先用一组抽象的样本观察值 来求，因而得到的是待估参数的极大似然估计值，再用样本 代换样本观察值，才能得到待估参数的极大似然估计量。若 用一组具体的样本观察值代入，便可得到待估参数的具体极 大似然估计值。 求L()的极大值 ： 通过 d ln L( ) 0，求出 。 说明：1. 因为L()是样本观察值的函数(此时样本观察值不变)，
p (k ) P( X xk )， } 。
点估计
点估计(教材p177) 用样本 ( X1，X 2， ，X n ) 构造适当的统
计量 ( X 1，X 2， ，X n ) ，作为未知参数 的估计量。
当取得一组样本观察值
( x1，x2， ，xn ) 后，用相应的
F(x； )来表示X的分布函数，当取不同的值，就会得到不 同的分布函数。我们称所有可能取值的集合为参数空间，记 为。把{F(x； )， }称为X的分布函数族。
若X为连续型随机变量，和分布函数族对应的是密度函数 族{ f (x； )， }。
若X是离散型随机变量，和分布函数族对应的是概率分布 函数族{ 第一节
矩估计的优越性：当总体分布类型未知时仍可对总体各阶矩进 行估计。
矩估计的缺陷：当总体分布类型已知时，未能充分利用总体 分布提供的信息。
二、极大似然估计 引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但 不知哪种颜色的球多。今有放回连抽两球均取出黑球，问：罐 中黑球多还是白球多？
解：设抽出黑球的概率为p，抽得黑球数为X，则X～B(2，p)。
P(X=2)=
p
2
。 根据题意，知 p=3/4 或 p=1/4 。
若 p=1/4，则 P(X=2)=1/16； 若 p=3/4，则 P(X=2)=9/16。 这说明当黑球多时事件 (X=2) 发生的概率大得多， (或者说样本来自总体B(2，3/4)的可能性比来自总体B(2，1/4) 的可能性大得多) 根据“概率越大的事件越可能发生”的实际推断原理，应选 3/4作为p的估计值。
L( ) L( x1，x2， ，xn； ) f ( xi； ).
(或 L( )
p( x ； ) ).
i i 1
n
百度文库i 1
注意，当X是离散型随机变量，因样本观察值是取定的，故 L()， 仅是的函数，对连续型随机变量，仍将L()， 仅看作的函数。
d
d ln L( ) 2. 由于 只是lnL()取极值的必要条件，从理论上 0 d
来说，还应验证lnL( ) lnL()， 对所有样本观察值都 成立。但这种验证通常是非常困难的，故多不进行验证。 3. 若不只一个参数需要估计，也采用同样的方法，只是这时似 然函数是多元函数，要通过令偏导数等于零求出驻点。(具体步 骤见教材p182-183)。
第七章 引言
参数估计
参数估计：当总体的某些参数未知(一般要求分布类型已知)时， 从样本出发构造适当的统计量，作为未知参数的估计量。当取 得一组观察值后，以相应的统计量的观察值作为未知参数的估 计值，并讨论估计值对真值进行估计的可靠性。 参数估计方法是处理实际问题时最常用的方法。 预备概念：当总体X中含有未知参数 (可以是向量)时，可用
若p的可供选择的估计值有许多，仍应选择发生概率最大的 p 作为p的估计，这就是极大似然估计的思想。
极大似然估计的原理(教材p180-181) 设总体X的概率密度函数族为f(x； ) (或概率分布函数族为 P(X=x)=p(x ； ) )，。 ，xn ) 为任一组样本观察值(一组抽象的数)，则 设 ( x1，x2， 样本的密度函数(或概率分布)为 n
i X / n，i 1， 2， ，k.
2， ， n )为 (1， 2， ， n ) 的矩估计量。 称 ( 1 ，
n
j 1
i j
如何求i gi ( E( X )，E( X 2 )， ，E( X k ))，i 1 ， 2， ，k？ 设总体X的密度函数为
f ( x；1， 2， ， k )，
由总体原点矩的定义，有
E( X i ) xi f ( x；1， 2， ， k )dx， i 1， 2， ，k.
从理论上来说，由上面k个方程，可以解出
i gi (E( X )，E( X 2 )， ，E( X k ))，i 1 ， 2， ，k.