第3章 参数估计理论

第3章 参数估计理论参数估计的基本方法：点估计，区间估计点估计：以样本的某一函数值作为总体中未知参数的估计值。

区间估计：把总体中的参数确定在某一区间内。

第1节 点估计点估计就是以样本的某一函数值作为总体中未知参数的估计值。

设θ是总体X 的待估参数，用样本12,,,n X X X 构造一个合适的统计量12(,,,)n T X X X 来估计参数θ，通常记为ˆθ，即12ˆ=(,,,)nT X X X θ ，称为参数θ的估计量。

对样本的一组观测值12(,,,)n x x x ，统计量T 的值12ˆ=(,,,)n T x x x θ 称为参数θ的估计值。

点估计的问题就是要找一个作为待估参数θ的估计量12(,,,)n T X X X 的问题。

点估计的方法：数字特征法（矩估计法）、极大似然估计法、Bayes 估计法、最小二乘法等等。

第2节 矩估计法矩估计法由英国统计学家K.Person 在20世纪初提出，基本思想就是用样本矩去估计相应的总体矩。

理论依据是大数定律。

例1 设总体X 服从参数为θ的指数分布，即11,0(,)0,0x e x f x x θθθ-⎧>⎪=⎨⎪≤⎩12,,,n X X X 为取自总体X 的样本，求参数θ的矩估计量。

例2 设总体2~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求参数2,μσ的矩估计量。

例3 设总体2~(0,)X N σ，12,,,n X X X 为取自总体X 的样本，求参数2σ的矩估计量。

例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的矩估计量。

ˆˆ=a X b X =+ 例5 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数λ的矩估计量。

第3节 极大似然估计法极大似然估计法最初由德国数学家C.F.Gauss 于1821年提出，英国统计学家R.A.Fisher 于1922年再次提出极大似然的思想，并探讨了它的性质。

假设总体~(4,)X B p ，其中参数p 未知，现抽取容量为3的样本123,,X X X ，如果样本观察值为1、2、1，我们来估计参数p 。

极大似然估计法的步骤：● 对一组样本12,,,n X X X ，写出似然函数12(,,,)n L x x x ； ● 将似然函数12(,,,)n L x x x 取对数12ln (,,,)n L x x x ； ● 令ln =0L θ∂∂，求出ˆθ，即为θ的极大似然估计。

例1 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数λ的极大似然估计量。

例2设总体~(,)X B m p ，12,,,n X X X 为取自总体X 的样本，求参数p 的极大似然估计量。

例3 设总体2~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求参数2,μσ的极大似然估计量。

例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的极大似然估计量。

定理 1 设ˆθ是参数θ的极大似然估计，若()g τθ=存在唯一的反函数，则ˆˆ()g τθ=是()g τθ=的极大似然估计。

例5 设总体2~(,)X N μσ，2,μσ未知，12,,,n X X X 为取自总体X 的样本，求{1}P X >的极大似然估计。

第4节 Bayes 估计Bayes 公式1()()(|)(|)()()(|)i i i i ni i i P A B P A P B A P A B P B P A P B A ===∑例 对以往数据分析结果表明，当机器调整良好时，产品的合格品率为90%，而当机器发生故障时产品的合格品率为30%。

每天早上机器开动时机器调整得良好的概率为75%。

试求已知某日早上第一件产品是合格品时机器调整得良好的概率是多大？解：设事件A 为“产品为合格品”，事件B 为“机器调整得良好”。

则()0.75,()0.25,(|)0.9,(|)0.3P B P B P A B P A B ====|0.750.9(|)0.90||0.750.90.250.3P B P A B P B A P B P A B P B P A B ⨯===+⨯+⨯（）（）（）（）（）（）一、决策理论的基本概念统计决策理论是著名统计学家A.Wald （1902-1950)在20世纪40年代建立起来的（Wald.A. Statistical decision function. New York ：John Wileysons , 1950.中译本：王福宝译，统计决策函数，上海教育出版社，1963）。

统计决策理论与经典统计学的差别在于是否涉及后果。

经典统计学重在推断上，而不考虑用在何处以及效果如何，统计决策理论引入损失函数，用来度量效益的大小，评价统计推断结果的优劣。

Bayes 分析是英国学者T.Bayes （1702-1761）首先提出，在20世纪后半叶迅速发展，它与经典统计学的差别在于是否使用先验信息。

1、决策问题与决策空间例 1 设甲乙两人进行一种游戏，甲手中有三张牌，分别标有123θθθ、、，乙手中也有三张牌，分别标有123a a a 、、。

游戏规则是双方各自独立地出牌，按下表记甲的得分与乙的失分：描述这类决策问题有三要素：● 状态集={}θΘ：状态集表示自然界或社会所有可能状态的全体。

也称为参数集或参数空间。

如本例的123={}θθθΘ、、。

● 行动集{}A a =：行动集表示决策者可能采取的行动的全体。

也称为决策集或决策空间。

如本例的123{}A a a a =、、● 收益函数(,)Q a θ：收益函数表示自然界或社会处于状态θ时，决策者采取行动a 所获的收益。

如本例的得分。

当Θ和A 都是有限集时，(,)Q a θ成为收益矩阵。

（1）先验信息：人们在过去对自然界或社会的各种状态所获得的信息。

（2）样本的信息：从与自然界或社会的状态θ有关的环境中抽样，从获得的样本中了解当今状态θ的最新信息。

如果在一个决策问题中只利用样本的信息，这种问题称为统计决策问题；如果在一个决策问题中不仅利用样本的信息，还利用先验信息，这样的问题称为Bayes 决策问题。

例2 某工厂生产的产品每100件装成一箱运交顾客，在向顾客交货前面临如下两个行动：a 1:一箱中逐一检查； a 2：一箱中都不检查若工厂选择行动a 1，则可保证交货时每件产品都是合格品。

但因每件产品检查费为0.8元，为此工厂要支付检查费80元/箱；若工厂选择行动a 2，工厂可免付每箱检查费80元，但顾客发现不合格品时，按合同不仅允许更换，而且每件还要支付12.5元的赔偿金。

2、损失函数(,)()(||)L a g a θλθθ=-()0λθ>且有限，它反映决策中由于θ的不同，即使同一个偏差||a θ-造成的危害性常不一样，而()g t 是t 的非降函数。

最常见的形式是(,)()||kL a a θλθθ=-，k 取非负整数。

常用的损失函数：（1）平方损失函数：2(,)()L a a θθ=- 或加权平方损失函数：2(,)()()L a a θλθθ=-（2）线性损失函数：01(),(,)(),k a a L a k a a θθθθθ-≤⎧=⎨->⎩其中，0 k 和1k 是两个大于0的常数，它们的选择常反映行动a 低于状态θ和高于状态θ的相对重要性。

当01k k =时，得绝对损失函数(,)||L a a θθ=- 若0 k 和1k 是θ的函数，则称为加权线性损失函数01()(),(,)()(),k a a L a k a a θθθθθθθ-≤⎧=⎨->⎩（3）0-1损失函数：0,||(,)1,||a L a a θεθθε-≤⎧=⎨->⎩这里的ε是正数。

这种损失函数常在两行动决策问题中使用，这里的0和1并不是损失的大小，是有无损失之意。

类似的有0,||(,),||a L a k a θεθθε-≤⎧=⎨->⎩或0,||(,)(),||a L a k a θεθθθε-≤⎧=⎨->⎩（4）多元二次损失函数：当θ和a 是多维向量时(,)()()T L a a A a θθθ=--其中，1212(,,,),(,,,),T Tn n a a a a A θθθθ== 为n n ⨯阶正定矩阵。

在实际问题中，我们的愿望是选择一个估计量a ，使损失函数(,)L a θ达到最小。

3、决策函数4、风险函数 (,)[(,)]R T E L a θθ= 二、Bayes 估计量1、先验分布例3 英国统计学家Savage.L.J.曾考虑如下两个问题：（1）一位常饮牛奶和茶的妇女声称，她能辨别先倒进杯子里的是茶还是牛奶，对此作了十次试验，全都成功；（2）一位音乐家声称，他能从一页乐谱辨别出是海顿(Haydn )的还是莫扎特(Mozart )的作品，在十次试验中全部成功。

2、后验分布（1）在经典统计中总体X 的分布依赖于参数θ和X 的取值 x ，即总体X 的分布为()f x θ，，而Bayes 学派认为函数()f x θ，是在随机变量θ给定某个值时X 的条件分布，所以应该记为(|)f x θ （2）根据参数θ的先验信息确定θ的先验分布()πθ（3）从总体X 中抽取样本12,,,n X X X ，则样本的联合分布为121(,,,|)(|)(|)nn i i f x x x f x f x θθθ∆===∏这个联合分布综合了样本的信息，又称为似然函数。

（4）考虑参数θ的先验信息，即把参数θ的先验信息()πθ与样本的信息12(,,,|)n f x x x θ 综合到一起，得到样本与参数的联合分布1(,)()()(|)()ni i h x f x f x θθπθθπθ===∏|（5）将样本的信息分离出来。

如果用(|)x πθ表示θ的后验分布，()g x表示样本12(,,,)n X X X X =的分布，它是样本的分布，与θ无关，即()g x不含θ的任何信息，亦即分解(,)h x θ ，分解成 1212(,)(|,,,)(,,,)(|)()n n h x x x x g x x x x g x θπθπθ==其中，()(,)d ()()d g x h x f x θθθπθθΘΘ==⎰⎰| （连续型） 或 ()()()g x f x θπθΘ=∑|（离散型）从而得到后验分布()()(|)=()f x xg x θπθπθ|(|)x πθ是离散性还是连续型，取决于θ的先验分布是离散性还是连续型。

从上述5个过程不难看出，当从总体获得样本后，公式把人们对θ的认识从()πθ调整到(|)x πθ，这个调整过程可以形象地表示为 先验信息⊕样本信息=后验信息即 ()()=(|)f x x πθθπθ⊕|例4 设总体~(1,)X B p ，其中参数p 未知，且设p 在区间（0，1）上服从均匀分布，12,,,n X X X 是来自总体X 的样本，试求p 的后验分布。