概率论第七章 第1节

根据样本概率最大原则，m的估计值为3。
最大似然估计法原理
一般地，不仿设总体X是离散型分布X～p(x,θ)，如果 X1,X2,…,Xn是来自这个总体的一个随机样本，x1,x2,…,xn 是这个随机样本的样本值，则这个样本发生的概率为：
记这个概率为θ的函数：
16
最大似然估计法原理
如果在一次抽样中样本值x1,x2,…,xn出现了，我们就认为 它之所以出现是因为它发生的概率最大导致的。因此我们 就选择能使这个概率最大的那个θ作为θ的估计值，这就 是极大似然估计法。 “样本值概率最大原则”
矩估计法理论依据
命题2：设总体X的l=1,2,…,k阶矩存在即E(Xl)=μk,则l阶样 本矩A1,A2,…,Ak的连续函数g(A1,A2,…,Ak)也依概率收敛于总 体矩的连续函数即
根据这两个命题，我们使用如下方法来进行矩估计： (1)用样本矩A1,A2,…,Ak来估计总体矩； (2)用样本矩的连续函数g(A1,A2,…,Ak)来估计总体矩的连续 函数g(μ1,μ2,…,μk)。
砍掉充分小的dxi,记这 个概率为θ的函数：
30
连续型总体中参数 θ的似然函数!
最大似然估计值 最大似然估计量
怎样求最大值点？
基于此通常先取对数，再求最大值点。
化成求 对数似 然函数 的最大 值点!
如果对数似然函数二阶可导，并且概率 密度函数是单峰函数，则驻点就是最大 值点!通过求一阶导数能得驻点：
第七章 参数估计
1、什么是参数估计？ 当总体的分布类型已知，但其中仍有未知参数。比如总体 X服从参数μ,σ2的正态分布，但μ,σ2未知。但是我们 能根据来自总体X的一个简单随机样本X1,X2,…,Xn通过适 当的方法对这些未知参数进行估计，得到它的一个近似值 或近似区间。 2、参数估计有哪些形式？ (1)点估计：矩估计法、极大似然估计法。 (2)区间估计：正态总体下区间估计法。
解：因为就一个参数，要求到几阶矩？
例2： 设总体X服从U[a,b]，并且a,b未知，如果 X1,X2,…,Xn是来自这个总体的一个随机样本，求参数a,b的 矩估计量。 解：因为有二个待估计参数，故要求直到几阶矩？
用样本矩代替总体矩即得参数的矩估计量：
例3： 设总体X服从正态分布N(μ,σ2)，如果X1,X2,…,Xn 是来自这个总体的一个随机样本，求参数μ,σ2的矩估计 量。 解：因为有二个待估计参数，故要求直到几阶矩？
函数的最大似然估计
这个性质说明：未知参数θ的单调连续函数u的最大似然估 计值，恰好为θ的最大似然估计值的函数即：
例7：正态总体方差σ2的最大似然估计为
标准差σ的最大似然估计是什么？ 解：因为函数：
当u>0时具有单值的反函数：σ2=μ2 故σ的最大似然 估计量为：
例8：设X1,X2,…,Xn是来自泊松总体X～π(λ)的 样本，求P{X=0}的最大似然估计。 解：因为P{X=0}是待估计参数λ>0的严格下降函数：
点估计的估 计结果是一 个值!
点估计量
设θ是总体X分布中的未知参数，X1,X2,…,Xn是来自这个 总体的简单随机样本，通过适当的方法构造一个统计量
作为θ的估计，称为参数θ的估计量；
相应的观测值
点估计的估 计结果是一 个值!
称为θ的估计值。
矩估计法
假设：(1)总体X为离散型或连续型，其它类型总体不考虑。 (2)总体有确定的分布类型即有概率密度函数或分布律。
再由样本方差的一个表达式：
这就是所求的矩估计量！
设x1,x2,…,xn是样本的一个观测值，则似然函数为：
取对数得：
再求导数得：
再求导数得：
由第二式是矛盾式，故无法从第二式解出θ！但由第二 式可得：
因此函数 lnL(θ,μ) 是参数μ的严格单调上升函数，故
由第一式解出θ，即得极大似然估计量为：
从而得到参数μ,σ2的矩估计量。
它与样本 方差不同 啊!
例4： 设总体X服从下面的离散型分布，如果X1,X2,…,Xn是 来自这个总体的一个随机样本，求参数p的矩估计量。
解：因为有一个待估计参数，故要求直到几阶矩？
13
最大似然估计法原理
我们先分析一个例子，引出极大似然估计法。 例1：设袋中有白球与黑球共4只，进行三次有放回抽样， 每次一只，结果抽到2只白球与1只黑球试估计袋中白球的 个数。 解：设袋中有m只白球。
最大似然估计量为：
28
注意
一般地：对于单峰概率分布直方图的离散型随机变量， 其对数似然函数的驻点必是最大值点。
单峰概率直方图 不必要再进 行二阶导数 验证最大值 点!
29
最大似然估计法作法
如果总体X是连续型分布X～f(x,θ)，并且X1,X2,…,Xn是来 自这个总体的一个随机样本，x1,x2,…,xn是这个随机样本 的样本值，则这个样本发生的概率为：
Step2:再求似然函数：
23
取似然函数的对数得：
24
Step3:将对数似然函数求导并令它为0，即可求出驻点。
25
26
这个驻点p是 否是最大值点？ 根据一元函数 极值定理，二 阶导数小于0， 则为最大值点!
事实上：
27
从而 最大似然估计值为：
课本上P182面 给出了0-1分布 的最大似然估 计量，自看。
38
这样求得驻点：
从而求最大似然估计值：
最大似然估计量：
最大似然估计法都 通过求导方法吗？
例6：设总体X服从区间[a,b]上的均匀分布，X1,X2,…,Xn是 一个来自总体的样本，求a,b的最大似然估计值量。
无法通过 法!
最大似然估 计值不一定 都通过求驻 点来计算!
对于单峰的概 率分布函数与 概率密度函数， 驻点总是最大 值点，不必验 证。
例5： 设总体X服从正态分布N(μ,σ2)，其中参数μ,σ2未 知。如果X1,X2,…,Xn是来自这个总体的一个随机样本，求 参数的最大似然估计量。
解：Step1:先写出正态分布的公式，以便求似然函数：
Step2:对所给样本值 x1,x2,…,xn 求似然函数：
(3)θ1,θ2,…,θk为待估计参数，共有k个。 (4)总体矩为μ1,μ2,…,μk，共有k个，计算公式为
矩估计法理论依据
命题1：设总体X的k阶矩存在即E(Xk)=μk,则k阶样本矩Ak依概 率收敛于k阶总体矩。即
样本矩 是什么？
事实上：可以用大数定律证明。
X1,X2,…,Xn是来自这个总体的简单随机样本 → X1,X2,…,Xn独立同分布 → X1k ,X2k,…,Xnk也独立同分布 → 并且数学期望E(X1k)=E(X2k)=…=E(Xnk)=μk都存在 什么大数定律？
(1)抽样结果表明袋中至少有1只黑球，故m=1,2,3。
(2) 为什么偏偏发生“2只白球1只黑球”这样的抽样结 果？我们认为是因为这个样本发生的概率最大导致的。 (3)为此我们要求出这个样本发生的概率，并据此估计m. 设 p=P{任意摸球一次抽到白球}=m/4
设 X=“有放回抽样三次抽到白球数”=0，1,2,3则X服从 二项分布即 X～b(3,p),从而这个样本发生概率为： P{有放回抽样三次抽到白球数2黑球数1}=P{X=2}
而λ>0的极大似然估计量为：
故e-λ的最大似 然估计量为：
例9：设X1,X2,…,Xn是来自总体X的样本，总体概率密度函数 如下，求θ>0与μ>0的矩估计量与最大似然估计量。
解：这里有两个参数要估计，因此要求一阶与二阶矩！
二阶矩为：
根据矩估计的基本原理得：
求解得：
根据矩估计的基本原理用样本矩代替总体矩得估计量：
例4： 设总体X服从指数分布，其中参数θ未知。如果 X1,X2,…,Xn是来自这个总体的一个随机样本，求参数θ的 最大似然估计量。
解：Step1:先写出指数分布的公式，以便求似然函数：
Step2:对所给样本值 x1,x2,…,xn 求似然函数：
33
Step3:将对数似然函数求导并令它为0，即可求出驻点。
矩估计法作法
Step1:先求总体矩μ1,μ2,…,μk,它们是参数θ1,θ2,…,θk 的函数。
Step2:从总体矩中解出参数θ1,θ2,…,θk。
Step3:用样本矩A1,A2,…,Ak来估计总体矩即得参数的矩估计量。
例1： 设某炸药厂一天中发生着火现象的次数X服从参数为 λ的泊松分布，并且测得如下样本值求参数λ的矩估计量 与矩估计值。
练习1：设总体X概率密度函数为
而且X1,X2,…,Xn是一个随机样本，求参数α的矩估计量。
练习2：设总体X概率密度函数为
而且X1,X2,…,Xn是一个随机样本，求参数α的最大似然计 量。
最大似然估计值
最大似然估计量
例2： 设总体X服从泊松分布 π(λ)，λ未知。如果 X1,X2,…,Xn是来自这个总体的一个随机样本，求参数λ的 最大似然估计量。
解：Step1:先写出泊松分布的公式，以便求似然函数：
Step2:再求似然函数：
20
从而对数似然函数：
Step3:将对数似然函数求导并令它为0，即可求出驻点。
21
并且在驻点处二阶导数：
从而驻点就是最大值点，因此最大似然估计值为：
最大似然估计量为：
样本均值 恰为最大 似然估计 量!
22
例3： 设总体X服从二项分布b(m,p)，其中m已知，但p未知。 如果X1,X2,…,Xn是来自这个总体的一个随机样本，求参数p 的最大似然估计量。
解：Step1:先写出二项分布的公式，以便求似然函数：
34
从而 最大似然估计值为：
最大似然估计量为：
35
多参数总体的最大似然估计
最大似然估计也适用于多个参数的总体，比如： (1)对离散型总体X～p(x,θ1,θ2,…,θn),它的似然函数：