概率与统计学课件-第七章-参数估计6-5
合集下载
概率论与数理统计 第7章.ppt
即 S 2是 2 的无偏估计,故通常取S 2作 2的估计量.
例3 设总体 X 服从参数为 的指数分布, 概率密度
x 1 e , f ( x; ) 0,
x 0, 其他.
其中参数 0, 又设 X 1 , X 2 ,, X n 是来自总体 X 的 样本, 试证 X 和 nZ n[min( X 1 , X 2 ,, X n )] 都是 的无偏估计.
行到其中有15只失效时结束试验, 测得失效时 间(小时)为115, 119, 131, 138, 142, 147, 148, 155,
158, 159, 163, 166, 167, 170, 172.
试求电池的平均寿命 的最大似然估计值 .
解
n 50, m 15,
s( t15 ) 115 119 170 172 (50 15) 172
总体 X 的 k 阶矩 k E ( X k )的相合估计量, 进而若待估参数 g( 1 , 2 ,, n ), 其中g 为连续 ˆ g( 函数, 则 的矩估计量 ˆ1 , ˆ 2 , , ˆ n ) g( A1 , A2 ,
, An ) 是 的相合估计量.
第三节
估计量的评选标准
一、问题的提出
二、无偏性 三、有效性 四、相合性 五、小结
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同. 而且, 很明显, 原则上任何统计量都可以作为未知参数 的估计量. 问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么? 下面介绍几个常用标准.
如果不能得到完全样本, 就考虑截尾寿命试验.
3. 两种常见的截尾寿命试验
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
概率论与数理统计完整课件第七章参数估计PPT课件
n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)
概率论与数理统计课件最新版-第7章-参数估计
(1 n
n i 1
Xi )2
1 n
n i 1
(Xi
X )2
结论： 不论总体服从什么分布，总体均值 与方差的矩估计量的表达式是相同的
概率统计
(2). Q X ~ N ( , 2 )
X 1 (1502 1453 1367 1650) 1493
4
1
n
n i 1
(Xi
X )2
1 [(1502 1493)2 4
定义直接寻求能使 L( ) 达到最大值的解作为
极大似然估计量。 ▲ 极大似然估计法适用于多个未知参数的情形。
概率统计
例3. 设 X ~ N (, 2 ), , 2 为未知参数，
x1 , x2 L xn 是 X 的一个样本值.
求: , 2 的极大似然估计量.
解: Q X 的密度函数为：f ( x ; , 2 )
是相应于样本 X1, X 2 , X n 的一组样本值。
n
作似然函数：L f ( x k ,1,2 ,L l ) 或 k 1
概率统计
n
或 L P( x k ,1,2 ,L l ) k 1
使得似然函数 L 达到极大值的 ˆ1,ˆ2,L ˆl
称为参数 1,2 ,L l 的极大似然估计值，记为： ˆi ( x1, x2 ,L xn ) (它与样本值有关)，记统计量：
(1453 1493)2
(1367 1493)2 (1650 1493)2 ]
10551
某种灯泡寿命的均值与方差的 矩估计值分布为:
ˆ 1493, ˆ 2 10551
概率统计
例 2. 设 X1, X2, … Xn 是取自总体 X 的一个样本，
其概率密度为：
概率统计7章ppt课件
i1
n
n
xi
n xi
p i1 (1 p) i1
n
n
ln L( p) ln( p) xi ln(1 p)(n xi )
i1
i1
n
n
ln L( p) ln( p) xi ln(1 p)(n xi )
i1
i1
d ln L( p) dp
记为
—— 样本的似然函数
满足条件: 为θ的最大似然估计值； 为θ的最大似然估计量；
具体算法：
令
例1 设x1,x2,…,xn是取自总体 X~b(1, p) 的一个
样本值，求参数p的最大似然估计值。
解 P{X x} px (1 p)1x , x 0,1
n
似然函数为: L( p) pxi (1 p)1xi
Fisher
最大似然法的基本思想：
假定一个盒子中有白、黑球共3个，但不知各有几个， 如果有放回的抽取3次球，发现第1，3次是黑球，第2次 是白球，试估计黑球所占的比例？
准备内容： 当总体X是离散型， 分布律改写为：
以泊松分布为例，
⑴ X 为离散型
分布律为
为X 的样本，
，其中θ未知。 为X 的样本值，
解 1 E(X ) (a b) / 2
2
E(X
2)
D( X
)
E2(X
)
(b a)2 12
(a
b)2 4
令
A1 A2
1 2
a (b a)2 12
b 2A1 (a b)2
4
概率论与数理统计-第七章--参数估计.ppt
例1. 设总体X的数学期望和方差分别是μ, σ2 ，求μ , σ2的矩估计量。
总体期望、方差的矩估计量分别是样本均值和 样本二阶中心矩。
例2: 已知某产品的不合格率为p, 有简单随 机样本X1 ,X2 ,…, Xn 求p的矩估计量。
解：E(X)=p.
pˆ
1 n
n i 1
Xi
X
例3：设电话总机在某段时间内接到呼唤的次数
n
L(x1, x2,..., xn; ) f (xi; ) i 1
为样本的似然函数，简记为L(θ)。
对于固定的样本观测值x1,x2,…,xn。如果有
例1. 设总体X~N(μ,σ2)，其中μ,σ2是 未知参数。求μ,σ2的极大似然估计。
f (x; , 2 )
1
2
exp[
极大似然估计
矩估计
总体k阶原点矩
k EX k
样本k阶原点矩
Ak
1 n
n i 1
X
k i
K.皮尔逊
n
X
k i
大数定律： lim P(| i1 E( X k ) | ) 1
n
n
矩估计基本思想: 用样本矩估计总体矩 .
设总体的分布函数中含有k个未知参数 1,,k
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 .
极大似然估计
例： 设一箱中装有若干个白色和黑色的球， 已知两种球的数目之比为3:1或1:3，现有放回 地任取3个球，有两个白球，问：白球所占的 比例p是多少？
如果只知道0<p<1,并且实 测记录是X=k (0 ≤ k≤ n),又 应如何估计p呢?
X
~
概率论与数理统计PPT课件第七章最大似然估计
最大似然估计
• 最大似然估计的概述 • 最大似然估计的数学基础 • 最大似然估计的实现 • 最大似然估计的应用 • 最大似然估计的扩展
01
最大似然估计的概述
定义与性质
定义
最大似然估计是一种参数估计方法， 通过最大化样本数据的似然函数来估 计参数。
性质
最大似然估计是一种非线性、非参数 的统计方法，具有一致性、无偏性和 有效性等优良性质。
无偏性
在某些条件下，最大似然估计的参数估计值是无偏的，即其期望值等于真实值。
最大似然估计的优缺点
• 有效性：在某些条件下，最大似然估计具有最小方差性质， 即其方差达到最小。
最大似然估计的优缺点
非线性
01
最大似然估计是非线性估计方法，对参数的估计可能存在局部
最优解而非全局最优解。
对初值敏感
02
最大似然估计对初值的选择敏感，不同的初值可能导致不同的
04
最大似然估计的应用
在回归分析中的应用
线性回归
最大似然估计常用于线性回归模型的参数估计，通过最大化似然函 数来估计回归系数。
非线性回归
对于非线性回归模型，最大似然估计同样适用，通过将非线性模型 转换为似然函数的形式进行参数估计。
多元回归
在多元回归分析中，最大似然估计能够处理多个自变量对因变量的影 响，并给出最佳参数估计。
最大熵原理与最大似然估计在某些方面具有相似性，例如都追求最大化某种度量， 但在应用场景和约束条件上有所不同。
THANKS
感谢观看
连续型随机变量的概率密度函数
然函数
基于样本数据和假设的概率模型， 计算样本数据在该模型下的可能 性。
似然函数的性质
非负性、归一化、随着样本数据的 增加而增加。
• 最大似然估计的概述 • 最大似然估计的数学基础 • 最大似然估计的实现 • 最大似然估计的应用 • 最大似然估计的扩展
01
最大似然估计的概述
定义与性质
定义
最大似然估计是一种参数估计方法， 通过最大化样本数据的似然函数来估 计参数。
性质
最大似然估计是一种非线性、非参数 的统计方法，具有一致性、无偏性和 有效性等优良性质。
无偏性
在某些条件下，最大似然估计的参数估计值是无偏的，即其期望值等于真实值。
最大似然估计的优缺点
• 有效性：在某些条件下，最大似然估计具有最小方差性质， 即其方差达到最小。
最大似然估计的优缺点
非线性
01
最大似然估计是非线性估计方法，对参数的估计可能存在局部
最优解而非全局最优解。
对初值敏感
02
最大似然估计对初值的选择敏感，不同的初值可能导致不同的
04
最大似然估计的应用
在回归分析中的应用
线性回归
最大似然估计常用于线性回归模型的参数估计，通过最大化似然函 数来估计回归系数。
非线性回归
对于非线性回归模型，最大似然估计同样适用，通过将非线性模型 转换为似然函数的形式进行参数估计。
多元回归
在多元回归分析中，最大似然估计能够处理多个自变量对因变量的影 响，并给出最佳参数估计。
最大熵原理与最大似然估计在某些方面具有相似性，例如都追求最大化某种度量， 但在应用场景和约束条件上有所不同。
THANKS
感谢观看
连续型随机变量的概率密度函数
然函数
基于样本数据和假设的概率模型， 计算样本数据在该模型下的可能 性。
似然函数的性质
非负性、归一化、随着样本数据的 增加而增加。
第7章 参数估计—概率课件PPT
X的密度为：
f
x
x 1
0
0 x 1 其他
lnL
n 2
ln
令
dlnL
d
n 2
1
2
1
1
n
ln xi
ni 1
ln xi
i 1
0
即：
n
n
ln xi
i 1
的极大似然估计量为：ˆ
n
n2
2
lnX
i
10
i1
例4：设总体X的概率密度为：f x 1 ex
x
,
0
其它
其中 0, , 是未知常量, X1, , X n 为X的样本，
故 X1 min X1, X 2 ,
, Xn,
又lnL nln
1
n
Xi
i 1
ˆ
令 dlnL d
n
1
2
n i 1
X i X 1
0
ˆ X X1
12
例5：设总体X 服从0, 上的均匀分布， 0未知，
试由样本 x1, x2, , xn求出的极大似然估计和矩估计。
解：1 极大似然估计
5
例2：设总体X的密度为：
f
x
x 1
0
0 x 1 0为未知参数，
其他
X1,
X
，
2
,
X n 为取自X的样本，求的矩估计。
解：E X xf x dx 1 x dx
0
1
令E X X
X 1
2
ˆ X
1 X
6
二．极大似然估计法
极大似然估计的原理介绍
X1, X 2, , X n 是取自X的一个样本，试求, 2的矩估计。
统计学第七章-参数估计-PPT
(例题分析)
解：已知Ｘ~N(，102)，n=25, 1- = 95%，z/2=1.96。根
据样本数据计算得：x 105.36
总体均值在1-置信水平下的置信区间为
x z 2
n
105.36 1.96
10 25
105.36 3.92
101.44,109.28
该食品平均重量的置信区间为101.44g~109.28g
The two confidence intervals that are used extensively are the 95% and the 90%.
常用的置信水平及Ｚ值为： Z=1.96
Z=1.65
Interpretation of Confidence Intervals
For a 95% confidence interval about 95% of the similarly constructed intervals will contain the parameter being estimated.
n
36
39.5 2.13
37.37,41.63
投保人平均年龄的置信区间为37.37岁~41.63岁
总体均值的区间估计
(正态总体、 未知、小样本)
总体均值的区间估计
(小样本)
1.假定条件
– 总体服从正态分布,且方差(２) 未知
– 小样本 (n < 30)
2. 使用 t 分布统计量
t x ~ t(n 1)
t (df = 5)
z
t
不同自由度的t分布
t 值表
横坐标：自由度， df 纵坐标：概率， p, 即曲线下阴影部分的面积; 表中的数字：相应的 |t | 界值。
解：已知Ｘ~N(，102)，n=25, 1- = 95%，z/2=1.96。根
据样本数据计算得：x 105.36
总体均值在1-置信水平下的置信区间为
x z 2
n
105.36 1.96
10 25
105.36 3.92
101.44,109.28
该食品平均重量的置信区间为101.44g~109.28g
The two confidence intervals that are used extensively are the 95% and the 90%.
常用的置信水平及Ｚ值为： Z=1.96
Z=1.65
Interpretation of Confidence Intervals
For a 95% confidence interval about 95% of the similarly constructed intervals will contain the parameter being estimated.
n
36
39.5 2.13
37.37,41.63
投保人平均年龄的置信区间为37.37岁~41.63岁
总体均值的区间估计
(正态总体、 未知、小样本)
总体均值的区间估计
(小样本)
1.假定条件
– 总体服从正态分布,且方差(２) 未知
– 小样本 (n < 30)
2. 使用 t 分布统计量
t x ~ t(n 1)
t (df = 5)
z
t
不同自由度的t分布
t 值表
横坐标：自由度， df 纵坐标：概率， p, 即曲线下阴影部分的面积; 表中的数字：相应的 |t | 界值。
概论与统计课件第七章参数估计
ˆ X ˆ 2 ˆ 2 A2
ˆ
1 n
n i1
Xi
X
ˆ
2
A2
X
2
1 n
n i1
X
2 i
X
2
1 n
n i1
(Xi
X
)2
B2
无论总体的分布形式如何，总体均值和方差σ2的矩估计量
分别为样本均值和样本二阶中心矩。
矩法的优点是简单易行,并不需要事先知道总 体是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
P( X1 x1, X 2 x2, , X n xn ,1,2, ,k ) p(xi ,1,2, k ) i1
进行一次具体的抽样之后， (X1, X2, …, Xn ) 得到一组观察值 (x1, x2, …, xn )。是一组确定的数，把它们代入上式，则
n
p(xi ,1,2, k )
i 1
矩估计法的理论依据: 大数定律
矩估计法的具体做法如下
设总体X的分布形式是已知的，1, 2…… ,k是k个未知参数，
样本(X1, X2, …, Xn )来自总体 X。假定总体X的m阶原点矩EXm存在，
一般地， EX , EX 2 , , EX m (m 1,2, , k)
都是这 k 个参数的函数,记为：
Xi
X
一阶样本原点矩作为 的矩估计量
另一方面：EX2 = DX + (EX)2 = + 2 ，所以：
EX 2 1 n X 2
n i1
ˆ ˆ2 1 n X 2
n i1
ˆ
A2
X
2
1 n
n i1
概率论与数理统计第七章参数估计演示文档
概率论与数理统计第七章参数估计演示文档参数估计是概率论与数理统计中的重要内容之一，是通过样本数据来推断总体参数的方法。
在实际应用中，参数估计广泛应用于市场调查、医学研究、经济预测等领域。
本文将以一些常用的参数估计方法为例，进行演示说明。
首先，我们介绍最常见的点估计方法，矩估计。
矩估计是通过样本矩来估计总体矩。
以正态分布的均值和方差为例，假设我们有一个样本数据集，通过计算样本均值和样本方差，可以分别得到正态分布的均值和方差的矩估计值。
接下来我们介绍第二种常见的点估计方法，最大似然估计。
最大似然估计是通过找到使得观察到的样本数据出现的概率最大的参数值。
以二项分布的成功概率为例，假设我们有一组二项分布的观察数据，通过计算二项分布的似然函数，并求导得到其极大值点，可以得到二项分布的成功概率的最大似然估计值。
此外，假设检验是参数估计的重要应用。
在进行参数估计时，我们常常需要进行假设检验来判断参数估计是否具有统计意义。
以均值的假设检验为例，假设我们有两组样本数据，通过计算样本均值和样本方差，可以得到均值的矩估计值。
然后，我们可以利用假设检验的方法，比较这两个样本的均值，从而判断两个样本是否具有统计意义上的差异。
最后，我们介绍一种常用的参数区间估计方法，置信区间估计。
置信区间估计是通过样本数据得到一个区间，该区间内的参数值有一定的置信度。
以总体均值的置信区间估计为例，假设我们有一组样本数据，通过计算样本均值和样本标准差，可以得到总体均值的点估计值。
然后，我们可以利用参数估计的理论知识，计算得到总体均值的置信区间，从而对总体均值进行估计。
综上所述，参数估计是概率论与数理统计中的重要内容，应用广泛。
通过点估计方法可以从样本数据中推断总体参数的值，通过假设检验可以判断参数估计的统计意义，通过置信区间估计可以得到参数值的置信区间。
这些参数估计方法为我们提供了在实际问题中进行估计和推断的依据，使我们能够更好地理解和分析数据。
第七章-参数估计(概率论与数理统计课件-复旦大学)
1 n 1
E
n i1
Xi
2
2
n i1
(Xi
)(X
)
n
X
2
1 n 1
E
n i1
Xi
2
n
X
2
1
n
1
n i1
E
Xi
2
nE
X
2
n
1 1
例3 比较总体期望的两个无偏估计的有效性。
1 3
X 3 i1 Xi
3
X ' aiXi
3
ai ,
3
ai
0
i1
i1
i1
解：EX
3
EX ' aiEXi i1
DX 2 3
3
ai
i1
3
DX ' ai2DXi
解：E 1x ( 1)xdx 1
0
2
令 1＝X 2
解得 ＝ 2X 1 1 X
矩估计的优点：直接、简便
缺点：未充分利用分布信息
(二)最大似然法 两人射击，一人打中，一人没打中，认为打中者 技术较好。
某事件发生的概率为0.01或0.1，若一次试验中该 事件发生了，认为其概率为0.1 例5 在一个袋中有许多黑球与白球，其数量比为1：3 或3：1，通过抽样判断黑球多还是白球多。
n i1
Xi
1 n
n i1
EXi
第7章 参数估计概率论课件
ˆ ˆ ˆ (3) 解出其中1,2 ,,k , 用1,2 ,,k 表示.
ˆ ˆ ˆ (4) 用方程组的解 1,2 ,,k 分别作为 1 ,2 ,,k
的估计量，这种估计量称为矩估计量. 矩估计量
的观察值称为矩估计值.
设 总 体X 在 [a , b] 上 服 从 均 匀 分 布 中a , ,其 例2 b 未 知, ( X 1 , X 2 ,, X n ) 是 来 自 总 体 的 样 本 求a , X , b 的矩估计量 .
解
a b 2 E ( X ) D( X ) [ E ( X )]
2
2
ab , 1 E(X ) 2
n
2
ab 1 令 A1 X i , 2 n i 1
12
a b
4
2
,
1 n (a b)2 (a b)2 2 A2 X i , n i 1 12 4
形式已知,θ为待估参数,
n
( X1 , X 2 ,, X n )
是总体X的一个样本，则样本 X1 , X 2 ,, X n 的 分布律为 p( xi ; ) , 当给定样本值 ( x1, x2 ,, xn )
i 1
后, 则样本 X1 , X 2 ,, X n 取到观察值 x1 , x2 ,, xn 的概率为 L( ) p( xi ; ) ,
2 i 1
n
1 e 2π
( xi )2 2 2
,
n n 1 n 2 2 2 ln L( , ) ln( 2 π) ln ( xi ) , 2 2 2 2 i 1
ln L( , 2 ) 0 令 ln L( , 2 ) 0 2
ˆ ˆ ˆ (4) 用方程组的解 1,2 ,,k 分别作为 1 ,2 ,,k
的估计量，这种估计量称为矩估计量. 矩估计量
的观察值称为矩估计值.
设 总 体X 在 [a , b] 上 服 从 均 匀 分 布 中a , ,其 例2 b 未 知, ( X 1 , X 2 ,, X n ) 是 来 自 总 体 的 样 本 求a , X , b 的矩估计量 .
解
a b 2 E ( X ) D( X ) [ E ( X )]
2
2
ab , 1 E(X ) 2
n
2
ab 1 令 A1 X i , 2 n i 1
12
a b
4
2
,
1 n (a b)2 (a b)2 2 A2 X i , n i 1 12 4
形式已知,θ为待估参数,
n
( X1 , X 2 ,, X n )
是总体X的一个样本，则样本 X1 , X 2 ,, X n 的 分布律为 p( xi ; ) , 当给定样本值 ( x1, x2 ,, xn )
i 1
后, 则样本 X1 , X 2 ,, X n 取到观察值 x1 , x2 ,, xn 的概率为 L( ) p( xi ; ) ,
2 i 1
n
1 e 2π
( xi )2 2 2
,
n n 1 n 2 2 2 ln L( , ) ln( 2 π) ln ( xi ) , 2 2 2 2 i 1
ln L( , 2 ) 0 令 ln L( , 2 ) 0 2
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
概率与统计第7章——概率论课件PPT
ˆ 是θ的无偏估计，并不保证在任何情况下 （即对于任何一次样本观测值），估计值 ˆ (x1,x2,…,xn)必等于θ 。
无偏性只保证没有系统偏差，即用 ˆ估计θ时， 偏差 ˆ 是随机的，有时大于零，有时小于 零，而平均为零。显然，平均为零这一点只有 在大量重复使用时才能体现出来。 但是选取的样本容量是有限的
在统计分析中，经常需要根据样本数据推断
总体的情况，这一过程被称为统计推断 .
统计推断
估计
参数估计区点间估估计计
非参数估计
检验
……（第八章）
参数估计是统计推断的主要方法，也是数理统计
的基本内容.
2
在参数估计问题中，假定
形式已
知，未知的仅仅是一个或几个参数.
参数估计问题的一般提法
已知统计总体的分布函数为 F(x, )，
6
7.1 点估计及其优良性
7.1.1 点估计的概念
例7.1 已知某连续生产线上生产的灯泡的使用寿
命X ~N(, 2)，其中, 2是未知参数，从中随机
抽出5只灯泡，测得使用寿命(单位：h)为： 1529 1513 1600 1527 1411试估 Nhomakorabea, 2的值.
7
由于参数 和2 分别是总体X的均值和方差，即
S 2
1 n1
n
(Xi
i 1
X )2
14
那么要问:
样本均值是否是 的一个好的估计量？ 样本方差是否是 2的一个好的估计量？
这就需要讨论以下几个问题:
(1) 我们希望一个“好的”估计量具有什么 特性？
(2) 怎样决定一个估计量是否比另一个估计 量“好”？
(3) 如何求得合理的估计量？
15
7.1.2 估计量的优良性 我们知道,对同一未知参数可以构造出许多的 估计量。 评价这些估计量的好坏, 有以下几个标准:
无偏性只保证没有系统偏差，即用 ˆ估计θ时， 偏差 ˆ 是随机的，有时大于零，有时小于 零，而平均为零。显然，平均为零这一点只有 在大量重复使用时才能体现出来。 但是选取的样本容量是有限的
在统计分析中，经常需要根据样本数据推断
总体的情况，这一过程被称为统计推断 .
统计推断
估计
参数估计区点间估估计计
非参数估计
检验
……（第八章）
参数估计是统计推断的主要方法，也是数理统计
的基本内容.
2
在参数估计问题中，假定
形式已
知，未知的仅仅是一个或几个参数.
参数估计问题的一般提法
已知统计总体的分布函数为 F(x, )，
6
7.1 点估计及其优良性
7.1.1 点估计的概念
例7.1 已知某连续生产线上生产的灯泡的使用寿
命X ~N(, 2)，其中, 2是未知参数，从中随机
抽出5只灯泡，测得使用寿命(单位：h)为： 1529 1513 1600 1527 1411试估 Nhomakorabea, 2的值.
7
由于参数 和2 分别是总体X的均值和方差，即
S 2
1 n1
n
(Xi
i 1
X )2
14
那么要问:
样本均值是否是 的一个好的估计量？ 样本方差是否是 2的一个好的估计量？
这就需要讨论以下几个问题:
(1) 我们希望一个“好的”估计量具有什么 特性？
(2) 怎样决定一个估计量是否比另一个估计 量“好”？
(3) 如何求得合理的估计量？
15
7.1.2 估计量的优良性 我们知道,对同一未知参数可以构造出许多的 估计量。 评价这些估计量的好坏, 有以下几个标准:
第七章 参数估计ppt课件
ˆ lim P ( ) 1
n
0 ，则称 ˆ 为θ的一致估计量
31
随着样本容量增大，估计量会越来越接近 被估计的参数。即对任意的>0，有
n
ˆ l i m{ P | | } 1
则称 ˆ 是参数θ的一致估计量。 一致估计量是大样本所呈现的性质。若某
是总体X 的一个容量
1 ˆ X X X ) 1 ( 1 2 3 3
1 ˆ 2 X 3 X X ) 2 ( 1 2 3 6
是总体均值 的估计量，它们是无偏估计 量吗？若是，哪一个更有效。
30
三、一致性
设 ˆ 为未知参数θ的估计量，当 n 时， ˆ按 概率收敛于θ。即
n
2 ( x ) i 2 2
1n X X , ˆ 解方程组，得 i i 1 n
1n 2 2 X X ˆ i i 1 n 20
2
21
7.1.4 评价估计优良的准则
无偏性 有效性 一致性
22
一、无偏性
设 ˆ 为未知参数θ的估计量，若
离 散 型 (, ) x ( X x ) j 1 , k i p i
j i 1
j
n
8
例如0-1分布的数学期望（一阶原点矩）为p， x , x , , x ) 在总体中抽出随机样本 ( , 则样本平均数 1 2 n （样本的一阶原 点矩）
为
1n p xi n i1
26
, 2 , ,X 设 XX 1 n 是总体X的样本
ˆ X 1 1
1 ˆ 2 xi n
ห้องสมุดไป่ตู้ ,ˆ
概率论7-1
问: 所取的球来自哪一箱？ 答: 很可能第一箱.
例 设总体 X 服从0-1分布,且P{X=1}=p,用极大似 然法求p的估计值.
解 总体 X 的概率分布为
P{X x} p x (1 p)1x , x 0,1
设 x1, x2,…, xn为总体样本X1, X2,…, Xn的样
解
由于
1
E(
X
)
2
,
21
又样本的一阶矩为
A1
1 n
n i 1
Xi
X,
由矩法估计，令A1代替θ1 ，可得 θ的矩估计量为
^
2X
参数的极大似然估计法
思想方法：一次试验就出现的 事件有较大的概率
例如: 有两外形相同的箱子,各装100个球
一箱 99个白球
1 个红球
一箱 1 个白球 99个红球
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.
P
Ak
1 n
n i 1
Xik
结论： Ak k (n ), k 1, 2,
原因：辛钦大数定律
作用： 矩估计法的理论依据
参数的矩法估计
矩法估计：用样本的矩作为总体矩的估计量，具体
做法如下
1 1(1, k )
2
2 (1,
k )
k k (1, k )
这里总体X的分布函数中含有k个参数。从上式中解出这 k个参数可得
参数的矩法估计
从上式中解出这k个参数可得
1 1(1, k )
2
2 (1,
k )
k k (1,
用Ai分别代替上式中的μi
^
1
1
(
A1,
Ak )
k )
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
�μ已知时σ2的双侧假设检验 检验假设H0:σ2=σ02 , H1:σ2≠σ02
1 T= 2 σ0
n
2 2 ( X − µ ) ~ χ ( n) ∑ i
i =1
2 ⎧ ⎪ P (T ≥ χα 2 (n) ) = α 2 ⎨ 2 ⎪ ⎩ P (T ≤ χ1−α 2 (n) ) = α 2 2 2 当T > χα 2 (n)或T < χ1−α 2 (n), 拒绝H 0 ,
n = 7, X = 4.36, S 2 = 0.0351, α = 0.05
2 2 查表χα ( n − 1 ) = 14 . 4492 , χ /2 1−α / 2 ( n − 1) = 1.2373, 代入得
( n − 1) S 2 ( n − 1) S 2 = 0.0146, 2 = 0.1702 2 χα 2 (n − 1) χ1−α 2 (n − 1) ∴σ2的双侧置信区间为 (0.0146, 0.1702).
2
∵T=16.789>14.45, ∴拒绝H0。即不能认为新工 艺炼出的铁水含碳量的方差仍为 0.1122。
�μ已知时σ2的双侧置信区间
⎛ Xi − µ ⎞ 2 T = ∑⎜ ~ χ ( n) ⎟ σ ⎠ i =1 ⎝ 2 n ⎛ 2 ⎞ X − µ ⎛ ⎞ 2 i P⎜ χ1−α 2 ( n) < ∑ ⎜ < χα 2 ( n ) ⎟ = 1 − α ⎟ ⎜ ⎟ σ ⎝ ⎠ i = 1 ⎝ ⎠
�μ未知时σ2的双侧置信区间
(n − 1) S 2 2 T= ~ χ (n − 1) 2 σ ⎛ 2 ⎞ (n − 1) S 2 2 P⎜ < χα 2 (n − 1) ⎟ ⎜ χ1−α 2 (n − 1) < σ 2 ⎟ = 1− α ⎝ ⎠
2 ⎞ ⎛ (n − 1) S 2 ( n − 1 ) S 2 ⎜ ⎟ = 1−α P 2 <σ < 2 ⎜ χα 2 ( n − 1) ⎟ χ ( n − 1 ) 1 − α 2 ⎝ ⎠
⎛ (n − 1) S 2 ⎞ ⎜ ⎜ χ 2 ( n − 1) ,+∞ ⎟ ⎟ ⎝ α ⎠
�μ未知时σ2的右侧假设检验 检验假设H0:σ2≤σ02 , H1:σ2>σ02
当T > χ (n − 1), 拒绝H 0 ,
2 α
否则,接受H0.
�μ未知时σ2的单侧上限置信区间
⎛ (n − 1) S 2 ⎞ ⎜ ⎜ 0, χ 2 (n − 时nσ2的单侧下限置信区间 ⎛ ⎞ 2 ⎜ ∑ ( X i − µ) ⎟
⎜ ⎜ ⎜ ⎝
i =1
2 χα ( n)
�μ已知时σ2的右侧假设检验 检验假设H0:σ2≤σ02 , H1:σ2>σ02
当T > χ (n), 拒绝H 0 ,
2 α
,+∞ ⎟ ⎟ ⎟ ⎠
否则,接受H0.
�σ12、σ22已知时μ1-μ2的左侧假设检验 检验假设H0:μ≥μ0, H1:μ<μ0
当U < −uα , 拒绝H 0 ,
否则,接受H0.
n ⎛ n 2 2 ⎞ ⎜ ∑ ( X i − µ) ∑ ( X i − µ) ⎟ i =1 ⎜ i =1 ⎟ , 2 2 ⎜ χα ⎟ ( n ) χ 2 1−α 2 ( n) ⎜ ⎟ 5 ⎝ ⎠ 2 n = 5, ∑ ( X i − µ ) = 0.0315, α = 0.10
i =1
2 2 查表χα ( n ) = 11 . 0703 , χ /2 1−α / 2 ( n) = 1.21.1455, 代入得
即得σ2的双侧置信区间
2 ⎞ ⎛ (n − 1) S 2 (n − 1) S ⎟ ⎜ , 2 2 ⎜ χ (n − 1) χ ⎟ ( n − 1 ) 1−α 2 ⎝ α2 ⎠
�μ未知时σ2的双侧假设检验 检验假设H0:σ2=σ02 , H1:σ2≠σ02
(n − 1) S 2 2 T= ~ χ ( n − 1) 2 σ0
⎛ n ⎜ ∑ ( X i − µ )2 P⎜ i =1 2 <σ 2 < ⎜ χ α 2 ( n) ⎜ ⎝ ⎞ (Xi − µ) ⎟ ∑ i =1 ⎟ = 1− α χ12−α 2 (n) ⎟ ⎟ ⎠
2
n
2
n
即得σ2的双侧置信区间
n ⎛ n 2 2 ⎞ ⎜ ∑ ( X i − µ) ∑ ( X i − µ) ⎟ i =1 ⎜ i =1 ⎟ , 2 2 ⎜ χα ⎟ ( n ) χ 2 1−α 2 ( n) ⎜ ⎟ ⎝ ⎠
(2)H0:σ2=0.1122 , H1:σ2≠0.1122
(n − 1) S 2 T= ~ χ (n − 1) 2 σ ( n − 1) S 2 T= = 16.7889 2 σ0
2 2 α = 0.05, χα ( n − 1 ) = 14 . 4492 , χ /2 1−α / 2 ( n − 1) = 1.2373
2 ⎧ P ( T > χ α 2 ( n − 1) ) = α 2 ⎪ ⎨ 2 P ( T < χ ⎪ 1−α 2 ( n − 1) ) = α 2 ⎩ 2 2 当T > χα ( n − 1 ) 或 T < χ 2 1−α 2 ( n − 1), 拒绝H 0 ,
否则,接受H0.
�μ未知时σ2的单侧下限置信区间
�μ已知时σ2 n的单侧上限置信区间 ⎛ 2 ⎞ ⎜ ∑ ( X i − µ) ⎟
⎜ 0, ⎜ ⎜ ⎝
i =1
χ12−α ( n)
�μ已未知时σ2的左侧假设检验 检验假设H0:σ2≥σ02 , H1:σ2<σ02
当T < χ
2 1−α
⎟ ⎟ ⎟ ⎠
(n), 拒绝H 0 ,
否则,接受H0.
例6.设维尼纶纤度在正常生产条件下服从正态分布 N(1.405,0.0482)，某日抽出5根纤维，测得其纤 度为：1.32 1.36 1.55 1.44 1.40 (1) 求这一天生产的维尼纶纤度方差的双侧置 信区间；(2)这一天生产的维尼纶的纤度的方 差是否正常？（α =0.10） 解：(1) μ已知时σ2的双侧置信区间为
�σ12、σ22已知时μ1-μ2的双侧假设检验 检验假设H0: μ1=μ2, H1: μ1≠ μ2
U= X −Y σ σ + m n
2 1 2 2
~ N (0,1)
P (U > uα 2 ) = α
当U > uα 2时, 拒绝H 0 ,
否则,接受H0.
�σ12、σ22已知时μ1-μ2的单侧下限置信区 间
�σ12、σ22已知时μ1-μ2的双侧置信区间
X − Y − ( µ1 − µ 2 ) σ σ + m n
2 1 2 2
~ N (0,1)
即得μ1-μ2的双侧置信区 间 2 2 2 2 ⎞ ⎛ σ σ σ σ 1 2 1 2 ⎟ ⎜ X −Y − u + , X − Y + u + α 2 α 2 ⎜ ⎟ m n m n ⎝ ⎠
2 2 ⎛ ⎞ σ σ 1 2 ⎜ X −Y −u ⎟ + , +∞ α ⎜ ⎟ m n ⎝ ⎠
�σ12、σ22已知时μ1-μ2的右侧假设检验 检验假设H0: μ1≤μ2, H1: μ1 >μ2
当U > uα , 拒绝H 0 ,
否则,接受H0.
�σ12、σ22已知时μ1-μ2的单侧上限置信区间
2 2 ⎞ ⎛ ⎜ − ∞, X − Y + u σ 1 + σ 2 ⎟ α ⎜ ⎟ m n ⎝ ⎠
n
2 ( X − µ ) ∑ i
n
2 ( X − µ ) ∑ i
i =1
χ (n) χ ( n) ∴σ2的双侧置信区间为 (0.0028, 0.0275).
2 α 2
= 0.0028,
i =1
2 1−α 2
= 0.0275
(2)H0:σ2=0.0482 , H1:σ2≠0.0482 1 n T = 2 ∑ ( X i − µ ) 2 ~ χ 2 ( n) σ i =1 1 n 2 T = 2 ∑ ( X i − µ ) = 13.67 σ 0 i =1
2 2 α = 0.10, χα ( n ) = 11 . 0703 , χ /2 1−α / 2 ( n) = 1.1455
∵T=13.67>11.07, ∴拒绝H0。即这一天生产的维 尼纶的纤度的方差不正常。
7.6
�双正态总体均值的区间估计与假设检验
�求μ1-μ2的双侧置信区间与双侧检验 H0: μ1=μ2, H1: μ1≠ μ2 �求μ1-μ2的单侧下限置信区间与右侧检验 H0: μ1≤μ2, H1: μ1 >μ2 �求μ1-μ2的单侧上限置信区间与左侧检验 H0: μ1≥μ2, H1: μ1< μ2
�μ未知时σ2的左侧假设检验 检验假设H0:σ2≥σ02 , H1:σ2<σ02
当T < χ
2 1−α
(n − 1), 拒绝H 0 ,
否则,接受H0.
例5.某炼铁厂铁水的含碳量 X，在正常情况下服从 正态分布N(μ,0.1122)。现对操作工艺进行某些 改变，从中抽取了 7炉铁水的试样，测得含碳量 数据如下： 4.421，4.052，4.357，4.394，4.326，4.287，4.683 (1)求新工艺炼出的铁水含碳量方差的双侧置信 区间;(2)是否可以认为新工艺炼出的铁水含碳量 的方差仍为0.1122？（α =0.05 ） 解：(1) μ未知时σ2的双侧置信区间为 2 ⎞ ⎛ (n − 1) S 2 ( n − 1 ) S ⎜ ⎟ , 2 2 ⎜ χ (n − 1) χ ⎟ ( n − 1 ) α 2 1 − α 2 ⎝ ⎠
X − µ0 20 (3.399 − 3.25) T= = ≈ 2.563 0.2622 S/ n