概率论与数理统计 第七章
概率论与数理统计第七章-1矩估计法和极大似然估计法
μ1 h1 (θ1 , θ2 , μ j h j (θ1 , θ2 , μk hk (θ1 , θ2 ,
, θk ) , θk ) , θk )
, μk ) , μk ) , μk )
数理统计
从这 k 个方程中解出
θ1 g1 ( μ1 , μ2 , θ j g j ( μ1 , μ2 , θk gk ( μ1 , μ2 ,
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
2 1
b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a A1 3( A2 A12 ) 3 n 2 X ( X X ) , i n i 1
3 n 2 b X ( X X ) n i 1 i
样本矩
数理统计
例2 设总体 X 的均值 μ和方差 σ 2 ( 0) 都存
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
概率论与数理统计第7章参数估计PPT课件
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
《概率论与数理统计》第七章假设检验.
《概率论与数理统计》第七章假设检验.第七章假设检验学习⽬标知识⽬标：理解假设检验的基本概念⼩概率原理；掌握假设检验的⽅法和步骤。
能⼒⽬标：能够作正态总体均值、⽐例的假设检验和两个正态总体的均值、⽐例之差的假设检验。
参数估计和假设检验是统计推断的两种形式，它们都是利⽤样本对总体进⾏某种推断，然⽽推断的⾓度不同。
参数估计是通过样本统计量来推断总体未知参数的取值范围，以及作出结论的可靠程度，总体参数在估计前是未知的。
⽽在假设检验中，则是预先对总体参数的取值提出⼀个假设，然后利⽤样本数据检验这个假设是否成⽴，如果成⽴，我们就接受这个假设，如果不成⽴就拒绝原假设。
当然由于样本的随机性，这种推断只能具有⼀定的可靠性。
本章介绍假设检验的基本概念，以及假设检验的⼀般步骤，然后重点介绍常⽤的参数检验⽅法。
由于篇幅的限制，⾮参数假设检验在这⾥就不作介绍了。
第⼀节假设检验的⼀般问题关键词：参数假设；检验统计量；接受域与拒绝域；假设检验的两类错误⼀、假设检验的基本概念（⼀）原假设和备择假设为了对假设检验的基本概念有⼀个直观的认识，不妨先看下⾯的例⼦。
例7.1 某⼚⽣产⼀种⽇光灯管，其寿命X 服从正态分布)200 ,(2µN ，从过去的⽣产经验看，灯管的平均寿命为1550=µ⼩时，。
现在采⽤新⼯艺后，在所⽣产的新灯管中抽取25只，测其平均寿命为1650⼩时。
问采⽤新⼯艺后，灯管的寿命是否有显著提⾼？这是⼀个均值的检验问题。
灯管的寿命有没有显著变化呢？这有两种可能：⼀种是没有什么变化。
即新⼯艺对均值没有影响，采⽤新⼯艺后，X 仍然服从)200 ,1550(2N 。
另⼀种情况可能是，新⼯艺的确使均值发⽣了显著性变化。
这样，1650=X 和15500=µ之间的差异就只能认为是采⽤新⼯艺的关系。
究竟是哪种情况与实际情况相符合，这需要作检验。
假如给定显著性⽔平05.0=α。
在上⾯的例⼦中，我们可以把涉及到的两种情况⽤统计假设的形式表⽰出来。
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
《概率论与数理统计》第七章
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
概率论和数理统计（李慧斌）复习大纲-第7章-置信区间-Confidence-Intervals
概率论与数理统计(李慧斌)复习大纲Chapter 7 Confidence Intervals置信区间7.1 Sampling Distribution 抽样分布统计量的分布称为抽样分布。
在本节中，我们将从正态分布推导出随机样本的样本方差分布，以及样本均值和样本方差的各种函数的分布。
复习：Thm 5.5.2若X1, X2,…, X n独立且满足，i= 1,2,…,n，若C1, C2,…, C n不全为零，则Corollary 5.5.2 设随机变量X1, X2,…, X n组成随机样本，满足正态分布，其中均值μ和方差σ2，则7.2 χ2Distribution卡方分布定义：若随机变量X1, X2,…, X n独立同分布且其中每个随机变量都满足标准正态分布，所以有着以n阶自由度卡方分布(χ2distribution with n degrees of freedom)，记作，n来源于独立随机变量中以n阶自由度的χ2分布的概率密度函数其中欧拉函数定义为χ2分布的性质：定理1定理2 （χ2分布的可加性）若X ~χ2 (n) , Y ~χ2(m)，X, Y独立，则X+Y ~ χ2 (n+m)例：设X1, X2,…, X n是正态分布的随机样本，证明Thm 7.3.1 设X1, X2,…, X n是正态分布的随机样本，则：（1）与独立；（2）注：，虽然基于n个，但是它们之和为0，所以指定数量的n-1确定剩余值。
因此有n-1阶自由度。
结果表明，只有从正态分布中抽取随机样本，样本均值和样本方差才是独立的。
证明如下：的联合概率分布函数为其中A为正交矩阵(orthogonal matrix)，且的联合概率分布函数为因此独立且⇒与独立且7.4 The t Distribution t分布定义：设X ~ N(0, 1), Y ~χ2 (n)且X和Y独立，则随机变量所满足的分布称为n阶自由度t分布，记作，其中的概率密度函数为t分布的性质：（1）f(x)图像呈钟型，且中心为0；（2）它的一般形状类似于平均分布0的正态分布的概率密度函数。
概率论和数理统计(第三学期)第7章数理统计的基本概念
n i1
i
1 n
n
Ei
i1
D
D 1 n
n i 1
i
1 n2
n
Di
i 1
2
n
2
S~ 1 n
n i 1
i
2
1 n
n i 1
i2 2i
2
1 n
n
i2
i 1
2
n
i
i 1
n
2
1 n
n
i2
i 1
2
2
2
1 n
n
i2
i 1
2
E S~2
E
1 n
n
i2
i 1
23
.209
2
2 0.95
20
10
.851
当自由度n 45时，可用下面近似公式去求2 n:
x2 n
1 2
u
2
2n 1
例3
求
2 0.05
60 ．
解
2 0.05
60
1 2
u0.05
2
2 60 1
1 1.645
2
119 78.798
2
3、t分布的上侧分位点
对于给定的α(0<α<1)，使
2
e
xi 2 2
2
(2
) e 2
n 2
1
2 2
n i1
xi 2
在数理统计中，总体的分布往往是未知的，需 要通过样本找到一个分布来近似代替总体分布。
§7.3 分布的估计
频率分布 例 某炼钢厂生产的钢由于各种因素的影响，各炉
钢的含硅量可以看作是一个随机变量，现记录了 120炉钢的含硅量百分数，求出这个样本的频数分 布与频率分布。
概率论与数理统计教程第七章答案
.第七章假设检验7.1设总体J〜N(4Q2),其中参数4, /为未知，试指出下面统计假设中哪些是简洁假设，哪些是复合假设：(1) W o: // = 0, σ = 1 ；(2) W o√∕ = O, σ>l5(3) ∕70:// <3, σ = 1 ；(4) % :0< 〃 <3 ；(5)W o :// = 0.解：(1)是简洁假设，其余位复合假设7.2设配么，…，25取自正态总体息(19),其中参数〃未知，无是子样均值,如对检验问题“0 ：〃 = 〃o, M ：4工从)取检验的拒绝域：c = {(x1,x2,∙∙∙,x25)r∣x-χ∕0∖≥c},试打算常数c ,使检验的显著性水平为0. 05_ Q解：由于J〜N(〃,9),故J~N(",二)在打。
成立的条件下，一/3 5cP o(∖ξ-^∖≥c) = P(∖ξ-μJ^∖≥-)=2 1-Φ(y) =0.05Φ(-) = 0.975,-= 1.96,所以c=L176°3 37. 3 设子样。
,乙，…，25取自正态总体，cr：已知，对假设检验%邛=μ0, H2> /J。
,取临界域c = {(X[,w,…,4)：片>9)}，(1)求此检验犯第一类错误概率为α时，犯其次类错误的概率夕，并争论它们之间的关系；(2)设〃o=0∙05, σ~=0. 004, a =0.05, n=9,求"=0.65 时不犯其次类错误的概率。
解：(1)在儿成立的条件下，F~N(∕o,军)，此时a = P^ξ≥c^ = P0< σo σo )所以，包二为册=4_,,由此式解出c°=窄4f+为% ∖∣n在H∣成立的条件下，W ~ N",啊 ,此时nS = %<c°) = AI。
气L =①(^^~品)二①匹%=①(2δξ^历σoA∣-σ+A)-A-------------- y∕n)。
东华大学《概率论与数理统计》课件 第七章 假设检验
1. 2为已知, 关于的检验(U 检验 )
在上节中讨论过正态总体 N ( , 2 ) 当 2为已知时, 关于 = 0的检验问题 :
假设检验 H0 : = 0 , H1 : 0 ;
我们引入统计量U
=
− 0 0
，则U服从N(0,1)
n
对于给定的检验水平 (0 1)
由标准正态分布分位数定义知，
~
N (0,1),
由标准正态分布分位点的定义得 k = u1− / 2 ,
当 x − 0 / n
u1− / 2时, 拒绝H0 ,
x − 0 / n
u1− / 2时,
接受H0.
假设检验过程如下:
在实例中若取定 = 0.05, 则 k = u1− / 2 = u0.975 = 1.96, 又已知 n = 9, = 0.015, 由样本算得 x = 0.511, 即有 x − 0 = 2.2 1.96,
临界点为 − u1− / 2及u1− / 2.
3. 两类错误及记号
假设检验是根据样本的信息并依据小概率原
理，作出接受还是拒绝H0的判断。由于样本具有 随机性，因而假设检验所作出的结论有可能是错
误的. 这种错误有两类:
(1) 当原假设H0为真, 观察值却落入拒绝域, 而 作出了拒绝H0的判断, 称做第一类错误, 又叫弃
设 1,2, ,n 为来自总体 的样本,
因为 2 未知, 不能利用 − 0 来确定拒绝域. / n
因为 Sn*2 是 2 的无偏估计, 故用 Sn* 来取代 ,
即采用 T = − 0 来作为检验统计量.
Sn* / n
当H0为真时,
− 0 ~ t(n −1),
Sn* / n
由t分布分位数的定义知
《概率论与数理统计》课件 第七章 随机变量的数字特征
i 1,2, , 如果 xi pi ， 则称 i 1 E( X ) xi pi 为随机变量X的数学期望； i 1
或称为该分布的数学期望，简称期望或均值.
(2)设连续随机变量X的密度函数为p( x),
如果
+
x p( x)dx ,
则称
-
E( X ) xp( x)dx 为随机变量X的数学期望.
5
例2.求二项分布B(n, p)的数学期望.
P(X
k)
n!
k!n
k !
pk
(1
p)nk ,k
1, 2,
, n.
n
解：EX kP{ X k}
k0
n
k
k0
n!
k!n
k !
pk
(1
p)nk
n
np
k 1
k
n 1! 1!n
pk1
k!
(1
p)nk
np[ p (1 p)]n1 np.
特别地，若X服从0 1分布，则EX p.
6
例3. 求泊松分布P( )的数学期望.
注：P( X k) k e , k 1, 2, .
k!
解：EX k k e e
k1
e
k1
k0 k !
k1 k 1 !
k1 k 1 !
ee
e x 1 x 1 x2 1 xn [这里，x ]
当 a 450时，平均收益EY 最大.
28
第二节 方差与标准差
29
引例
比较随机变量X、Y 的期望
X3 4 5 Y1 4 7 P 0.1 0.8 0.1 P 0.4 0.2 0.4
01 2 3 4 5 67
概率论与数理统计第7章参数估计习题及答案
概率论与数理统计第7章参数估计习题及答案第7章参数估计 ----点估计⼀、填空题1、设总体X 服从⼆项分布),(p N B ，10<计量=pXN. 2、设总体)p ,1(B ~X，其中未知参数 01<则 p 的矩估计为_∑=n 1i i X n 1_，样本的似然函数为_ii X 1n1i X )p 1(p -=-∏__。
3、设 12,,,n X X X 是来⾃总体 ),(N ~X 2σµ的样本，则有关于 µ及σ2的似然函数212(,,;,)n L X X X µσ=_2i 2)X (21n1i e21µ-σ-=∏σπ__。
⼆、计算题1、设总体X 具有分布密度(;)(1),01f x x x ααα=+<<，其中1->α是未知参数，n X X X ,,21为⼀个样本，试求参数α的矩估计和极⼤似然估计.解：因?++=+=101α2α1α102++=++=+|a x 令2α1α++==??)(X X EXX --=∴112α为α的矩估计因似然函数1212(,,;)(1)()n n n L x x x x x x ααα=+∑=++=∴ni i X n L 1α1αln )ln(ln ，由∑==++=??ni i X nL 101ααln ln 得，α的极⼤似量估计量为)ln (?∑=+-=ni iXn11α2、设总体X 服从指数分布 ,0()0,x e x f x λλ-?>=??其他，n X X X ,,21是来⾃X 的样本，（1）求未知参数λ的矩估计；（2）求λ的极⼤似然估计.解：（1）由于1()E X λ=，令11X Xλλ=?=i x nn L x x x eλλ=-∑=111ln ln ln 0nii ni ni ii L n x d L n n x d xλλλλλ====-=-=?=∑∑∑故λ的极⼤似然估计仍为1X。
概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程
估计 θ ,故称这种估计为点估计.
5 6
,σ 2未知,
… 随机抽查100个婴儿 得100个体重数据 10,7,6,6.5,5,5.2, …
而全部信息就由这100个数组成. 据此,我们应如何估计 和 σ 呢?
我们知道,服从正态分布N ( , σ 2 )的r.v. X , E ( X ) = , 由大数定律, 样本体重的平均值 1 → ∑ X i P n i =1 自然想到把样本体重的平均值作为总体平均 体重的一个估计. X= 用样本体重的均值 X估计 , 类似地,用样本体重的方差 S 2估计 σ 2 . 1 n 1 n 2 X = ∑ Xi, S = ∑ ( X i X )2 n 1 i =1 n i =1
(一)矩估计法
基本思想:用样本矩估计总体矩
(二)最大似然估计法
基本思想:
15
16
最大似然估计法 (最大似然法)
它首先是由德国数学家 高斯在1821年提出的 , 然而,这个方法常归功于 英国统计学家费希尔(Fisher) . 费希尔在1922年重新发现了 这一方法,并首先研究了这 种 方法的一些性质 . Fisher
1. 矩估计法 2. 最大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
(一) 矩估计法(简称"矩法")
它是基于一种简单的"替换"思想 建立起来的一种估计方法 . 英国统计学家 K. 皮尔逊 最早提出的 . 基本思想: 用样本矩估计总体矩 . 理论依据: 大数定律
Ak = 1 n k P ∑ X i → k = E ( X k ) n i =1
4
在参数估计问题中,假定总体分布 形式已知,未知的仅仅是一个或几个 参数.
《概率论与数理统计》课件第七章 参数估计
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
概率论与数理统计第七章课后习题及参考答案
5．设总体 X 的概率密度为
f
(x,
)
(
1) x
,0
x
1,
0, 其他．
其中 1是未知参数， X1 ， X 2 ，…， X n 是来自 X 的一个样本．试求参数
2
的矩估计和极大似然估计．现有样本观测值 0.1 ，0.2 ，0.9 ，0.8 ，0.7 及 0.7 ，
求参数 的矩估计值和极大似然估计值．
1 2 2 c 2 2 ( 1 c) 2 ，
n
n
取 c 1 即可． n
14．设总体 X 的均值为 ，方差为 2 ，从总体中抽取样本 X1 ， X 2 ， X 3 ，证明
(
x,
,
2
)
1
1
1
e 2 2
(ln x )2
,
x
0,
2 x
0,
x 0.
其中 ， 0 为未知参数， X1 ， X 2 ，…， X n 是取自该总体的一
个样本，求参数 ， 2 的极大似然估计．
解： xi 时，似然函数为
L(, 2 )
(
1 2 )n
1 x1x2 xn
exp{
dL
d
n exp{
n i 1
( xi
)}
0，
所以 L( ) 是 的单调增函数，从而对满足条件 xi 的任意 ，有
n
n
L( ) exp{ i1 (xi )} exp{ i1 (xi m1iinn{xi})} ，
即 L( ) 在 m1iinn{xi} 时取最大值， 故 的极大似然估计值为ˆ m1iinn{xi} ． 7．(1) 设总体 X 具有分布律
ˆ1 X1 ；
ˆ2
概率论与数理统计第七章参数估计
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
概率论与数理统计第七章
估计 为1.68，这是点估计.
估计在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N(,2),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
求:两个参数a,b的矩估计
解: 写出方 V E 程 (X a(X )r组 ) ˆˆ2
其 中uˆˆ2Xn1in1（Xi X)2
但是
E
(
X
)
Var ( X )
a
b 2 (b a)2
12
即有
(ab2ba)2 12
X
ˆ
2
由方程组求解出a,b的矩估计:
a ˆX 3 ˆ b ˆX 3 ˆ
其中 ˆ:ˆ2 n 1i n1 （ XiX)2
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均 值am=E(Xm).即:
n 1i n1Xim pE(Xm)am
例1 设总体X的概率密度为
f(x)(1)x,
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X 与 Y 独立，则 X + Y～2(n1+n2 ).
b) 期望与方差 若 X～2(n)，则
E(X) = n， Var(X) = 2n
26 October 2018
华东师范大学
第七章 样本分布
第13页
二、t — 分布
1. 构造 若 X ～N(0, 1), Y～2(n), X 与 Y 独立，则
E 2 n, Var ( ) 2n
2
26 October 2018
华东师范大学
第七章 样本分布
第11页
3. 分位点 设X ~ 2(n)，若 对于：0<<1，存在 满足 则称 为 分布的下侧 分位点。
26 October 2018
华东师范大学
第七章 样本分布
第12页
4. 2 分布的性质：
则称 F(n1, n2)为
F(n1, n2)的下侧 分位点
26 October 2018
华东师范大学
第七章 样本分布
第21页
3. F — 分布性质:
26 October 2018
华东师范大学
第七章 样本分布
第22页
一般总体的结论
设 X 为总体, 且 E(X) = , Var(X) = 2,
则 为样本,
26 October 2018
华东师范大学
第七章 样本分布
第23页
正态总体的结论
为样本, (1) (2) (3) (4)
26 October 2018
设总体 则
独立.
华东师范大学
t1 (n)
26 October 2018
华东师范大学
第七章 样本分布
第17页
注:
26 October 2018
华东师范大学
第七章 样本分布
第18页
三、F — 分布 1. 构造 若X ~ 2(n1)， Y ~ 2(n2)，X与Y独立，则
称为自由度为 n1, n2的F — 分布, 其概率密度为
26 October 2018
华东师范大学
第七章 样本分布
第4页
统计量
当人们需要从样本获得对总体各种参数的认识 时，最好的方法是构造样本的函数，不同的函 数反映总体的不同特征。
统计量 设x1,x2,…,xn 为取自某总体的样本， 若样本函数T = T(x1, x2, …, xn)中不含有任何 未知参数。则称T为统计量。统计量的分布 称为抽样分布。
26 October 2018
华东师范大学
第七章 样本分布
第6页
几个常用的统计量：
26 October 2018
华东师范大学
第七章 样本分布
第7页
课 堂 练 习 (1)
设X1, X2, …, Xn 是来自总体 N(, 2)的一个样本,
其中 已知，2 未知, 以下哪些是统计量
1 n (1) Xi n i 1
26 October 2018
华东师范大学
第七章 样本布
第3页
2 样本： 来自总体的部分个体 X1， … ，Xn 如果满足：
(1) 同分布性： Xi，i=1,…,n 与总体同分布.
(2) 独立性： X1，… ，Xn 相互独立； X1，… ，Xn: 容量为 n 的简单随机样本，简称样本。
而称 X1, …, Xn 的一次实现 x1, … , xn 为样本观察值。
26 October 2018
华东师范大学
第七章 样本分布
第5页
按照这一定义，若 x1,x2,…,xn为样本 则 x , x 都是统计量。 而当, 2 未知时，x1- , x1/ 等均不是统计量。
n n 2 i i i 1 i 1
尽管统计量不依赖于未知参数，但是它的分 布一般是依赖于未知参数的。
第七章 样本分布
第1页
§7.1 总体与样本
1. 总体：研究对象的全体。 通常指研究对象的某项数量指标。 组成总体的元素称为个体。
从本质上讲，总体就是所研究的随机 变量或随机变量的分布。
26 October 2018
华东师范大学
第七章 样本分布
第2页
总体 (母体)： i) 研究对象的全体。
ii) 总体是一个随机变量。 个体: 每一个研究对象。
华东师范大学
第七章 样本分布
第8页
数理统计中常用到如下三个分布：
2 — 分布、 t — 分布、 F — 分布 一、2 — 分布
26 October 2018
华东师范大学
第七章 样本分布
第9页
2. 2—分布的密度函数曲线
26 October 2018
华东师范大学
第七章 样本分布
第10页
该密度函 数的图象 是一取非 负值的偏 态分布
26 October 2018
华东师范大学
第七章 样本分布
第16页
3. t(n) 的性质: (1) p(t) 关于 t=0 (纵轴) 对称。 (2) p(t) 的极限为 N(0，1) 的密度函数.
4. 分位点 设T～t(n)，若对0<<1, 存在 t(n)>0， 满足 P{Tt(n)} = 则称 t(n)为 t(n) 的下侧 分位点.
n
1 n 2 (2) ( X ) i n i 1
2
1 n 2 (3) ( X X ) i n i 1
2
1 Xi (4) n i 1
(5) X 1 X 2
2
2
(6) 2 X 1 X 2 ...X n
26 October 2018
26 October 2018
华东师范大学
第七章 样本分布
第19页
该密度函 数的图象 也是一取 非负值的 偏态分布
26 October 2018
华东师范大学
第七章 样本分布
第20页
2. F — 分布的分位点
对于 0<<1，若存在 F(n1, n2)>0 满足 P{FF(n1, n2)} = ，
t(n) 称为自由度为 n 的 t — 分布。
26 October 2018
华东师范大学
第七章 样本分布
第14页
2. t(n) 的概率密度为:
26 October 2018
华东师范大学
第七章 样本分布
第15页
t分布的密度函 数的图象是一关 于纵轴对称的分 布，与标准正态 分布的密度函数 形状类似，只是 峰比标准正态分 布低一些尾部的 概率比标准正态 分布的大一些。