第二章 参数估计.pdf
合集下载
数理统计： 参数估计方法
23
引例
设总体 X 服从参数为 的指数分布， 未知，
X1 , X 2 , , X n 是来自X的样本, x1 , x2 , , xn 是
相应的样本值，求 的矩估计量和矩估计值.
解 因为 E( X ) 所以 用样本矩替换总体矩, 得 的矩估计量
ˆ
1 n
n i 1
Xi
X
(
x)
1
e
x
,
x0
0,
其他.
但参数 未知。已知参数的取值范围,记为 。
给出样本的一组观察值，如何推断总体的分布?
【思路】给出 的估计，则得到对总体分布的推断。
【方法】根据一定的原则，从 中找到一个值(点) 作为的 估计。
点估计
2
点估计定义
设总体 X 的分布函数 F ( x; ) 的形式为已知,
的估计量.
4
二、估计量的评选标准 1. 无偏性
定义 若 X1, X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数, 若估计量ˆ ˆ( X1 , X 2 ,, X n )的数学期望 E(ˆ) 存在, 且对于任意 有
E(ˆ) 则称ˆ 是 的无偏估计量,否则称为有偏的.
(2) lim S 2 2 a.s. (强大数定律) n
即样本方差是总体方差2的强相合估计， 也是相合估计.
12
C. 样本标准差
其观察值:
S
S2
1 n1
n i 1
Xi
X
2
;
s
1 n1
n i 1
( xi
引例
设总体 X 服从参数为 的指数分布， 未知，
X1 , X 2 , , X n 是来自X的样本, x1 , x2 , , xn 是
相应的样本值，求 的矩估计量和矩估计值.
解 因为 E( X ) 所以 用样本矩替换总体矩, 得 的矩估计量
ˆ
1 n
n i 1
Xi
X
(
x)
1
e
x
,
x0
0,
其他.
但参数 未知。已知参数的取值范围,记为 。
给出样本的一组观察值，如何推断总体的分布?
【思路】给出 的估计，则得到对总体分布的推断。
【方法】根据一定的原则，从 中找到一个值(点) 作为的 估计。
点估计
2
点估计定义
设总体 X 的分布函数 F ( x; ) 的形式为已知,
的估计量.
4
二、估计量的评选标准 1. 无偏性
定义 若 X1, X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数, 若估计量ˆ ˆ( X1 , X 2 ,, X n )的数学期望 E(ˆ) 存在, 且对于任意 有
E(ˆ) 则称ˆ 是 的无偏估计量,否则称为有偏的.
(2) lim S 2 2 a.s. (强大数定律) n
即样本方差是总体方差2的强相合估计， 也是相合估计.
12
C. 样本标准差
其观察值:
S
S2
1 n1
n i 1
Xi
X
2
;
s
1 n1
n i 1
( xi
第二章多元正态分布的参数估计
就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
第二章 多元正态分布及参数的估计
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
第二章参数估计
第二章 参数估计【学习目标】1、掌握矩估计的替代原则；会求已知分布中未知参数的矩估计（值）2、熟练掌握极大似然估计的思想及求法3、估计量的评价标准：无偏性、有效性、相合性的定义4、统计量的无偏性的判断；两个无偏估计的有效性判断；会用Fisher 信息量及c-R 下界进行统计量的UMVUE 充分性判断5、掌握区间估计的定义6、单个正态总体均值的区间估计（包括方差已知、方差未知）；单个正态总体方差的区间估计（包括均值已知、均值未知）7、两个正态总体均值差的区间估计（方差未知）；两个正态总体方差比的区间估计 8、单侧置信区间的求法 【典型例题讲解】例1、设1,,n X X 是来自均匀分布(,1)U θθ+的总体的容量为n 的样本，其中θ-∞<<+∞为未知参数，试证：θ的极大似然估计量不止一个，例如1(1)ˆXθ=，2()ˆ1n X θ=-，3(1)()11ˆ()22n XXθ=+-都是θ的极大似然估计。
解：(,1)U θθ+分布的密度函数为11()0x f x θθ≤≤+⎧=⎨⎩其他似然函数(1)()11()0n x x L θθθ≤≤≤+⎧=⎨⎩其他由于在(1)()1n x x θθ≤≤≤+上()L θ为常数，所以凡是满足：(1)()ˆˆ1n x x θθ≤≤≤+的ˆθ均为θ的极大似然估计。
从而（1）1(1)ˆX θ=满足此条件，故1(1)ˆX θ=是θ的极大似然估计；（2）由于()(1)1n X X -≤，故2()(1)()2ˆˆ11n n X X X θθ=-≤≤=+，所以2()ˆ1n Xθ=-为θ的极大似然估计；（3）由于()(1)1n X X -≤，故(1)()(1)12n X X X +-≤，(1)()()12n n X X X ++≥，从而有3(1)()(1)()(1)()31111ˆˆ()()12222n n n XXXXXXθθ=+-≤≤≤++=+，故3ˆθ也为θ的极大似然估计。
应用数理统计第二章
ˆ = ⎡ rs ⎤ . N ⎢ ⎥ ⎣x⎦
□
例2.1.11 总体 X ~ U (θ,θ +1) ， θ 是未知参数， X1，…，Xn 是一组样本，求θ 的极大似然估计。 解. 总体的密度函数为： f(x,θ ) = 1， θ ＜ x1，…，xn ＜ θ +1 显然不能对参数 θ 求导，无法建立似然方程 注意到这个似然函数不是 0 就是 1 ，利用 顺序统计量，把似然函数改写成如下形式：
f(x,θ ) = 1， θ ＜ x(1) ＜… ＜ x(n) ＜ θ +1 因此只要 θ ＜ x(1) 并且 x(n) ＜ θ +1 同时满足， 似然函数就可以达到极大值 1 。 所以 U (θ,θ +1) 中参数θ 的极大似然估计 可以是区间 ( x(n) - 1 ，x(1) ) 里的任意一个点 。 说明 MLE 可以不唯一，甚至有无穷多个 同理，总体 U (a，b) 左右端点 a 、b 的MLE 分别就是两个极值统计量 x(1) 、x(n) 。
k =1
n
注意这里总体参数 θ 是一个向量 (µ,σ2 ) ， 因此对于似然函数取对数后分别对 µ,σ2 求导， 建立对数似然方程组：
1
σ
−
2
(x − µ) = 0 n + 1 2(σ 2 )2 ( xk − µ )2 = 0 ∑
k =1 n
2σ 2
解方程组得到正态总体两个参数的MLE
ˆ µ=X
1 n n−1 2 ˆ σ 2 = ∑ ( X k − X )2 = S n k =1 n
⎛ N ⎞ ∑ xk nN − ∑ xk L ( x ,θ ) = [ ∏ ⎜ ⎟ ] p (1 − p ) ⎝ xk ⎠
这里每一个 xk = 0、1、…、N 中的某个值
□
例2.1.11 总体 X ~ U (θ,θ +1) ， θ 是未知参数， X1，…，Xn 是一组样本，求θ 的极大似然估计。 解. 总体的密度函数为： f(x,θ ) = 1， θ ＜ x1，…，xn ＜ θ +1 显然不能对参数 θ 求导，无法建立似然方程 注意到这个似然函数不是 0 就是 1 ，利用 顺序统计量，把似然函数改写成如下形式：
f(x,θ ) = 1， θ ＜ x(1) ＜… ＜ x(n) ＜ θ +1 因此只要 θ ＜ x(1) 并且 x(n) ＜ θ +1 同时满足， 似然函数就可以达到极大值 1 。 所以 U (θ,θ +1) 中参数θ 的极大似然估计 可以是区间 ( x(n) - 1 ，x(1) ) 里的任意一个点 。 说明 MLE 可以不唯一，甚至有无穷多个 同理，总体 U (a，b) 左右端点 a 、b 的MLE 分别就是两个极值统计量 x(1) 、x(n) 。
k =1
n
注意这里总体参数 θ 是一个向量 (µ,σ2 ) ， 因此对于似然函数取对数后分别对 µ,σ2 求导， 建立对数似然方程组：
1
σ
−
2
(x − µ) = 0 n + 1 2(σ 2 )2 ( xk − µ )2 = 0 ∑
k =1 n
2σ 2
解方程组得到正态总体两个参数的MLE
ˆ µ=X
1 n n−1 2 ˆ σ 2 = ∑ ( X k − X )2 = S n k =1 n
⎛ N ⎞ ∑ xk nN − ∑ xk L ( x ,θ ) = [ ∏ ⎜ ⎟ ] p (1 − p ) ⎝ xk ⎠
这里每一个 xk = 0、1、…、N 中的某个值
2多元正态分布及参数估计
或表达为
定X (2) X ,, X f x (2) 0 r 1 p 2
的条件下，
f x | x
(1)
(2)
f 2 x (2)
12
f x
4、独立性
设 X 1 , X 2 , , X p 是 p 个随机变量, Xi的分布函数记为 Fi(xi)
(i=1,2,…,p); F ( x1 , x2 ,, x p ) 是 ( X 1 , X 2 ,, X p ) ' 的联合分布
C OV X , Y X D X D D Y Y C OV Y , X
21
第二章 多元正态分布及参数的估计
§2.1 随 机 向 量
三﹑ 协方差阵的性质 (1) 设X,Y为随机向量(矩阵） D(AX+b)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
17
2、协方差矩阵
协方差定义为
Cov X , Y E ( X E ( X ))(Y E (Y ))
ห้องสมุดไป่ตู้
若Cov(X,Y)=0，则称X和Y不相关。 两个独立的随机变量必然不相关，但两个不相关的 随机变量未必独立。 当X=Y时，协方差即为方差，也就是
Cov X , X Var X D ( X ) 和Y Y ,Y ,,Y X X 1 , X 2 ,, X p 1 2 q 的协方差矩
19
X和Y的协方差矩阵与Y和X的协差阵互为转置关系，即有 若COV(X,Y)=0，则称X和Y不相关。 两个独立的随机向量必然不相关，但两个不相关的随机向量未必独 立。 X=Y时的协差阵COV(X,X)称为X的协差阵，记作D(X)，即
定X (2) X ,, X f x (2) 0 r 1 p 2
的条件下，
f x | x
(1)
(2)
f 2 x (2)
12
f x
4、独立性
设 X 1 , X 2 , , X p 是 p 个随机变量, Xi的分布函数记为 Fi(xi)
(i=1,2,…,p); F ( x1 , x2 ,, x p ) 是 ( X 1 , X 2 ,, X p ) ' 的联合分布
C OV X , Y X D X D D Y Y C OV Y , X
21
第二章 多元正态分布及参数的估计
§2.1 随 机 向 量
三﹑ 协方差阵的性质 (1) 设X,Y为随机向量(矩阵） D(AX+b)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
17
2、协方差矩阵
协方差定义为
Cov X , Y E ( X E ( X ))(Y E (Y ))
ห้องสมุดไป่ตู้
若Cov(X,Y)=0，则称X和Y不相关。 两个独立的随机变量必然不相关，但两个不相关的 随机变量未必独立。 当X=Y时，协方差即为方差，也就是
Cov X , X Var X D ( X ) 和Y Y ,Y ,,Y X X 1 , X 2 ,, X p 1 2 q 的协方差矩
19
X和Y的协方差矩阵与Y和X的协差阵互为转置关系，即有 若COV(X,Y)=0，则称X和Y不相关。 两个独立的随机向量必然不相关，但两个不相关的随机向量未必独 立。 X=Y时的协差阵COV(X,X)称为X的协差阵，记作D(X)，即
多元正态分布及参数估计
2019/11/6
应用统计方法
22
2、性质 1） 设为常数，则 E (a X )a(E X )； 2）设 A,B,C 分别为常数矩阵，则
E ( A C X ) A E ( X B ) B C
3）设 X 1,X 2, ,X n为 n个同阶矩阵，则
E ( X 1 X 2 X n ) E X 1 E X 2 E X n
对一切 x、y成立，则称 x和 y相互独立。
2、设 x和 y是两个连续随机向量， x和 y相互
独立，当且仅当
f(x|y)fx(x)或 F (x ,y ) F x(x )F y(y )
对一切
2019/11/6
x
、y
成立。 应用统计方法
19
3、设 x1,x2, ,xn是 n个随机向量，若
F ( x 1 , x 2 , , x m ) F 1 ( x 1 ) F 2 ( x 2 ) F m ( x m ) mn
2019/11/6
应用统计方法
23
二、协方差矩阵
1、定义：设 x (x 1 ,x2, ,xp)和 y (y 1 ,y2, ,y q)分 别为 p维和 q维随机向量，则其协方差矩阵为
Exx2 1 E E ((xx1 2))y1E(y1)
y2E(y2) yqE(yq)
降的右连续函数；
2019/11/6
应用统计方法
4
② 分布函数的取值范围为[0，1]，即
0F(a1,a2, ,ap)1
③ 分布函数当变量取值为无穷大时，函数值收敛到1，即
F(,, ,)1
2019/11/6
应用统计方法
5
二、两个常用的离散多元分布
数值分析答案第二章参数估计习题
数值分析答案第二章参数估计习题数值分析习题解答数值分析课后习题答案参数估计练习题数值分析习题参数估计习题参数估计习题及答案数值分析习题解答pdf数值分析习题集及答案数值分析习题答案
f(x)= （） { > − ex λ ) λ 0λ ( x解： λe , x ≥ 0
第二章 参数估计 1.设母体X具有负指数分布，它的分布密度 −λ x 为 λe , x ≥ 0 f(x)= 0, x < 0 其中 λ > 0 。试用矩法求的估计量。 解：x e(λ ) f(x)=
0
1
θ −1
dx =
θ θ +1
X 估计EX
X ∴θ = 1− X
1 e 5.设母体X的密度为 f ( x) = 2σ
−
x
σ
, −∞ < x < ∞
试求 σ 的最大似然估计;并问所得估计量是 否的无偏估计. ∑x x n 解： n 1 −σ 1 n − σ
i
L = ∏ f ( xi ) = ∏
i =1 i =1
ln L = n ln θ + (θ − 1)∑ ln xi
i
0, 其他 n
i =1
( θ >0 )
n i =1
d ln L n ＾= − n = + ∑ ln xi = 0,∴θ θ i dθ ∑ ln xi
i
2矩法估计
EX =
用
X 用估计EX
+∞
−∞
∫ x ⋅ f ( x)dx = ∫ x ⋅θ ⋅ x
2
给定置信概率1−α 即
P ( x − uα
2
σ/ n
，有 uα ，使
2
P{ u ≤ uα } = 1 − α
f(x)= （） { > − ex λ ) λ 0λ ( x解： λe , x ≥ 0
第二章 参数估计 1.设母体X具有负指数分布，它的分布密度 −λ x 为 λe , x ≥ 0 f(x)= 0, x < 0 其中 λ > 0 。试用矩法求的估计量。 解：x e(λ ) f(x)=
0
1
θ −1
dx =
θ θ +1
X 估计EX
X ∴θ = 1− X
1 e 5.设母体X的密度为 f ( x) = 2σ
−
x
σ
, −∞ < x < ∞
试求 σ 的最大似然估计;并问所得估计量是 否的无偏估计. ∑x x n 解： n 1 −σ 1 n − σ
i
L = ∏ f ( xi ) = ∏
i =1 i =1
ln L = n ln θ + (θ − 1)∑ ln xi
i
0, 其他 n
i =1
( θ >0 )
n i =1
d ln L n ＾= − n = + ∑ ln xi = 0,∴θ θ i dθ ∑ ln xi
i
2矩法估计
EX =
用
X 用估计EX
+∞
−∞
∫ x ⋅ f ( x)dx = ∫ x ⋅θ ⋅ x
2
给定置信概率1−α 即
P ( x − uα
2
σ/ n
，有 uα ，使
2
P{ u ≤ uα } = 1 − α
第二章 参数估计
0
x 2de
x
2xe
x
dx
2
xde
x
0
x
0
0
2 e dx 2 2
0
9
例4：设X1， … ， Xn为取自 N ( , 2 ) 总体的
样本，求参数 , 2 的矩估计。
: E( X ) D( X ) 2 E( X 2 ) [E( X )]2
极大似然法是由德国数学家G.F.Gauss在1821年提 出的.然而这个方法通常归于英国统计学家 R.A.Fisher,因为他在1912年里发现了这一方法,并 且首先研究了这种方法的性质.
设总体的密度函数为f(x,θ), θ为待估参数,θ∈Θ,Θ
为参数空间.当给定样本观察值 x (x1, x2 , xn )后,f(x,
以随便给的,所以根据统计思想建立各种点估计方法
和评价点估计的好坏标准便是估计问题的研究中心.
这里先介绍三个常用的标准:无偏性、有效性和一致
性.
1
有效性
^
^
设 i i ( X1,, X n ), i 1, 2分别是参数 的两个无偏估计,
^
^
^
^
若D 1 D 2 至少有一个n使 成立 , 则称 1比 2 有效.
总体k阶矩 样本k阶矩
k E(Xk )
Ak
1 n
n i 1
X
k i
的矩估计量是
约定：若
是未知参数的矩估计，则u()的矩
估计为u(
),
6
例2、：设X1， … ， Xn为取自参数为的指数分布 总体的样本，求的矩估计。
参数估计2
n
e n
i
x !
i 1 n i 1
ii ) ln L( x1 , x 2 ,..., x n ; ) xi ln n ln xi !
i 1
xi ln L( x1 , x2 ,...,xn ; ) i 1 n 0 iii)令 : 1 n iv)解之得 : xi x为 的极大似然估计值 , n i 1 1 n X i X 为 的极大似然估计量 . n i 1
(1)正态分布N (u, 2 ) (2)指数分布Z ( ) (3)均匀分布U (a, b) (4)二项分布B(n, p) (3)泊松分布 ( ) 试求其中未知参数的矩 估计. 解 : (1)
因为X ~ N ( , 2 ), E ( X ) , D( X ) 2 故有 X ,
注2
若 为 的矩估计量, g ( )为 的连续函数, 亦称g ( )为g ( )
2 2 例如S n 为总体方差D( X )的矩估计量, 则S n S n 为标准差 D( X )
的矩估计量. 的矩估计量.
例1.1
设X 1 , X 2 ,..., X n为来自正态总体 X 的样本, X的分布为
i 1 n n
( X为连续型)
(1.4) (1.5)
或
L( x1 , x2 ,..., xn ) PX i xi ;
i 1
( X为离散型)
达到最大值
L( x1 , x2 ,..., xn ; ) max L( x1 , x2 ,..., xn ; )
(1) 利用求导法求极大然估 计步骤 i )建立似然函数: L( x1 , x 2 ,..., x n ; 1 , 2 ,..., r ) f ( xi ; 1 , 2 ,..., r )
应用数理统计第二章参数估计(3)区间估计
例1 有一大批月饼，现从中随机地取16袋，称得重量（以克 计）如下：506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496 ，设袋装月饼的重量近似地服从正态 分布，试求总体均值的置信度为0.95的置信区间。 解： 2未知, 1-=0.95, /2=0.025,n-1=15, t0.975 (15) 2.1315 由已知的数据算得 x 503.75, S* 6.2022
n1 (n2 1) S12 12 n1 (n2 1) S12 P F (n 1, n1 1) 2 F (n 1, n1 1) 1 2 /2 2 2 1 / 2 2 2 n2 (n1 1) S2 n2 (n1 1) S2
10
得所求的标准差的置信区间为 (4.58, 9.60)
2.4.3 两个正态总体参数的区间估计
在实际中常遇到下面的问题：已知产品的某一质量指标 服从正态分布，但由于原料、设备条件、操作人员不同，或 工艺过程的改变等因素，引起总体均值、总体方差有所改变, 我们需要知道这些变化有多大，这就需要考虑两个正态总体 均值差或方差比的估计问题。
ˆ a ˆ b} {g(a) T ( X , X ,..., X ; ) g(b)} { 1 2 n
其中g ( x )为可逆的已知函数， T ( X 1 , X 2 ,..., X n ; 况
设总体X~N(,2),X1, X2, …,Xn是总体X的样本，求,2 /2 /2 的置信水平为(1)的置信区间.
求得 的置信水平为(1)的置信区间: ( 2未知)
S S* t1 2 (n 1) or X t1 2 (n 1) X n1 n
《应用数理统计》吴翊李永乐第二章 参数估计课后习题参考答案
第二章 参数估计课后习题参考答案2.1 设总体X 服从二项分布()n X X X p p N B ,,,,11,,21 <<为其子样，求N 及p 的矩法估计。
解：()()()p Np X D Np X E -==1,令()⎪⎩⎪⎨⎧-==p Np S Np X 12解上述关于N 、p 的方程得：2.2 对容量为n 的子样，对密度函数22(),0(;)0,0x x f x x x ααααα⎧-⎪=⎨⎪≤≥⎩其中参数α的矩法估计。
解：122()()a E x xx dx ααα==-⎰22022()x x dx ααα=-⎰2321221333ααααααα=-=-= 所以 133a x α∧== 其中121,21(),,,n n x x x x x x x n=+++为n 个样本的观察值。
2.3 使用一测量仪器对同一值进行了12次独立测量，其结果为(单位：mm) 232.50，232.48，232.15，232.52，232.53，232.30 232.48，232.05，232.45，232.60，232.47，232.30 试用矩法估计测量的真值和方差(设仪器无系统差)。
⎪⎪⎩⎪⎪⎨⎧-=-==X S p S X X p X N 2221ˆˆˆ解：()()()∑∑====-====ni i ni i S X X n X D X X n X E 12210255.014025.23212.4 设子样1.3，0.6，1.7，2.2，0.3，1.1是来自具有密度函数()10,1,<<=βββx f 的总体，试用矩法估计总体均值、总体方差及参数β。
解：()()()()4.22ˆ2,1,407.012.1101221========-===⎰⎰∑∑==X Xdx xdx x xf X E x f XX n S X n X ni i ni i ββββββββ参数：总体方差：总体均值：2.5 设n X X X ,,,21 为()1N ，μ的一个字样，求参数μ的MLE ；又若总体为()21N σ，的MLE 。
第二章 参数估计
ˆ = q ( X , K , X ) , q k k 1 n
k = 1, 2, L , m
(2.2)
ˆ 为 q 的矩估计， g ( x 若 q ) 为连续函数，则也称 g (qˆ k k k ) 为 g (q k ) 的矩估计.
【例 2.1】 设总体 X 服从参数为 l 的泊松分布，X 1 , K , X n 为来自总体的样本， 求l 的 矩估计. 解： a1 = EX = l
i =1
定义 2.1：设总体 X 的概率函数为 f ( x;q ) ， x1 ,L , x n 是来自总体的样本，则称
n
L(q ) = Õ f ( xi ;q )
i =1
(2.4)
为总体 X 对应样本 x1 ,L , x n 的似然函数.
L(q ) 越大，越有利于样本 x1 ,K , x n 被观察到.
-l ì l x e ï f ( x 0,1, 2, L 其它
或简写为
f ( x) =
-l l x e
x !
x = 0,1, 2, L
§2.1 点估计
我们经常会遇到这样的问题： 总体 X 的分布函数 F ( x,q ) 的形式已知， 但其中的参数q 未知， 希望利用 X 的样本 x1 ,K , x 这类问题称为参数的点估计 （point n 对 q 的值进行估计， estimation）问题. 比如，已知某种电子元件的寿命 X ~ N ( m , s ) ，即 X 的分布密度
P( X = xi ) = p( xi ,q ), i = 1, 2,L ,
其中q 为未知参数，q Î Q . 设 X 1 , K , X n 是来自总体 X 的一组样本， 观察值为 x1 ,K , x n .我们把观察到的样本看成 结果，而需要判断的是未知参数q 的取值，根据最大似然原理，应该选取一个最有利于结 果的发生的q 值作为 qˆ .
多元正态分布的参数估计
第二章 多元正态分布的参数估计
第一节 引言 第二节 基本概念 第三节 多元正态分布 第四节 多元正态分布的参数估计 第五节 多元正态分布参数估计的
实例与计算机实现
第一节 引言
多元统计分析涉及到的都是随机向量或多个随机向量放在一 起组成的随机矩阵。例如在研究公司的运营情况时，要考虑 公司的获利能力、资金周转能力、竞争能力以及偿债能力等 财务指标；又如在研究国家财政收入时，税收收入、企业收 入、债务收入、国家能源交通重点建设基金收入、基本建设 贷款归还收入、国家预算调节基金收入、其他收入等都是需 要同时考察的指标。
5
ቤተ መጻሕፍቲ ባይዱ
变量 序号
1 2
表 2.1 数据
X1
X2
X 11
X 12
X 21
X 22
n
X n1
X n2
在这里横看表 2.1，记为
X ( ) ( X1, X 2 , , X p ) ， 1, 2, , n 表示第 个样品的观测值。竖看表 2.1，第 j 列
X j ( X1 j , X 2 j , , X nj ) ， j 1, 2, , p
k
型随机变量，称 P( X xk ) pk ，(k 1, 2, ) 为 X 的概率分 布。设 X ~ F(x) ，若存在一个非负函数 f (x) ，使得一切实数
x
x 有： F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，
简称为密度函数。
8
一个函数 f (x) 能作为某个随机变量 X 的分布密度函数的
显然，如果我们只研究一个指标或是将这些指标割裂开分别 研究，是不能从整体上把握研究问题的实质的，解决这些问 题就需要多元统计分析方法。为了更好的探讨这些问题，本 章我们首先论述有关随机向量的基本概念和性质。
第一节 引言 第二节 基本概念 第三节 多元正态分布 第四节 多元正态分布的参数估计 第五节 多元正态分布参数估计的
实例与计算机实现
第一节 引言
多元统计分析涉及到的都是随机向量或多个随机向量放在一 起组成的随机矩阵。例如在研究公司的运营情况时，要考虑 公司的获利能力、资金周转能力、竞争能力以及偿债能力等 财务指标；又如在研究国家财政收入时，税收收入、企业收 入、债务收入、国家能源交通重点建设基金收入、基本建设 贷款归还收入、国家预算调节基金收入、其他收入等都是需 要同时考察的指标。
5
ቤተ መጻሕፍቲ ባይዱ
变量 序号
1 2
表 2.1 数据
X1
X2
X 11
X 12
X 21
X 22
n
X n1
X n2
在这里横看表 2.1，记为
X ( ) ( X1, X 2 , , X p ) ， 1, 2, , n 表示第 个样品的观测值。竖看表 2.1，第 j 列
X j ( X1 j , X 2 j , , X nj ) ， j 1, 2, , p
k
型随机变量，称 P( X xk ) pk ，(k 1, 2, ) 为 X 的概率分 布。设 X ~ F(x) ，若存在一个非负函数 f (x) ，使得一切实数
x
x 有： F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，
简称为密度函数。
8
一个函数 f (x) 能作为某个随机变量 X 的分布密度函数的
显然，如果我们只研究一个指标或是将这些指标割裂开分别 研究，是不能从整体上把握研究问题的实质的，解决这些问 题就需要多元统计分析方法。为了更好的探讨这些问题，本 章我们首先论述有关随机向量的基本概念和性质。
应用数理统计吴翊李永乐第二章-参数估计课后习题参考答案
《应用数理统计》吴翊李永乐第二章-参数估计课后习题参考答案(总19页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第二章 参数估计课后习题参考答案设总体X 服从二项分布()n X X X p p N B ,,,,11,,21 <<为其子样，求N 及p 的矩法估计。
解：()()()p Np X D Np X E -==1,令()⎪⎩⎪⎨⎧-==p Np S Np X 12 解上述关于N 、p 的方程得：对容量为n 的子样，对密度函数22(),0(;)0,0x x f x x x ααααα⎧-⎪=⎨⎪≤≥⎩其中参数α的矩法估计。
解：122()()a E x xx dx ααα==-⎰2222()x x dx ααα=-⎰2321221333ααααααα=-=-= 所以 133a x α∧== 其中121,21(),,,n n x x x x x x x n=+++为n 个样本的观察值。
使用一测量仪器对同一值进行了12次独立测量，其结果为(单位：mm) ，，，，，⎪⎪⎩⎪⎪⎨⎧-=-==X S p S X X p X N 2221ˆˆˆ，，，，，试用矩法估计测量的真值和方差(设仪器无系统差)。
解：()()()∑∑====-====ni ini i S XX nX D X X n X E 12210255.014025.2321设子样，，，，，是来自具有密度函数()10,1,<<=βββx f 的总体，试用矩法估计总体均值、总体方差及参数β。
解：()()()()4.22ˆ2,1,407.012.1101221========-===⎰⎰∑∑==X Xdx xdx x xf X E x f XX n S X n X ni i ni i ββββββββ参数：总体方差：总体均值：设n X X X ,,,21 为()1N ，μ的一个字样，求参数μ的MLE ；又若总体为()21N σ，的MLE 。
第2章 多元正态分布的参数估计
布函数即边缘分布函数为：
F ( x1 , x2 , , xq ) P( X 1 x1 , , X q xq ) P( X 1 x1 , , X q xq , X q 1 , , X p ) F ( x1 , x2 , , xq , , , )
机向量的密度函数的主要条件是：
p （1）f ( x1 , x2 ,, x p ) 0， ( x1 , x2 ,, x p ) R ；
（2）
f ( x , x ,, x
1 2
p
)dx1 dxp 1
2016/2/24
19
【例2.1】 试证函数 e ( x x ) , f ( x1 , x 2 ) 0,
1 2
x1 0, x 2 0 其它
为随机向量 X ( X1, X 2 ) 的密度函数。
证：只要验证满足密度函数两个条件即可
（1）显然，当 x1 0, x2 0 时有 f ( x1 , x2 ) 0
（2）
2016/2/24
( x1 x2 ) e dx1dx2
当 X 有分布密度 f ( x1 , x2 ,, x p ) 时（联合分布密 度），则 X (1)也有分布密度，即边缘密度函数为 ：
f1 ( x1 , x2 ,, xq ) f ( x1 ,, x p )dxq1 ,, dxp
24
2016/2/24
例如：设随机变量X在1、2、3、4四个整数中等 可能地取值，另一个随机变量Y在1~X中等可能地 取一个整数值，则有边缘分布： X 1 Y 1
13,200 21,000 12,000
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
22、设总体 X 在区间 [, +1] 上服从均匀分布，则 的矩估计 ˆ =
；
3
D(ˆ) =
。
23、设总体 X ~ N(, 2 ) ，若 和 2 均未知， n 为样本容量，总体均值 的置 信水平为1 − 的置信区间为 (X − , X + ) ，则 的值为________；
24、在实际问题中求某参数的置信区间时，总是希望置信水平愈 愈好，而置
解： E(ˆ1) = E(ˆ2), D(ˆ1) D(ˆ2) ． 12、设ˆ1 和ˆ2 均是未知参数 的无偏估计量，且 E(ˆ12 ) E(ˆ22 ) ，则其中的统计
量 更有效。
13、在参数的区间估计 (1,2 ) 中，当样本容量 n 固定时，精度2 −1 提高时，置
信度1 −
。
14、设 X1, X 2 ,, X n 是来自总体 X ~ N(,1) 的样本，则 的置信度为 0.95 的置
9、什么是最优无偏估计量？ 10、什么是一致最小方差无偏估计量？ 11、有效估计量和最优无偏估计量的关系是什么？ 12、什么叫均方误差最小估计量？ 13、叙述一致估计量的概念。 14、试述评价一个置信区间好坏的标准。 15、描述区间估计中样本容量、精度、置信度的关系。
三、单选题 1、设总体未知参数 的估计量 满足 E( ) = ,则 一定是 的( )
的关系为
。
6 、 称 统 计 量 T = T ( X1, X 2 ,, X n ) 为 可 估 函 数 g() 的 （ 弱 ） 一 致 估 计 量 是
指
。
7、判断对错：设总体 X ~ N(, 2 ) ，且 与 2 都未知，设 X1, X 2 ,..., X n 是来自
1
该总体的一个样本，设用矩法求得 的估计量为 ˆ1 、用极大似然法求得 的
估计量为 ˆ2 ，则 ˆ1 = ˆ2 。
_________________
8、ˆn 是总体未知参数 的相合估计量的一个充分条件是_______ .
解：
lim
n→
E
(ˆn
)
=
,
lim
n→
Var(ˆn
)
=
0
．
9 、 已 知 x1, x2 , x10 是 来 自 总 体 X 的 简 单 随 机 样 本 ， EX = 。 令
第二章 参数估计
一、填空题
1、总体 X 的分布函数为 F(x; )，其中 为未知参数，则对 常用的点估计方法
有
，
。
2、设总体 X 的概=
e− 0,
(
x−
)
,x x
而 X1, X2, , Xn 是来自总体 X 的简单随机样本，则未知参数 的矩估计量为
_______
3、设 X1, X 2 , X 3 是来自总体 X 的简单随机样本，且 E(X ) = ，记
4
A 极大似然估计 B 矩估计 C 无偏估计
D 有效估计
2、设总体未知参数 的估计量 满足 E( ) ,则 一定是 的( )
A 极大似然估计 B 矩估计 C 有偏估计
D 有效估计
3、设 X1, X 2 ,, X n 为来自均值为 的总体的简单随机样本，则 X i (i = 1,2,, n) （）
置信区间长度小于等于 0.2，则样本容量 n 至少要取多大_______。
18、为估计大学生近视眼所占的百分比，用重复抽样方式抽取 200 名同学进行调
查，结果发现有 68 个同学是近视眼。则大学生近视眼所占的百分比的 95%的置
信区间为
。
19、设总体 X 未知参数为 ， X 为样本均值, 若 n X − 近似服从 N(0,1) ， X(1− X)
ˆ
=
1 8
6 i=1
xi
+
10
A
i=7
xi
，则当
A
=
时， ˆ 为总体均值 的无偏估计。
10、 设总体 X ~ U (0, )，现从该总体中抽取容量为 10 的样本，样本值为
0.5， 1.3， 0.6， 1.7， 2.2， 1.2， 0.8， 1.5， 2.0， 1.6
则参数 的矩估计为
。
11、 设ˆ1 与ˆ2 都是总体未知参数 的估计，且ˆ1 比ˆ2 有效，则ˆ1 与ˆ2 的期望与 方差满足_______ .
信区间的长度愈 愈好。但当增大置信水平时，则相应的置信区间长度总
是
。
二、简述题 1、描述矩估计法的原理。 2、描述极大似然估计法的原理。 3、极大似然估计法的一般步骤是什么？ 4、评价估计量好坏的标准有哪几个？ 5、什么是无偏估计？ 6、什么是较有效？ 7、什么叫有效估计量？ 8、判断可估函数 g() 是有效估计量的充要条件是什么？
信区间为
。
15、设 X1, X 2 ,, X n 是来自总体 X ~ N(, 2 ) 的样本，其中 2 未知，则 的置
2
信度为 0.95 的置信区间为
。
16、设 X1, X 2 ,, X n 是来自总体 X ~ N(, 2 ) 的样本，其中 未知，则 2 的置
信度为 0.95 的置信区间为
。
17、设 X 服从参数为 的指数分布，X1, X 2 ,, X n , (n 2) 是来自总体 X 的样本，
X 为其样本均值，则 2nX 服从
分布。
18、设总体服从正态分布 N(,1) ，且 未知，设 X1, X 2 ,..., X n 为来自该总体的一
个 样 本 ， 记
X
=
1 n
n i=1
Xi
，则
的 置 信 水 平 为 1−
的置信区间公式是
___________________________________；若已知1− = 0.95 ，则要使上面这个
则 的一个双侧近似 1- 置信区间为
。
20、设总体 X ~ U ( , +1), X1, X2,..., Xn 为样本，则θ的矩估计量为
，
极大似然估计量为
。
21、设总体 X ~ N (, 2 ), X1, X 2,..., X n 为样本， 、 2 未知，则 2 的置信度为
1－ 的置信区间为
。
1
=
1 3
X1
+
1 3
X2
+
1 3
X3， 2
=
1 4
X1
+
1 4
X2
+
1 2
X3
3
=
1 2
X1
+
1 2
X2，
4
=
1 4
X1
+
1 4
X2
+
1 4
X3
则哪个是 的有偏估计
，哪个是 的较有效估计 。
4、随机变量 X 的分布函数 F(x; )中未知参数 的有效估计量和极大似然估计量
的关系为
。
5、随机变量 X 的分布函数 F(x; )中未知参数 的有效估计量和最优无偏估计量