数理统计复习总结(最新整理)

1,2,..., n)
X(1)的分布密度： f x(1) (x) nf (x)[1 F (x)]n1 X(n)的分布密度： f x(n) (x) nf (x)[F (x)]n1
2 参数估计
2.1 点估计与优良性：概念、无偏估计、均方误差准则、相合估计(一致估计)、渐近正态 估计
的均方误差： MSE(, ) E( )2 D (E )2
E(
|
x)
h(
|
x)d
f (x, ) m(x)
d
f (x, )d
f (x, )d
3.3minimax 估计
对决策空间中的决策函数 d1(X),d2(X),...，分别求出在 上的最大风险值 max R( , d )
在所有的最大风险值中选取相对最小值，此值对应的决策函数就是最小最大决策函数。
(
x;1
,
2
,
...,m
)
② 解方程组 ak
1 n
n i 1
X
k i
(k=1,2,...,m)，得k k ( X1, X 2 ,..., X n ) 即为所求
最大似然估计法：
① 写出似然函数 L( )
n i 1
f
(xi ; ) ，求出
lnL
及似然方程
ln L i
0
i=1,2,...,m
( x)]
1 n
F (x)[1
F (x)]
补充：
ESn2
n 1 n
DX
ES
*2 n
DX
EX 2 DX (EX )2
Sn2
1 n
n i 1
X
2 i
X
2
二项分布 B(n,p): P{X k} Cnk pk (1 p)nk , (k 0,1,..., n)
来自百度文库
EX=np DX=np(1-p)
泊松分布 P() : P{X k} k e , (k 0,1,...) k!
计量
n
f (xi ; ) C( ) exp{b( )T (x1, x2 ,..., xn )}h(x1, x2 ,..., xn ) T 是θ的充分完备统计
i 1
量
n
f (xi ; ) C( ) exp{b1( )T1(x1, x2 ,..., xn ) b2 ( )T 2(x1, x2 ,..., xn )}h(x1, x2 ,..., xn )
B 函数： B( , ) 1 x 1(1 x) 1dx B( , ) ( )( )
0
( )
1.4 次序统计量及其分布：次序统计量、样本中位数 AX 、样本极差 R
X(k)的分布密度：
f x(k ) (x)
(k
n!
[F (x)]k1[1 F (x)]nk
1)!(n k)!
f
(x), (k
MVUE 最小方差无偏估计的求解步骤：
① 求出参数 的充分完备统计量 T
② 求出 ET g( ) ，则 g 1(T ) 是 的一个无偏估计
或求出一个无偏估计，然后改写成用 T 表示的函数
③ 综合， E[g 1(T ) T ] g 1(T ) 是 的 MVUE
或者：求出 的矩估计或 ML 估计，再求效率，为 1 则必为 MVUE
无偏估计 的效率： e() 1 D nI ( )
是 的最大似然估计，且 是 的充分统计量 是 的有效估计
2.4 区间估计：概念、正态总体区间估计(期望、方差、均值差、方差比)及单侧估计、非 正态总体参数和区间估计
一个总体的情况： X ~ N (, 2 )
2 已知，求 的置信区间： X 0 0 n
第二类错误（存伪错误）： P{T W | H0为假}
势函数：
(
)
E
(
(X
))
P {X
W}
(X
)
1, 0,
X X
W. W.
当 0 时， ( ) 为犯第一类错误的概率
当 1 时，1 ( ) 为犯第二类错误的概率
4.2 正态总体均值与方差的假设检验：t 检验、X2 检验、F 检验、单边检验
一个总体的情况： X ~ N (, 2 )
2 1
2 2
2 0
：
2
i 1
2
~ 2 (n 1)
两个总体的情况：
X
~
N (1,12 ) ，Y
~
N
(2
,
2 2
)
12
2 2
2
未知时，检验 H0:1
2
H1
: 1
2
：
T
X Y
(n1
1)
S *2 1n1
(n2
1)
S
*2 2 n2
n1n2 (n1 n2 n1 n2
2)
~
t (n1
n2
2)
1
,
2
未知时，检验
H0
:
② 解似然方程得到i (x1, x2 ,..., xn ) ，即最大似然估计i ( X1, X 2 ,..., X n ) i=1,2,...,m
补充：
似然方程无解时，求出 的定义域中使得似然函数最大的值，即为最大似然估计
2.3MVUE 和有效估计：最小方差无偏估计、有效估计
T 是 的 充 分 完 备 统 计 量 ， 是 的 一 个 无 偏 估 计 * E( | T ) 为 的 惟 一 的
1 ，故用 Sn 代替 Sn-1
1 n
X m n
m n
1
m n
~
N (0,1)
m n
u
2
1 n
m n
1
m n
3 统计决策与贝叶斯估计
3.1 统计决策的基本概念：三要素、统计决策函数及风险函数
三要素：样本空间和分布族、行动空间（判决空间）、损失函数 L( , d )
统计决策函数 d(X):本质上是一个统计量，可用来估计未知参数
S *2 2 1n1 2
~
F (n2
1, n1 1)
S *2 1n1
S *2 2 n2
F 1
(n2
2
1,
n1
1)
2 1 2 2
S *2 1n1
S *2 2 n2
F (n2
2
1, n1 1)
非正态总体的区间估计：
当 n 时， X Sn
L
N (0,1)
n
X
Sn n
u
2
lim n
Sn Sn1
若 是无偏估计，则 MSE(, ) D
对于 的任意一个无偏估计量 ，有 D* D ，则* 是 的最小方差无偏估计，记
MVUE
相合估计(一致估计):
lim
n
En
lim Dn 0
n
2.2 点估计量的求法：矩估计法、最大似然估计法
矩估计法：
① 求出总体的 k 阶原点矩: ak EX k
xk
dF
X
Y
(1 2 )
n1 n2
2 1
n1
2 2
n2
u
2
12
2 2
2
未知时，求 1
2 的区间估计：
X Y (1 2 )
(n1
1)
S *2 1n1
(n2
1)
S *2 2 n2
n1n2 (n1 n2 n1 n2
2)
~
t (n1
n2
2)
1
,
2
未知时，求
12
2 2
：
S *2 2 2n2 1
1 统计量与抽样分布
1.1 基本概念：统计量、样本矩、经验分布函数 总体 X 的样本 X1，X2，…，Xn，则 T(X1，X2，…，Xn)即为统计量
样本均值 X
样本方差
S
2 n
1 n
n i 1
(Xi
2
X)
修正样本方差
S
*2 n
1 n 1
n i 1
(Xi
2
X)
样本
k
阶原点矩
Ak
1 n
n i 1
E 2 n D 2 2n
T 分布：T X ~ t(n) 当 n>2 时，ET=0 DT n
Y /n
n2
X F 分布： F Y n1 ~ F (n1, n2 )
n2
1 F
F (n2 , n1)
补充：
Z=X+Y 的概率密度 fz (z)
f (x, z x)dx f (z y, y)dy
2 已知，检验 H0:
0
H1 :
0 ：U
X 0 0 n
~
N (0,1)
2 未知，检验 H0:
0
H1 :
0 ：T
X 0 Sn* n
~
t(n 1)
n
(Xi )2
已知，检验 H0: 2
2 0
H1 : 2
2 0
：
2
i 1
2
~ 2 (n)
n
(Xi X )2
未知，检验 H0: 2
2 0
H1 : 2
4 假设检验
4.1 基本概念：零假设(H0)与备选假设(H1)、检验规则、两类错误、势函数 零假设通常受到保护，而备选假设是当零假设被拒绝后才能被接受。 检验规则：构造一个统计量 T(X1,X2,...,X3)，当 H0 服从某一分布，当 H0 不成立时，T 的
偏大偏小特征。据此，构造拒绝域 W
第一类错误（弃真错误）： P{T W | H0为真}
X
k i
,(k
1,2,...)
样本
k
阶中心矩
Bk
1 n
n i 1
(Xi
X )k ,(k
1,2,...)
经验分布函数
Fn
(x)
vn (x) n
,
(
x
)
其中 Vn(x)表示随机事件{X x} 出现的
次数,显然Vn (x) ~ B(n, F (x)) ,则有 E[Fn (x)] F (x)
D[Fn
1 exp{ (x )2 }
2
2 2
EX DX 2
E
(
nSn2 2
)
n
1
ESn2
n 1 n
2
D(
nSn2 2
)
2(n
1)
DSn2
2(n 1) n2
4
当 0 时， EX 0 EX 2 2 EX 4 3 4 E X 2 D X (1 2 ) 2
1.2 统计量：充分统计量、因子分解定理、完备统计量、指数型分布族
n
n
n
(Xi X )2
(Xi X )2
(Xi X )2
i 1
2
~
2 (n 1)
i 1
2 (n 1)
2 i1
2 1
(n
1)
2
2
两个总体的情况：
X
~
N (1,12 ) ，Y
~
N
(2
,
2 2
)
12
,
2 2
均
已
知
时
，
求
1 2 的 区 间 估
计
：
X
Y (1 2 )
2 1
2 2
~
N (0,1)
~
N (0,1)
X
0
0 n
u
2
2 未知，求 的置信区间： X 0 Sn* n
~ t(n 1)
X
0
Sn* n
t
2
(n
1)
已
知
，
求
2的
置
信
区
间
：
n
n
n
(Xi )2
(Xi )2
(Xi )2
i 1
2
~ 2 (n)
i 1
2
(n)
2
2 i1
2 1
(n)
2
未知，求 2 的置信区间：
风险函数： R( , d ) E [L( , d ( X ))] 是关于 的函数
3.2 贝叶斯估计：先验分布与后验分布、贝叶斯风险、贝叶斯估计
n
① 求样本 X=(X1,X2,...,Xn)的分布： q(x | ) f (xi | ) i 1
② 样本 X 与 的联合概率分布： f (x, ) h( | x)m(x) q(x | ) ( )
RB
(d
)
E[R(
,
d
)]
E
(
d
)2
h(
|
x)d
取 L( , d ) ( )( d )2 时，贝叶斯估计为： E[( ) | x] E[( ) | x]
补充：
C( ) 的贝叶斯估计：取损失函数 L( , d ) (C( ) d )2 ，则贝叶斯估计为
CA( ) E[C( ) | x] C( )h( | x)d
③ 求 f (x, ) 关于 x 的边缘密度 m(x) f (x, )d
④ 的后验密度为： h( | x) f (x, ) m(x)
取 L( , d ) ( d )2 时
的贝叶斯估计为： E( | x) h( | x)d
R( , d ) E ( d )2
贝叶斯风险为：
i 1
(T1,T2 ) 是 (1,2 ) 的充分完备统计量
1.3 抽样分布： 2 分布，t 分布，F 分布，分位数，正态总体样本均值和方差的分布，
非正态总体样本均值的分布
2 分布：
2
X
2 1
X
2 2
...
X
2 n
~
2 (n)
f
(x)
n
22
1 ( n )
x n 1
e 2x2 (x
0)
2
EX DX
均匀分布 U(a,b): f (x) 1 , (a x b) ba
EX a b DX 1 (b a)2
2
12
指数分布: f (x) ex , (x 0) F (x) 1 ex , (x 0)
EX 1 DX 1
2
正态分布 N (, 2 ) :
f (x)
T是
g( ) 的 一 个 无
偏估
计，则满足信息不等式
D[T ( X )] [g' ( )]2 nI ( )
，
其中
I
(
)
E
ln
f (X ; ) 2 或
I
(
)
E
2
ln f ( X 2
;
)
0
，
f (X ; ) 为 样 本 的 联 合 分
布。
最小方差无偏估计 达到罗-克拉姆下界 有效估计量 效率为 1
f(x,y)是 X 和 Y 的联
合概率密度
Z
Y X
的概率密度 fz (z)
f (x, xz) x dx
y g(x) 的概率密度 f y ( y) fx (g 1( y))[g 1( y)]'
函数： ( ) x 1exdx ( 1) ( ) (n) (n 1)!, (1) 1 0
T 是θ的充分统计量 f (x1, x2 ,..., xn T t) 与θ无关 T 是θ的完备统计量 要使 E[g(T)]=0,必有 g(T)=0
n
L( ) f (xi ; ) h(x1, x2 ,..., xn )g(T (x1, x2 ,..., xn ); ) 且 h 非负 T 是θ的充分统 i 1