西 工 大研一-数理统计简单总结
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
L( ) f ( xi ; ) h( x1 , x2 ,..., xn ) g (T ( x1 , x2 ,..., xn ); ) 且 h 非负 T 是θ的充分统计量
i 1 n
f ( x ; ) C ( ) exp{b( )T ( x , x ,..., x )}h( x , x ,..., x ) T 是θ的充分完备统计量
1 2 2
*2
非正态总体的区间估计： 当 n 时，
S S X L N (0,1) X n u lim n 1 ，故用 Sn 代替 Sn-1 Sn n n 2 n S n 1
m 1 m m ~ N (0,1) u 1 n n n n 1 m m 2 1 n n n
相合估计(一致估计): lim E n
n
* *
n 0 lim D
n
2.2 点估计量的求法：矩估计法、最大似然估计法 矩估计法：
1
求出总体的 k 阶原点矩: ak EX k 解方程组 ak
x k dF ( x;1 , 2 ,..., m )
2
i 1
2
~ 2 ( n)
( X i )2
i 1
( n)
2
2
2
(X
i 1 1
i
)2
2 ( n)
2
未知，求 2 的置信区间：
n n i n i
(X
i 1
X )2
2
~ 2 (n 1)
(X
i 1 2 2
X )2 2
i=1,2,...,m
2
i ( x , x ,..., x ) ，即最大似然估计 i ( X , X ,..., X ) 解似然方程得到 1 2 n 1 2 n
补充：
似然方程无解时，求出 的定义域中使得似然函数最大的值，即为最大似然估计 2.3MVUE 和有效估计：最小方差无偏估计、有效估计
1 n 2 ( ) 2
n 2
e x
x 2
n 1 2
( x 0)
E 2 n D 2 2n
T 分布： T
n X ~ t (n) 当 n>2 时，ET=0 DT n2 Y /n
X n1 n2
F 分布： F
Y
~ F (n1 , n2 )
1 F (n2 , n1 ) F
n 1
X(1)的分布密度： f x(1) ( x) nf ( x)[1 F ( x)] X(n)的分布密度： f x( n ) ( x) nf ( x)[ F ( x)]
n 1
2 参数估计
2.1 点估计与优良性：概念、无偏估计、均方误差准则、相合估计 (一致估计 )、渐近正态估 计
, ) E ( )2 D ( E )2 的均方误差： MSE ( , ) D 是无偏估计，则 MSE ( 若 D ， 是 的最小方差无偏估计， ， 对于 的任意一个无偏估计量 有 D 则 记 MVUE
i 1 2 n 1 2 n i 1 n
f ( x ; ) C ( ) exp{b ( )T ( x , x ,..., x ) b ( )T ( x , x ,..., x )}h( x , x ,..., x )
i 1 1 1 2 n 2 2 1 2 n 1 2 n i 1
n1
22
n2
~ N (0,1) X Y ( 1 2 )
12
n1
22
n2
u
2
12 22 2 未知时，求 1 2 的区间估计：
X Y ( 1 2 ) (n1 1) S
*2 1n1
(n2 1) S
*2 2 n2
n1n2 (n1 n2 2) ~ t (n1 n2 2) n1 n2
12 1 , 2 未知时，求 2 ： 2
* 2 S2 n2 1
2
S
*2 1n1
2 2
~ F (n2 1, n1 1)
S1*n1 S
*2 2 n2
2
2 S1n F (n2 1, n1 1) 12 * F (n2 1, n1 1) 1 2 S2 n 2 2
* E ( | T ) 为 的惟一的 MVUE 是 的一个无偏估计 T 是 的充分完备统计量，
最小方差无偏估计的求解步骤：
1 2
求出参数 的充分完备统计量 T
g (T ) 是 的一个无偏估计 求出 ET g ( ) ，则
1
或求出一个无偏估计，然后改写成用 T 表示的函数
(T1 , T2 ) 是 (1 , 2 ) 的充分完备统计量
1.3 抽样分布： 分布，t 分布，F 分布，分位数，正态总体样本均值和方差的分布，非正 态总体样本均值的分布
2
分布： X X ... X ~ (n)
2
2
2 1
2 2
2 n
2
f ( x)
x
0
1
1
(1 x) 1 dx B( , )
( )( ) ( )
1.4 次序统计量及其分布：次序统计量、样本中位数 X 、样本极差 R X(k)的分布密度： f x( k ) ( x)
n! [ F ( x)]k 1[1 F ( x)]n k f ( x), (k 1,2,..., n) (k 1)!(n k )!
2 2
当 0 时， EX 0 EX
EX 4 3 4 E X
D X (1 ) 2
2
2
1.2 统计量：充分统计量、因子分解定理、完备统计量、指数型分布族 T 是θ的充分统计量 f ( x1 , x2 ,..., xn T t ) 与θ无关 T 是θ的完备统计量 要使 E[g(T)]=0,必有 g(T)=0
2
样本 k 阶原点矩 Ak
1 n k X i ,(k 1,2,...) n i 1 1 n ( X i X ) k ,(k 1,2,...) n i 1
样本 k 阶中心矩 Bk 经验分布函数 Fn ( x)
vn ( x ) , ( x ) 其中 Vn(x)表示随机事件 { X x} 出现的次数, n 1 显然 Vn ( x) ~ B ( n, F ( x)) ,则有 E[ Fn ( x)] F ( x) D[ Fn ( x)] F ( x)[1 F ( x )] n
y g ( x) 的概率密度 f y ( y ) f x ( g 1 ( y )) [ g 1 ( y )]'
函数： ( ) x 1e x dx
0
( 1) ( ) (n) (n 1)!, (1) 1
B 函数： B ( , )
DX 1
EX
1
2
正态分布 N ( , ) :
2
f ( x)
1 ( x )2 exp{ } 2 2 2
EX DX 2
E(
nSn2
2
2 ) n 1 ESn
nS 2 n 1 2 2(n 1) 4 D( 2n ) 2(n 1) DSn2 n n2
2 ES n
补充：
n 1 *2 DX ES n DX EX 2 DX ( EX ) 2 n
2 Sn
1 n 2 Xi X 2 n i 1
k k P{ X k} Cn p (1 p ) n k , (k 0,1,..., n)
二项分布 B(n,p): EX=np DX=np(1-p)
n
1
求样本 X=(X1,X2,...,Xn)的分布： q ( x | )
f (x | )
1 统计量与抽样分布
1.1 基本概念：统计量、样本矩、经验分布函数 总体 X 的样本 X1，X2，…，Xn，则 T(X1，X2，…，Xn)即为统计量 样本均值 X
1 n 样本方差 S ( X i X ) n i 1
2 n
2
修正样本方差 S
*2 n
1 n (Xi X ) n 1 i 1
X
m n
3 统计决策与贝叶斯估计
3.1 统计决策的基本概念：三要素、统计决策函数及风险函数 三要素：样本空间和分布族、行动空间（判决空间） 、损失函数 L( , d ) 统计决策函数 d(X):本质上是一个统计量，可用来估计未知参数 风险函数： R ( , d ) E [ L( , d ( X ))] 是关于 的函数 3.2 贝叶斯估计：先验分布与后验分布、贝叶斯风险、贝叶斯估计
1 n k k k ( X , X ,..., X ) 即为所求 X i (k=1,2,...,m)，得 1 2 n n i 1
最大似然估计法：
n
1
写出似然函数 L( )
f ( x ; ) ，求出 lnL 及似然方程
i i 1
ln L 0 i=1,2,...,m i
2
2 已知，求 的置信区间：
X 0
0
n
~ N (0,1) X 0
0
n
* Sn
u
2
2 未知，求 的置信区间：
X 0
* Sn
n
~ t (n 1) X 0
n
n
t (n 1)
2
n
n
已知，求 2 的置信区间：
( X i )2
补充： Z=X+Y 的概率密度 f z ( z ) 合概率密度
f ( x, z x)dx
f ( z y, y )dy f(x,y) 是 X 和 Y 的联
Z
Y 的概率密度 f z ( z ) f ( x, xz ) x dx X
泊松分布 P ( ) :
P{ X k}
k
k!
e , (k 0,1,...)
EX DX
均匀分布 U(a,b):
f ( x)
1 , (a x b) ba
EX
ab 1 DX (b a ) 2 2 12
指数分布:
f ( x) e x , ( x 0) F ( x) 1 e x , ( x 0)
的效率： e( ) 无偏估计
1 D nI ( )
是 的最大似然估计，且 是 的充分统计量 是 的有效估计
2.4 区间估计：概念、正态总体区间估计 (期望、方差、均值差、方差比 )及单侧估计、非正 态总体参数和区间估计 一个总体的情况： X ~ N ( , )
(X
i 1 1 2
i
X )2
(n 1)
2 (n 1)
两个总体的情况： X ~ N ( 1 , 1 ) ， Y ~ N ( 2 , 2 )
2 12 , 2
2
2
均
已
知
时
，
求
1 2
的
区
间
估
计Байду номын сангаас
：
X Y ( 1 2 )
12
2 ln f ( X ; ) ln f ( X ; ) 或 I ( ) E I ( ) E 0 ， f ( X ; ) 为样本的联合分布。 2
最小方差无偏估计 达到罗-克拉姆下界 有效估计量 效率为 1
3
综合， E[ g (T ) T ] g (T ) 是 的 MVUE
1
1
或者：求出 的矩估计或 ML 估计，再求效率，为 1 则必为 MVUE T 是 g ( ) 的 一 个 无 偏 估 计 ， 则 满 足 信 息 不 等 式 D[T ( X )]
2
[ g ' ( )]2 ，其中 nI ( )
L( ) f ( xi ; ) h( x1 , x2 ,..., xn ) g (T ( x1 , x2 ,..., xn ); ) 且 h 非负 T 是θ的充分统计量
i 1 n
f ( x ; ) C ( ) exp{b( )T ( x , x ,..., x )}h( x , x ,..., x ) T 是θ的充分完备统计量
1 2 2
*2
非正态总体的区间估计： 当 n 时，
S S X L N (0,1) X n u lim n 1 ，故用 Sn 代替 Sn-1 Sn n n 2 n S n 1
m 1 m m ~ N (0,1) u 1 n n n n 1 m m 2 1 n n n
相合估计(一致估计): lim E n
n
* *
n 0 lim D
n
2.2 点估计量的求法：矩估计法、最大似然估计法 矩估计法：
1
求出总体的 k 阶原点矩: ak EX k 解方程组 ak
x k dF ( x;1 , 2 ,..., m )
2
i 1
2
~ 2 ( n)
( X i )2
i 1
( n)
2
2
2
(X
i 1 1
i
)2
2 ( n)
2
未知，求 2 的置信区间：
n n i n i
(X
i 1
X )2
2
~ 2 (n 1)
(X
i 1 2 2
X )2 2
i=1,2,...,m
2
i ( x , x ,..., x ) ，即最大似然估计 i ( X , X ,..., X ) 解似然方程得到 1 2 n 1 2 n
补充：
似然方程无解时，求出 的定义域中使得似然函数最大的值，即为最大似然估计 2.3MVUE 和有效估计：最小方差无偏估计、有效估计
1 n 2 ( ) 2
n 2
e x
x 2
n 1 2
( x 0)
E 2 n D 2 2n
T 分布： T
n X ~ t (n) 当 n>2 时，ET=0 DT n2 Y /n
X n1 n2
F 分布： F
Y
~ F (n1 , n2 )
1 F (n2 , n1 ) F
n 1
X(1)的分布密度： f x(1) ( x) nf ( x)[1 F ( x)] X(n)的分布密度： f x( n ) ( x) nf ( x)[ F ( x)]
n 1
2 参数估计
2.1 点估计与优良性：概念、无偏估计、均方误差准则、相合估计 (一致估计 )、渐近正态估 计
, ) E ( )2 D ( E )2 的均方误差： MSE ( , ) D 是无偏估计，则 MSE ( 若 D ， 是 的最小方差无偏估计， ， 对于 的任意一个无偏估计量 有 D 则 记 MVUE
i 1 2 n 1 2 n i 1 n
f ( x ; ) C ( ) exp{b ( )T ( x , x ,..., x ) b ( )T ( x , x ,..., x )}h( x , x ,..., x )
i 1 1 1 2 n 2 2 1 2 n 1 2 n i 1
n1
22
n2
~ N (0,1) X Y ( 1 2 )
12
n1
22
n2
u
2
12 22 2 未知时，求 1 2 的区间估计：
X Y ( 1 2 ) (n1 1) S
*2 1n1
(n2 1) S
*2 2 n2
n1n2 (n1 n2 2) ~ t (n1 n2 2) n1 n2
12 1 , 2 未知时，求 2 ： 2
* 2 S2 n2 1
2
S
*2 1n1
2 2
~ F (n2 1, n1 1)
S1*n1 S
*2 2 n2
2
2 S1n F (n2 1, n1 1) 12 * F (n2 1, n1 1) 1 2 S2 n 2 2
* E ( | T ) 为 的惟一的 MVUE 是 的一个无偏估计 T 是 的充分完备统计量，
最小方差无偏估计的求解步骤：
1 2
求出参数 的充分完备统计量 T
g (T ) 是 的一个无偏估计 求出 ET g ( ) ，则
1
或求出一个无偏估计，然后改写成用 T 表示的函数
(T1 , T2 ) 是 (1 , 2 ) 的充分完备统计量
1.3 抽样分布： 分布，t 分布，F 分布，分位数，正态总体样本均值和方差的分布，非正 态总体样本均值的分布
2
分布： X X ... X ~ (n)
2
2
2 1
2 2
2 n
2
f ( x)
x
0
1
1
(1 x) 1 dx B( , )
( )( ) ( )
1.4 次序统计量及其分布：次序统计量、样本中位数 X 、样本极差 R X(k)的分布密度： f x( k ) ( x)
n! [ F ( x)]k 1[1 F ( x)]n k f ( x), (k 1,2,..., n) (k 1)!(n k )!
2 2
当 0 时， EX 0 EX
EX 4 3 4 E X
D X (1 ) 2
2
2
1.2 统计量：充分统计量、因子分解定理、完备统计量、指数型分布族 T 是θ的充分统计量 f ( x1 , x2 ,..., xn T t ) 与θ无关 T 是θ的完备统计量 要使 E[g(T)]=0,必有 g(T)=0
2
样本 k 阶原点矩 Ak
1 n k X i ,(k 1,2,...) n i 1 1 n ( X i X ) k ,(k 1,2,...) n i 1
样本 k 阶中心矩 Bk 经验分布函数 Fn ( x)
vn ( x ) , ( x ) 其中 Vn(x)表示随机事件 { X x} 出现的次数, n 1 显然 Vn ( x) ~ B ( n, F ( x)) ,则有 E[ Fn ( x)] F ( x) D[ Fn ( x)] F ( x)[1 F ( x )] n
y g ( x) 的概率密度 f y ( y ) f x ( g 1 ( y )) [ g 1 ( y )]'
函数： ( ) x 1e x dx
0
( 1) ( ) (n) (n 1)!, (1) 1
B 函数： B ( , )
DX 1
EX
1
2
正态分布 N ( , ) :
2
f ( x)
1 ( x )2 exp{ } 2 2 2
EX DX 2
E(
nSn2
2
2 ) n 1 ESn
nS 2 n 1 2 2(n 1) 4 D( 2n ) 2(n 1) DSn2 n n2
2 ES n
补充：
n 1 *2 DX ES n DX EX 2 DX ( EX ) 2 n
2 Sn
1 n 2 Xi X 2 n i 1
k k P{ X k} Cn p (1 p ) n k , (k 0,1,..., n)
二项分布 B(n,p): EX=np DX=np(1-p)
n
1
求样本 X=(X1,X2,...,Xn)的分布： q ( x | )
f (x | )
1 统计量与抽样分布
1.1 基本概念：统计量、样本矩、经验分布函数 总体 X 的样本 X1，X2，…，Xn，则 T(X1，X2，…，Xn)即为统计量 样本均值 X
1 n 样本方差 S ( X i X ) n i 1
2 n
2
修正样本方差 S
*2 n
1 n (Xi X ) n 1 i 1
X
m n
3 统计决策与贝叶斯估计
3.1 统计决策的基本概念：三要素、统计决策函数及风险函数 三要素：样本空间和分布族、行动空间（判决空间） 、损失函数 L( , d ) 统计决策函数 d(X):本质上是一个统计量，可用来估计未知参数 风险函数： R ( , d ) E [ L( , d ( X ))] 是关于 的函数 3.2 贝叶斯估计：先验分布与后验分布、贝叶斯风险、贝叶斯估计
1 n k k k ( X , X ,..., X ) 即为所求 X i (k=1,2,...,m)，得 1 2 n n i 1
最大似然估计法：
n
1
写出似然函数 L( )
f ( x ; ) ，求出 lnL 及似然方程
i i 1
ln L 0 i=1,2,...,m i
2
2 已知，求 的置信区间：
X 0
0
n
~ N (0,1) X 0
0
n
* Sn
u
2
2 未知，求 的置信区间：
X 0
* Sn
n
~ t (n 1) X 0
n
n
t (n 1)
2
n
n
已知，求 2 的置信区间：
( X i )2
补充： Z=X+Y 的概率密度 f z ( z ) 合概率密度
f ( x, z x)dx
f ( z y, y )dy f(x,y) 是 X 和 Y 的联
Z
Y 的概率密度 f z ( z ) f ( x, xz ) x dx X
泊松分布 P ( ) :
P{ X k}
k
k!
e , (k 0,1,...)
EX DX
均匀分布 U(a,b):
f ( x)
1 , (a x b) ba
EX
ab 1 DX (b a ) 2 2 12
指数分布:
f ( x) e x , ( x 0) F ( x) 1 e x , ( x 0)
的效率： e( ) 无偏估计
1 D nI ( )
是 的最大似然估计，且 是 的充分统计量 是 的有效估计
2.4 区间估计：概念、正态总体区间估计 (期望、方差、均值差、方差比 )及单侧估计、非正 态总体参数和区间估计 一个总体的情况： X ~ N ( , )
(X
i 1 1 2
i
X )2
(n 1)
2 (n 1)
两个总体的情况： X ~ N ( 1 , 1 ) ， Y ~ N ( 2 , 2 )
2 12 , 2
2
2
均
已
知
时
，
求
1 2
的
区
间
估
计Байду номын сангаас
：
X Y ( 1 2 )
12
2 ln f ( X ; ) ln f ( X ; ) 或 I ( ) E I ( ) E 0 ， f ( X ; ) 为样本的联合分布。 2
最小方差无偏估计 达到罗-克拉姆下界 有效估计量 效率为 1
3
综合， E[ g (T ) T ] g (T ) 是 的 MVUE
1
1
或者：求出 的矩估计或 ML 估计，再求效率，为 1 则必为 MVUE T 是 g ( ) 的 一 个 无 偏 估 计 ， 则 满 足 信 息 不 等 式 D[T ( X )]
2
[ g ' ( )]2 ，其中 nI ( )