第五章 数理统计的基本概念

线性无偏估计量
定义：如果总体参数的 点估计 满足 （ 1 ） 是样本的线性函数； （2）E
最小方差线性无偏估计量
定义：如果总体参数的 点估计 满足 （ 1 ） 是样本的线性函数； （2）对 的一切线性无偏估计量 0，D D 0
定理 (R-C不等式)
设总体X具有分布密度f ( x; )。抽取样本( x1 ,..., xn )， 设g ( )为 的一个可估函数，T T ( x1 ,..., xn )为g ( ) 的一个无偏估计量，且 满足正则条件
• 若12， 22已知
（X Y） ( 1 2 ) U ~ N (0,1)
2 1
n

2 2
m
• 若12， 22未知，但是12= 22
T （X Y） ( 1 2 ) ~ t (m n 2)
12
m

2 2
n

mS12
12

2 nS2 2 2
T
（X Y） (1 2 ) 1 1 2 mS12 nS2 /(m n 2) m n
~ t (m n 2)
推论：设( X 1 ,..., X n )和(Y1 ,..., Ym )分别为来自
2 2 正态总体N ( 1 , 1 )和N ( 2 , 2 )的两个相互
独立的样本，则随机变量
F
2 若 1 2 2
2 2 Sm / 1 2 Sn 2 / 2
~ F (m 1, n 1)
F
2 Sm 2 Sn
~ F (m 1, n 1)
第六章 参数估计
第一节 点估计
• 定义：设为总体分布中的未知参数，从X 中抽取样本 (x1,…,xn) ，构造适当的统计量 (x1,…,xn)， 估计 (以的值作为的近似)， 这种方法称为参数的点估计。 • 统计量称为的点估计量； • 对于一组样本观测值 (x1,…,xn) ，该统计量 相应的值(x1,…,xn)称为的点估计值 • 的点估计量和点估计值简称为的点估计。
抽样分布定理
• 引理：设X1,…,Xn为n个相互独立的标准 正态变量，常数矩阵为正交矩阵，且
Y1 X1 Y CX C Y X n n
• 则随机变量Y1,…,Yn相互独立且都服从标 准正态分布。
• 定 理 ： 设 (X1,…,Xn) 为 来 自 总 体 的 样 本 ， X~N(,2)，则
1 X n
nS 2
X
i 1
n
i
~ N ( ,
2
n
1
)
n
U
X
/ n
~ N (0,1)
2

2 (n 1)S n
2

2

i 1
(Xi X ) 2 ~ 2 (n 1)
T
X S / n 1

X Sn / n
~ t (n 1)
推论：设( X 1 ,..., X n )和(Y1 ,..., Yn )分别为来自
分位数
• 定 义 ：设随机变量 X 的分布函数为 F(x) ， xR ， 对 给 定 的 （ 0< <1 ） ， 称 F(x)=P{x)= 的解为分布函数 F(x) 的或者 相应分布的下侧分位数，简称分位数。
第三节 抽样分布
抽样分布：确定统计量的分布。
• 定理：设随机变量X1,…,Xn相互独立，且 Xi ~N(0,1)，则随机变量
使
2
（ 2 x1 ,..., x n )
P 1

1
2
1
2 分别称为
2
称随机区间( 1,
1 2 )为参数的置信度为
的置信区间或者区间估计。
1 称为置信区间的置信度， 1, 置信下限和置信上限。
单个正态总体参数的区间估计
• 总体期望的区间估计 总体方差已知
• 注：当n趋于无穷大时，t(n)分布收敛于 标准正态分布。
F—分布 • 定理：若随机变量X~ 2(m)，Y~2(n) ， 且X与Y相互独立，则随机变量
X /m F ~ F(m, n) Y /n
• 定理：若随机变量X~F(m,n)，则随机变 量 1 ~ F(n, m) X
1 F ( m, n) F1 ( n, m)
2 2 正态总体N ( 1 , 1 )和N ( 2 , 2 )的两个相互
独立的样本，则随机变量
T （X Y） ( 1 2 )
12
m

2 2
n

mS12
12

2 nS2 2 2
~ t (m n 2)
/(m n 2)
2 2 若 1 2
为 的效率；称
e ( ) lim eff ( ) lim
n
1 nI ( ) D ( )
n
为 的渐进效率。
如果e ( ) 1 ，则称 为 的渐进有效估计量。
一致性
定义：设 （x1 ,..., xn )为总体分布的未知参数 的点估计量。如果 0，当n 时

i 1
n
X i2 ~ 2 (n)
• 独立2变量的可加性：设随机变量 X~2(n1)，Y~ 2(n2)，则随机变量
X Y ~ (n1 n2 )
2
t-分布
• 定理：若随机变量X~N(0,1)，Y~2(n) ， 且X与Y相互独立，则随机变量
T X Y n ~ t ( n)
• Note: we use statistic to estimate a population characteristic or parameter.
样本的数字特征
• 样本均值：
1 X n
1 2 S n
X
i 1
n
n
i
• 样本方差：

i 1
(X i X )2
n
• 样本修正方差：
k
)
似然方程和最大似然估计
L( 1 ,..., k ) max L( 1 ,..., k )
L( 1 ,..., k ) 0 1 L( 1 ,..., k ) 0 k
ln L(1 ,..., k ) 0 1 ln L(1 ,..., k ) 0 k
1 D ( ) nI ( )
则称是 的有效估计量。
注：有效估计量一定是最小方差无偏估计量，但最 小方差无偏估计量未必是有效估计量，其方差未必 达到了R C不等式的下界。
效率与渐进效率
定义：若 是 的一个无偏估计量，而 * 是 的有效估计 量，称
eff ( ) D ( *) D ( ) 1 nI ( ) D ( )
数理统计
第五章 数理统计的基本概念
第一节 总体与样本
• • • • 总体：研究对象的全体 样本：组成总体的每一个基本单位 指标：感兴趣的某个或者几个特性 抽样方法：数理统计中常用的是简单随机抽样 或者独立同分布样本（iid）。
第二节 统计量与样本矩
• 定义：设（X1,…,Xn）为来自总体的样本， 若样本的n元函数φ (X1,…,Xn）为一个连 续函数且不含总体的未知参数，则称其 为统计量。
/(m n 2)
T
（X Y） (1 2 ) 1 1 2 mS12 nS2 /(m n 2) m n
~ t (m n 2)
两正态总体方差比12/ 22的区间估计
• 两总体均值未知
2 Sm 2 Sn 2 /1 2 / 2
F
~ F (m 1, n 1)
1 n i 1 i 1
n
ln f ( x; ) (3) I ( ) E 0
D
2
g ' ( )2 (T )
nI ( )
若g ( )
1 D (T ) nI ( )
有效估计量
定义：若 的一个无偏估计量 ，使R C不等式中的 等式成立，即有
区间估计的可靠性和精确度
• 可靠性：区间估计的置信度 1-又称置信概率，它 的值描述了区间估计的可靠程度。 1- 越大，可靠 性越高，反之， 1- 越小，可靠性越低。 • 精确度： 又称风险概率，置信区间的长度记为 2Δ ，它描述了区间估计的精确程度。Δ 又称为允 许误差。 • 在样本容量固定时，提高精确度就会降低可靠性， 反之，提高可靠性就会降低精确度。 • 增加样本容量时，可以在不改变可靠性的情况下提 高精确度，而在不改变精确度的情况下提高可靠性， 或者可以同时提高可靠性和精确度。
矩估计
最大似然估计法（MLE）
• 似然函数：设总体X的分布密度函数为
f ( x; 1 ,..., k )
x R
其中1,…,k为k个未知参数。从X中抽取样 本(x1,…,xn)，则似然函数为：
L( 1 ,..., k )
f ( x ; ,...,
i 1 i 1
n
• 总体方差已知
X
近似
/ n
• 总体方差未知
~ N (0,1)
X S/ n
近似
~ N (0,1)
总体方差的区间估计
• 总体均值已知
1
n

2

i 1
( X i 0 ) 2 ~ 2 ( n)
• 总体均值未知
nS 2
2 0
~ (n 1)
2
两个正态总体的均值差的区间估计
U
X
/ n
~ N (0,1)
总体方差未知
T X S / n 1 X Sn / n ~ t (n 1)