数理统计的基本概念

第6章 数理统计的基本概念

6.1 内容框图

6.2 基本要求

（1） 理解总体、样本及统计量的概念，并熟练掌握常用统计量的公式.

（2） 掌握矩法估计和极大似然估计的求法，以及估计无偏性、有效性的判断. （3） 掌握三大抽样分布定义，并记住其概率密度的形状.

（4） 理解并掌握有关正态总体统计量分布的几个结论，如定理6.4~6.9及定理6.11.

6.3 内容概要

1) 总体与样本

在数理统计中，我们把作为统计研究对象的随机变量称为总体，记为 ξ，η，… 。对总体进行 n 次试验后所得到的结果，称为样本，记为（n X X X ,,,21 ），（n Y Y Y ,,,21 ），……，其中，试验次数 n 称为样本容量。样本（n X X X ,,,21 ）中的每一个 i X 都是随机变量。样本所取的一组具体的数值，称为样本观测值，记为

总体与样本

统计量 点估计

矩阵估计

常用统计量定义

统计量的分布

正态总体统计量的分布

极大似然估计

点估计的评价 三大抽样分布

（n x x x ,,,21 ） 。

具有性质：

（1）独立性，即 n X X X ,,,21 相互独立。

（2）同分布性，即每一个 i X 都与总体 ξ 服从相同的分布。 称为简单随机样本 。

如果总体 ξ 是离散型随机变量，概率分布为 }{k P =ξ，那么样本（n X X X ,,,21 ）的联合概率分布为∏∏======

===n

i i n

i i i

n n x P x X

P x X x X x X P 1

1

2211}{}{},,,{ξ 。

如果总体 ξ 是连续型随机变量，概率密度为 )(x ϕ，那么样本（n X X X ,,,21 ）的联合概率密度为 ∏∏====

n

i i n

i i X n x x x x x i

1

1

21)()(),,,(*ϕϕ

ϕ 。

如果总体 ξ 的分布函数为 )(x F ，那么样本（n X X X ,,,21 ）的联合分布函数为

∏∏====n

i i n i i X n x F x F x x x F i 1

1

21)()(),,,(* 。

2)用样本估计总体的分布

数理统计的一个主要任务，就是要用样本估计总体的分布。

参数估计又可以分为两种，一种是点估计，另一种是区间估计。

3) 矩法估计

求矩法估计的步骤为：

（1）计算总体分布的矩),,,()(21m k k

f E θθθξ =，m k ,,2,1 =，计算到m 阶矩

为止（m 是总体分布中未知参数的个数）。

（2）列方程

⎪⎪⎪⎩⎪⎪⎪⎨⎧======∧

∧∧

m m m m m m X

E f X E f X E f )()ˆ,,ˆ,ˆ()()ˆ,,ˆ,ˆ()ˆ,,ˆ,ˆ(2122212211ξθθθξθθθξθθθ

从方程中解出m

θθθˆ,,ˆ,ˆ21 ，它们就是未知参数m θθθ,,,21 的矩法估计。

4) 极大似然估计

求极大似然估计的步骤为：

（1）写出似然函数L 的表达式。

如果总体ξ是离散型随机变量，概率分布为 }{k P =ξ，那么 ∏===

n

i i

x P L 1

}{ξ；

如果总体ξ是连续型随机变量，概率密度为 )(x ϕ，那么 ∏==

n

i i

x L 1

)(ϕ。

（2）在m θθθ,,,21 的取值范围Θ内，求出使得似然函数L 达到最大的参数估计值

m θθθˆ,,ˆ,ˆ21 ，它们就是未知参数的极大似然估计。

通常的做法是，先取对数 L ln （因为当 L ln 达到最大时，L 也达到最大）。 然后令 L ln 关于m θθθ,,,21 的偏导数等于0，得到方程组

⎪⎪⎩

⎪⎪⎨⎧

=∂∂=∂∂0ln 0ln 1

m

L

L

θθ

由此可见，如果上面这个方程组在 Θ 内有唯一解 m

θθθˆ,,ˆ,ˆ21 ，所以，按照极大似然估计的定义，m

θθθˆ,,ˆ,ˆ21 就是未知参数 m θθθ,,,21 的极大似然估计。

5) 衡量点估计好坏的标准

定理 设总体 ξ 的数学期望 ξE 和方差 ξD 都存在，（n X X X ,...,,21）是 ξ 的样本，X 是样本均值，2

S 是样本方差，则有

（1）ξE X E = ； （2）n D X D ξ=

； （3）ξD n

n S E 1)(2

-=

。

衡量点估计的好坏标准：

(1) 无偏性

定义6.1 设θ

ˆ是参数θ的估计，如果有 θθ=ˆE ，则称θˆ是θ的无偏估计。 （2） 有效性

定义6.2 设1ˆθ ，2ˆθ都是参数θ的无偏估计，如果有 )ˆ()ˆ(2

1θθD D ≤ ，则称 1ˆθ 比

2ˆθ 有效。

（3）相合性（一致性）

定义6.3 设θ

ˆ是参数θ的估计，n 是样本容量，如果任何0>ε，都有 1}ˆ{lim =<-∞

→εθθ

P n ， 则称θˆ是θ的相合估计（一致估计）。

可以证明，矩法估计都是相合估计。除了极个别的例外，极大似然估计也都是相合估计。

6) 数理统计中几个常用的分布

2

χ 分布

定义6.4 若有n X X X ,...,,21相互独立，i X ～)1,0(N ，n i ,,2,1 =，则称

∑=n

i i

X

1

2所服从的分布为自由度是 n 的 2

χ 分布，记为 )(2

n χ 。

2χ 分布的概率密度为

⎪

⎪⎩

⎪⎪⎨⎧≤>Γ=--0

00

)2

(21

)(2122x x e x n x x n n

ϕ

2

χ 分布的图象见图6-2 。

定理 如果有 ξ～)(2m χ，η～)(2n χ，

相互独立，则 ηξ+～)(2

n m +χ。即2

χ分布具有可加性。

图6-2 2

χ布的概率密度