第四章 概率统计方法介绍

第四章 概率统计方法介绍
§1 随机事件及其概率
1.1 随机事件
1.1.1 必然现象与随机现象
在自然界里，在生产实践和科学实验中，人们观察到的现象大体可归结为两种类型. 一类是可事前预言的，即在准确地重复某些条件下，它的结果总是肯定的，或是根据它过去的状态，在相同条件下完全可以预言将来的发展.我们把这一类型现象称之为确定性现象或必然现象.如在一个大气压下，水在100度时会沸腾等. 一类是事前不可预言的，即在相同条件下重复进行试验，每次结果未必相同；或是知道它过去状况，在相同条件下，未来的发展事前却不能完全肯定.这一类型的现象我们称之为偶然性现象或随机现象.如掷一个质地均匀的硬币，结果可能是正面向上，或是背面向上. 1.1.2 样本空间
尽管一个随机试验将要出现的结果是不确定的, 但其所有可能结果是明确的, 我们把随机试验的每一种可能的结果称为一个样本点, 记为ω；它们的全体称为样
本空间, 记为Ω.
事件 是指某一可观察特征的随机试验的结果. 基本事件是相对观察目的而言
不可再分解的、最基本的事件，其它事件均可由它们复合而成，一般地，我们称由基本事件复合而成的事件为复合事件.
如掷一枚骰子，向上的一面会出现1点，2点，3点，4点，5点，6点.则样本点有6个.若记,
16
i i i ω=≤≤
，i ω即为样本点.样本空间为123456{,,,,,}ωωωωωωΩ=.记{}i i A ω=，i A 为一个基本事件，把“出现偶数点”
这样一个事件记为B ，则246{,,}B ωωω=.B 为一个复合事件.
1.1.3 事件的运算规律
事件间的关系及运算与集合的关系及运算是一致的，为了方便，给出下列对照
表：
表1.1
,A A A A A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B ω
Ω∅
⊂=-=∅
记号概率论
集合论样本空间必然事件
全集不可能事件空集基本事件元素事件子集的对立事件的余集事件发生导致发生是的子集事件与事件相等
与的相等事件与事件至少有一个发生
与的和集事件与事件同时发生与的交集事件发生而事件不发生与的差集事件和事件互不相容
与没有相同的元素
1.2 随机事件的概率 1.
2.1 概率的定义
定义1 设E 是随机试验, Ω是它的样本空间,对于E 的每一个事件A 赋于一个实数, 记为)(A P , 若)(A P 满足下列三个条件:
1. 非负性：对每一个事件A ,有 0)(≥A P ;
2. 完备性：()1P Ω=;
3. 可列可加性：设 ,,21A A 是两两互不相容的事件，则有
.)()(1
1
∑∞
=∞
==
i i
i i A
P A P
则称)(A P 为事件A 的概率. 1.2.2 概率的性质
性质1：()0P ∅=.
性质2：有限可加性：设12,,n A A A 是两两互不相容的事件，则有
1
1
()().n
n
i i
i i P A P A ===
∑
性质3：()1()P A P A =-.
性质4：()()()P A B P A P AB -=- 性质5：对任一事件A ，()1P A ≤.
性质6：对任意两个事件A ，B ，有()()()()P A B P A P B P AB ⋃=+-.
1.3 古典概型
我们称具有下列两个特征的随机试验模型为古典概型. 1. 随机试验只有有限个可能的结果; 2. 每一个结果发生的可能性大小相同.
因而古典概型又称为等可能概型.在概率论的产生和发展过参程中，它是最早的研究对象，且在实际中也最常用的一种概率模型.它在数学上可表述为:
().A P A =
Ω包含的基本事件数中基本事件的总数
例 一个袋子中装有10个大小相同的球, 其中3个黑球, 7个白球, 求 (1) 从袋子中任取一球, 这个球是黑球的概率;
(2) 从袋子中任取两球, 刚好一个白球一个黑球的概率以及两个球全是黑球的
概率.
解：（1）记A 为事件“任取一球为黑球”则P （A ）=
1
3
110
310
C C =
.
（2）记B 为事件“任取两球，其中一个白球一个黑”则P （B ）=
1
1
372
1021745
15
C C C
=
=
， 记C 为事件“任取两球，两个都为黑球”则P （C ）
=
2
3210
3145
15
C C
=
=
.
1.4 条件概率 1.4.1 条件概率的概念
在解决许多概率问题时,往往需要在有某些附加信息(条件)下求事件的概率. 如在事件A 发生的条件下,求事件B 发生的条件概率,记作)|(A B P .
定义1 设B A ,是两个事件, 且0)(>A P , 则称
)
()()|(A P AB P A B P =
(1)
为在事件A 发生的条件下,事件B 的条件概率.相应地，把)(B P 称为无条件概率.一般地，)|(A B P )(B P ≠.
1.4.2 乘法公式
由条件概率的定义立即得到:
)
0)(()
|()()(>=A P A B P A P AB P (2)
注意到BA AB =, 及B A ,的对称性可得到:
)
0)(()
|()()(>=B P B A P B P AB P (3)
(2)和(3)式都称为乘法公式, 利用它们可计算两个事件同时发生的概率. 1.4.3 全概率公式
全概率公式是概率论中的一个基本公式.它使一个复杂事件的概率计算问题，可化为在不同情况或不同原因或不同途径下发生的简单事件的概率的求和问题.
定理1 设 ,,,,21n A A A 是一个完备事件组,且,0)(>i A P ,,2,1 =i 则对任一事件B ,有
11()()(|)()(|)n n P B P A P B A P A P B A =+++
注: 全概率公式可用于计算较复杂事件的概率, 公式指出: 在复杂情况下直接计算)(B P 不易时,可根据具体情况构造一组完备事件}{i A , 使事件B 发生的概率是
各事件),2,1( =i A i 发生条件下引起事件B 发生的概率的总和.
例1 袋中有5个球, 其中3个红球2个白球. 现从袋中不放回地连取两个. 已知第一次取得红球时, 求第二次取得白球的概率.
解：记A 为“第一次取得红球”，B 为“第二次取得白球”则
32
()1
54(|)3()2
5
P AB P B A P A ⋅
===
例2 某商店收进甲厂生产的产品30箱，乙厂生产的同种产品20箱，甲厂每箱装100个，废品率为0.06, 乙厂每箱装120个, 废品率为0.05, 求: (1)任取一箱，从中任取一个为废品的概率；
(2)若将所有产品开箱混放,求任取一个为废品的概率.
解：记B ：“任取一箱，从中任取一个为废品”，1A ：“来自甲厂”2A ：“来自乙厂” （1） 112232()()(|)()(|)0.060.050.0565
5
P B P A P B A P A P B A =+=⋅+⋅
=
（2）301000.06201200.05
1()3010020120
18
P C ⨯⨯+⨯⨯==
⨯+⨯
1.5 事件的独立性 1.5.1 两个事件的独立性 定义 若两事件A ,B 满足
)()()(B P A P AB P =
则称A ,B 独立, 或称A ,B 相互独立.
注: 当0)(>A P ,0)(>B P 时, A ,B 相互独立与A ,B 互不相容不能同时成立. 但
∅
与Ω既相互独立又互不相容(自证).
§2 随机变量及其分布
2.1 随机变量的概念 2.1.1 随机变量的定义
定义 设随机试验的样本空间为Ω, 称定义在样本空间Ω上的实值单值函数
()X X ω=为随机变量.
随机变量与高等数学中函数的比较:
(1) 它们都是实值函数,但前者在试验前只知道它可能取值的范围,而不能预先肯定它将取哪个值;
(2) 因试验结果的出现具有一定的概率,故前者取每个值和每个确定范围内的值也有一定的概率.
例 在抛掷一枚硬币进行打赌时, 若规定出现正面时抛掷者赢1元钱, 出现反面时输1元钱, 则其样本空间为
Ω={正面, 反面},
记赢钱数为随机变量X , 则X 作为样本空间S 的实值函数定义为
1,
,()1,
.
X ωωω=⎧=⎨
-=⎩正面反面
2.2 离散型随机变量及其分布函数 2.2.1 离散型随机变量及其概率分布
设X 是一个随机变量，如果它全部可能的取值只有有限个或可数无穷个，则称X 为一个离散型随机变量
定义 设离散型随机变量X 的所有可能取值为),2,1( =i x i , 称
,2,1,}{===i p x X P i i
为X 的概率分布或分布律, 也称概率函数.
常用表格形式来表示X 的概率分布:
n
i
n p p p p x x x X 2
1
21
由概论的定义，知：（1）0,1,2,i p i ≥= ； （2）1i i
p =∑
2.2.2 常用离散分布
退化分布 两点分布 n 个点上的均匀分布 二项分布 几何分布 超几何分布
泊松分布：泊松分布是概率论中最重要的几个分布之一. 实际问题中许多随机现象都服从或近似服从泊松分布.
2.3 随机变量的分布函数 2.
3.1 随机变量的分布函数 定义 设X 是一个随机变量, 称
)()
()(+∞<<-∞≤=x x X P x F
为X 的分布函数.有时记作)(~x F X 或)(x F X .
分布函数的性质
1. 单调非减. 若21x x <, 则)()(21x F x F ≤；
2. ;1)(lim )(,0)(lim )(==+∞==-∞+∞
→-∞
→x F F x F F x x
3. 右连续性. 即).()(lim 00
x F x F x x =+
→
2.3.2 离散型随机变量的分布函数 设离散型随机变量X 的概率分布为
n
i
n p p p p x x x X 2
1
21
则X 的分布函数为
∑
∑≤≤=
==
≤=x
x i x
x i i i p x X
P x X P x F )()()(.
例1 设 ,2
/16
/13
/1210i
p X 求)(x F .
解： 当0x <时， 由{}X x ≤=∅，得()(}0F x P X x =≤=； 当01x ≤<时， 1()(}(0)3
F x P X x P X =≤===
；
当12x ≤<时， 111()(0)(1)3
6
2
F x P X P X ==+==
+
=
；
当2x ≥时， ()(0)(1)(2)1F x P X P X P X ==+=+==
所以
0,01,01
3
()1,1221,2
x x F x x x <⎧⎪⎪≤<⎪=⎨⎪≤<⎪⎪≥⎩
2.4 连续型随机变量及其概率密度 2.4.1 连续型随机变量及其概率密度
定义 如果对随机变量X 的分布函数)(x F ,存在非负可积函数)(x f ,使得对于任意实数x 有
.)(}{)(⎰
∞
-=
≤=x
dt t f x X P x F
则称X 为连续型随机变量, 称)(x f 为X 的概率密度函数,简称为概率密度或密度函数.
关于概率密度的说明
1. 对一个连续型随机变量X ,若已知其密度函数)(x f ,则根据定义,可求得其分布函数)(x F , 同时, 还可求得X 的取值落在任意区间],(b a 上的概率:
⎰
=
-=≤<b
a
dx x f a F b F b X a P )()()(}{
2. 连续型随机变量X 取任一指定值)(R a a ∈的概率为0.
3. 若)(x f 在点x 处连续, 则
)()(x f x F ='
2.4.2 常用连续型分布 均匀分布
定义 若连续型随机变量X 的概率密度为
⎪⎩
⎪
⎨⎧<<-=其它,0,1
)(b x a a b x f
则称X 在区间),(b a 上服从均匀分布, 记为),(~b a U X .
指数分布
定义 若随机变量X 的概率密度为
0.,
0,
0,)(>⎩⎨
⎧>=-λλλ其它x e x f x
则称X 服从参数为λ的指数分布.简记为).(~λe X
正态分布
定义 若随机变量X 的概率密度为
.,
21)(22
2)(∞<<∞-=--x e x f x σ
μσ
π
其中μ和)0(>σσ都是常数, 则称X 服从参数为μ和2σ的正态分布. 记为
).,(~2
σμN X
注: 正态分布是概率论中最重要的连续型分布, 在十九世纪前叶由高斯加以推广, 故又常称为高斯分布.
一般来说，一个随机变量如果受到许多随机因素的影响，而其中每一个因素都不起主导作用（作用微小），则它服从正态分布. 这是正态分布在实践中得以广泛应用的原因. 例如, 产品的质量指标, 元件的尺寸, 某地区成年男子的身高、体重, 测量误差, 射击目标的水平或垂直偏差, 信号噪声、农作物的产量等等, 都服从或近似服从正态分布.
标准正态分布
正态分布当1,0==σμ时称为标准正态分布, 此时, 其密度函数和分布函数常用)(x ϕ和)(x Φ表示:
,21)(2
2
x
e
x -
=
π
ϕ ⎰
∞
--
=
Φx
t
dt e
x 2
2
21)(π
标准正态分布的重要性在于, 任何一个一般的正态分布都可以通过线性变换转化为标准正态分布.
定理 设),,(~2
σμN X 则).1,0(~N X Y σ
μ
-=
标准正态分布表的使用：
（1）表中给出了0>x 时)(x Φ的数值, 当0<x 时, 利用正态分布的对称性, 易见有
);(1)(x x Φ-=-Φ
（2） 若),1,0(~N X 则
);()(}{a b b X a P Φ-Φ=≤<
（3）若),(~2
σμN X , 则),1,0(~N X Y σ
μ
-=
故X 的分布函数
;}{)(⎪⎭
⎫
⎝⎛-Φ=⎭⎬⎫⎩⎨⎧-≤-=≤=σμσμσμx x X P x X P x F ⎭⎬⎫⎩⎨⎧-≤<-=≤<σμσμb Y a P b X a P }{.⎪⎭
⎫
⎝⎛-Φ-⎪⎭⎫
⎝⎛-Φ=σμσμa b
§3 随机变量的数字特征
前面讨论了随机变量的分布函数, 从中知道随机变量的分布函数能完整地描述随机变量的统计规律性.
但在许多实际问题中, 人们并不需要去全面考察随机变量的变化情况, 而只要知道它的某些数字特征即可.
例如, 在评价某地区粮食产量的水平时, 通常只要知道该地区粮食的平均产量;
又如, 在评价一批棉花的质量时, 既要注意纤维的平均长度, 又要注意纤维长度与平均长度之间的偏离程度, 平均长度较大, 偏离程度小, 则质量就较好. 等等
实际上, 描述随机变量的平均值和偏离程度的某些数字特征在理论和实践上都具有重要的意义, 它们能更直接、更简洁更清晰和更实用地反映出随机变量的本质.
3.1 数学期望
3.1.1 离散型随机变量的数学期望
平均值是日常生活中最常用的一个数字特征, 它对评判事物、作出决策等具有重要作用.
定义 设X 是离散型随机变量的概率分布为
,2,1,}{===i p x X P i i
如果∑∞
=1
i i i p x 绝对收敛, 则定义X 的数学期望(又称均值)为 .)(1
∑∞
==
i i i p x X E
3.1.2 连续型随机变量的数学期望
定义 设X 是连续型随机变量, 其密度函数为)(x f ,如果
⎰
∞
∞
-dx x xf )(
绝对收敛, 定义X 的数学期望为 .)()(⎰
∞
∞
-=dx x xf X E
3.1.3 随机变量函数的数学期望
设X 是一随机变量, )(x g 为一实函数,则)(X g Y =也是一随机变量. 定理1 设X 是一个随机变量,
)(X g Y =,且)(Y E 存在, 则
（1） 若
X 为离散型随机变量, 其概率分布为
,2,1,}{===i p x X P i i
则Y 的数学期望为
.)()]([)(1
∑∞
==
=i i
i
p x g X g E Y E
（2） 若X 为连续型随机变量, 其概率密度为)(x f , 则Y 的数学期望为
.)()()]([)(⎰
∞
∞
-=
=dx x f x g X g E Y E
注: (i)定理的重要性在于:求)]([X g E 时, 不必知道)(X g 的分布, 只需知道X
的分布即可. 这给求随机变量函数的数学期望带来很大方便;
3.1.4 数学期望的性质
1. 设C 是常数, 则;)(C C E = 2．若k 是常数，则);()(X kE kX E = 3. );()()(2121X E X E X X E +=+ 4. 设Y X ,独立, 则)()()(Y E X E XY E =;
注: 由)()()(Y E X E XY E =不一定能推出Y X ,独立.
例1 甲, 乙两人进行打靶, 所得分数分别记为21,X X , 它们的分布律分别为
,8
.02
.00
2101i
p X
1
.03
.06
.02102i
p X
试评定他们的成绩的好坏.
解： E （1X ）=0⨯0+1⨯0.2+2⨯0.8=1.8 E （2X ）=0⨯0.6+1⨯0.3+2⨯0.1=0.5
例2 已知随机变量X 的分布函数
⎪⎩
⎪
⎨⎧>≤<≤=4,140,4/0,0)(x x x x x F , 求 ).(X E
解：随机变量X 的分布密度为
'
1,04
()()40,x f x F x ⎧<≤⎪==⎨⎪⎩
其它
,
故 2
440
1()() 2.4
8
x
E X xf x dx x dx ∞-∞
==
⋅
=
=⎰
⎰
3.2 方差
随机变量的数学期望是对随机变量取值水平的综合评价, 而随机变量取值的稳定性是判断随机现象性质的另一个十分重要的指标.
3.2.1 方差的定义
定义 1 设X 是一个随机变量, 若2
)]([(X E X E -存在,则称它为X 的方差, 记为
.)]([)(2
X E X E X D -=
方差的算术平方根)(X D 称为标准差或均方差, 它与X 具有相同的度量单位, 在实际应用中经常使用.
方差刻划了随机变量X 的取值与数学期望的偏离程度,它的大小可以衡量随机变量取值的稳定性.
从方差的定义易见:
(1)若X 的取值比较集中,则方差较小; (2)若X 的取值比较分散,则方差较大;
(3)若方差0)(=X D , 则随机变量X 以概率1取常数值,此时X 也就不是随机变量了.
3.2.2 方差的计算
若X 是离散型随机变量,且其概率分布为
,2,1,}{===i p x X P i i
则 ;)]([)(1
2
∑∞
=-=
i i i p X E x X D
若X 是连续型随机变量,且其概率密度为),(x f 则
.)()]([)(2
⎰
∞
∞
--=
dx x f X E x X D i
利用数学期望的性质, 易得计算方差的一个简化公式:
2
2
)]([)()(X E X E X D -=.
3.2.3 方差的性质
1. 设C 常数, 则0)(=C D ;
2. 若X 是随机变量, 若C 是常数, 则
);()(2
X D C CX D =
3. 设Y X ,是两个随机向量,则
)));())((((2)()()(Y E Y X E X E Y D X D Y X D --±+=±
特别地, 若Y X ,相互独立, 则
).()()(Y D X D Y X D +=±
注: 对n 维情形, 有: 若n X X X ,,,21 相互独立, 则
.)(,)(1
2
11
1∑∑∑
∑=====
⎥⎦
⎤
⎢⎣⎡=⎥⎦
⎤⎢⎣⎡n
i i i
n i i i n
i i n i i X D C X C D X D X D
3.2.4 条件数学期望和条件方差简介
由于随机变量之间存在相互联系, 一个随机变量的取值可能会对另一随机变量的分布产生影响, 这种影响会在数字特征上得到反映. 下面要讨论的是：在某个随机变量取某值的条件下，求另一个与之相关的随机变量的数字特征. 作为简介，这里我们直接给出它们的定义.
1. 设),(Y X 是离散型随机向量, 其概率分布为
),,2,1,,2,1(},{ =====j i p y Y x X P ij
j i
定义 2 称}|{)|(i j j
j i x X y Y
P y x X Y E ===
=∑（绝对收敛）为在
i x X =条件下Y 的条件数学期望.
类似地，称 }|{)|(j i i
i i y Y x X
P x y Y X E ===
=∑（绝对收敛）为在 i
y Y =条件下X 的条件数学期望;
2．设),(Y X 是连续型随机向量, )|(|x y f X Y 是在x X =条件下的概率密度，)|(|y x f Y X 是在y Y =条件下X 的概率密度.
定义3 (i) 称 ⎰+∞
∞-==dy x y yf x X Y E X Y )|(]|[|（绝对收敛）
为在 x
X =条件下Y 的条件数学期望;
类似地，称⎰+∞
∞-==dx y x xf y Y X E Y X )|(]|[|（绝对收敛）为在 y Y
=条件
下X 的条件数学期望;
例 1 设随机变量X 具有数学期望,)(μ=
X E 方差.0)(2≠=σX D 记
,*
σ
μ
-=
X X
则
;0])([1
)(1
)(*
=-=
-=
μσ
μσ
X E X E X E
.1])[(1
])[(
)]
([)()(2
22
2
2
2
*
2
**==
-=
-=-=σ
σμσ
σ
μ
X E X E X E X
E X D
即σ
μ
-=
X X
*
的数学期望为0, 方差为1. *
X
称为X 的标准化变量.
例2 设随机变量X 具有)10(-分布, 其分布律为
,}1{,1}0{p X P p X P ==-==
求),(X E ).(X D
例3 设),(~λP X 求),(X E ).(X D 例4 设),,(~b a U X 求),(X E ).(X D 例3 设随机变量X 服从指数分布, 其概率密度为
⎪⎩
⎪⎨⎧≤>=-.
0,0,0,
1)(/x x e x f x θθ
其中,0>θ 求),(X E ).(X D
例6 设随机变量X 服从几何分布, 概率函数
n k p p k X P k ,,2,1,)
1(}{1
=-==-
其中10<<p , 求),(X E ).(X D .
全期望公式： 1
()()()n
i i i E X E X
Y y P Y y ==
==∑ Or ()()()Y
E X E X
Y P Y =∑
§4 统计方法的基本概念
4.1 总体与样本
定义： 总体指研究对象的全体 个体指组成总体的每个元素。

如： 一家公司的整批产品视为一总体，则每个产品为个体。

注： 实际中，总体通常指某个随机变量X 取值的全体，而其中每一个个体都是一个实数。

所以总体一般用大写字母X ，Y ，Z 等表示。

定义： 称从总体X 中抽取若干个体来观察某种数量指标的取值过程为抽样。

从一个总体中，随机地抽取n 个个体12,,,n X X X ，则称（12,,,n X X X ）为总体X 的一个样本或子样，其中数目n 为样本的容量。

样本（12,,,n X X X ）是一个n 维随机向量，它的每一个取值12(,,,)n x x x 称为样本观测值，简称观测值。

定义： 设12,,,n X X X 为来自总体X 的容量为n 的样本，如果12,,,n X X X 相互独立且每一个都是与总体X 有相同分布的随机变量，则称12,,,n X X X 为总体X 的容量为n 的简单随机样本，简称为简单子样或子样。

注：1．以后所讲的子样12,,,n X X X 无特别声明的话，都是指简单子样，即
12,,,n X X X 相互独立且每一个都与总体X 有相同的分布。

2．实际中，统计分析的任务是由样本推断总体，具体的作法是：根据某种原则或经验假设总体服从某种概率分布，而通过样本推断总体服从的概论分布的若干参数。

4.2 统计量
定义1： 设12,,,n X X X 为总体X 的子样，T 为观测值12(,,,)n x x x 的实值函数，作子样的函数),,,(21n X X X T t =，T 的取值就为
),,,(21n X X X T t =
若),,,(21n X X X T 也为一随机变量，且不带未知参数，则称T 或T （12,,,n X X X ）为统计量。

定义2： 样本是总体的代表，但抽取样本后，并不直接利用样本的观察值进行推断，而是把样本中所包含的有关信息集中起来进行研究，这便是针对所研究的问题构造样本的某种函数，称之为样本函数，这种函数称为统计量。

注： 在实际应用中，我们在用子样12,,,n X X X 获得的信息来对总体X 作出估计与推断时，是按不同的统计问题的要求而规定子样的各种函数。

对于总体X 的样本（12,,,n X X X ）常用的统计量如下： （1） 表示位置的统计量：
平均值： 1
1n
i i X X n
==
∑
中位数： 将一组数据按大小顺序排序后位于中间位置的数。

分位数： 将满足()()01F z P x z ααα
α=<=<< 的z α称为分布函
数F 的α分位数。

（2） 表示变异程度的统计量
标准差： 1
2
21
1
[
()]n
i
i S X
X n
==-∑
方 差： 2
2
1
1
()
1
n
i
i S X X n ==
--∑
极 差： 样本中最大值与最小值之差，即：011m ax ()m in ()i i i n
i n
S X X ≤≤≤≤=-
（3） 表示分布形态的统计量 k 阶原点矩： 1
1
,
1,2,n
k
k i i C X k n
==
=∑
k 阶中心矩： 1
1
(),
1,2,n
k
k i
i D X X k n
==-=∑
§5 参数估计法
所谓的参数估计就是对总体X 的分布函数12(;,,)k F x θθθ 由样本（12,,,n X X X ）构造一些统计量),,,(21n i X X X
θ（1,2,,i k = ）来估计X 中参数（或数字特征）(1,2,,)i i k θ= ，这样的统计量称为估计量，这种方法称为参数估计法。

参数估计法可以分为点估计法和区间估计法两类。

点估计： 由样本（12,,,n X X X ）构造函数),,,(21n i X X X
θ作为i θ的点
估计量，称统计量i θ 为参数(1,2,,)i i k θ= 的点估计量。

区间估计：由样本（12,,,n X X X ）构造两个函数),,,(211n i X X X
θ和
),,,(212n i X X X θ，把区间),(21i i θθ
作为参数(1,2,,)i i k θ= 的区间估计。

5.1点估计法 5.1.1矩估计法
定义： 设总体X 的分布函数12(;,,,)k F x θθθ 中有k 个未知参数12,,,k θθθ ，
如果它们都可以表示为原点矩的函数，即用样本（12,,,n X X X ）的(1
)r r k ≤≤阶原点矩去估计总体X 的相应r 阶原点矩或原点的函数，将k 个参数反解出来，从而求出各个参数的估计值，这就是矩估计法，由数学符号定义为：
若总体X 的k 阶原点矩()k
E X 存在，则
1221
1
111n
i i n i i n k k i i X E X n X E X
n X E X n ===⎧=⎪⎪⎪=⎪⎨⎪⎪⎪=⎪⎩∑∑∑ 解出),,,(21n r r X X X θθ=，(1,2,,)r k = 并以r θ
作为r θ的估计量，则称
r θ
为未知参数r θ的矩法估计量。

注： 矩法估计即是利用子样的数字特征作为总体的数字特征的估计。

例： 若无论总体X 服从什么分布，只需2
,EX DX μσ==是有限的，但
其值未知，求2
,μσ的估计值。

解：1
2222
2
1
11()n
i i n
i i X E X n X E X D X E X n μσμ
==⎧==⎪⎪⎨
⎪==+=+⎪⎩∑∑
解得： X =μ
2
====-=
-=
-=
∑∑
∑S X X n
X
X
X
n
n
i i
n
i i
n i i
1
22
122
1
2
2
)(1
1
μ
σ
由此可见：子样的平均值X 与方差2
S 分别为总体的数学期望μ及方差2
σ的矩法估计量。

5.1.2最大似然估计
如果已知样本（12,,,n X X X ）的一组观测值为12(,,,)n x x x ，则适当的选取参数(1,2,,)i i k θ= 的值，使样本取这组观察值的可能性最大（即概率最大）。

即构造似然函数
121122(,,)(,,
)
k
n
n
L P X x X x X x θθθ====
=121
1
()(,,,,)n
n
i i i k i i P X x p x θθθ====
∏∏
，
求使12(,,)k L θθθ 达到最大的参数值，从而可得到参数i θ的估计值
),,2,1(,k i i
=θ。

此估计值称为最大似然估计值。

上式中的函数p 是样本中
元素的分布密度。

求最大似然估计的问题，就是求似然函数12(,,)k L θθθ 的最大值问题，即可转化为求解方程组
0,
1,2,,i
L i k θ∂==∂
或
ln 0,1,2,,i
L i k θ∂==∂
的问题。

例： 设总体X 服从正态2(,)N μσ分布，试求2,μσ的极大似然估计量。

解： 我们知道，2,μσ的似然函数为
2
2
22
1
1
()()22
21
(,)]n
i i i X n
X i L μμσ
σ
μσ=--
--
=∑==
∏
似然方程为：
2212231ln (,)1()0ln (,)1()0n
i i n
i i L X L n X μσμμσμσμσσσ==⎧∂=-=⎪
∂⎪
⎨∂⎪=-+-=⎪∂⎩
∑∑
解得： X X n
n
i i ==
∑=1
1
μ
，2
1
2
2
)
(1
S X X
n
n
i i
=-=
∑=σ
则X 及2
S 分别为μ及2
σ的极大似然估计量。

5.1.3估计量的评价
一致性： 设 12(,,,)n
X X X θ 为未知参数θ的估计量，若n →∞， θ依概率收敛于θ，则称θ的估计量 θ
是一致的。

无偏性： 设 θ
为未知参数θ的估计量，若 ()E θθ=，则称 θ为θ的无偏估计量。

有效性： 设21,θθ
是未知参数θ的两个无偏估计量，若1)
()
(21<θθ
D D ，则称估计
量21θθ
比有效。

定义： 设12(,,)n T X X X 为可估计函数()g θ的无偏估计量，若对于()g θ 的
任一无偏估计量'
12(,,)n T X X X ，有
'
()()D T D T θθ≤ 对一切θ∈Ω，
则称12(,,)n T X X X 为()g θ的最小方差无偏估计量。

简称最优无偏估计量。

例1： 设总体),(~2σμN X ，证明X 为μ的无偏估计量。

证： 1
1
1
1
1
1
(
)n
n
n
i i
i i i E X E X E X n
n
n
μμ=====
=
=∑∑∑
例2： 设12,X X 为来自总体X 的子样，证明12
12
X X T +=比12
234
X X T +=
有
效。

证： 12
1121()2
2
X X ET E
EX EX μ+==+=
2
2
12
11211()224
4
2
X X D T D
D X D X σ
σ
+∴
==
+=
=
12
21231(3)4
4
X X E T E
E X E X μ+==
+=
2
2
12
21231105(9)4
16
16
8
X X D T D
D X D X σσ+∴
==
+=
=
2
2
σ
<
2
58
σ
∴1T 比2T 有效。

5.2区间估计法
参数的点估计只是求参数近似值的一种方法。

实际中，不仅需要求出参数的近似值，而且还需要大致估计出这个值的精确度和可信度。

设总体X 的分布含有未知参数θ，若对于给定的概率（置信水平）1(01)α
α-<<和样本（12,,,n X X X ）
，存在两个统计量
),,,(211n X X X θ和),,,(212n X X X
θ使得
αθθθ-=<<1)(21
P ，
则称区间(21,θθ )为参数θ在置信水平为1α-下的置信区间，21,θθ
分别称为置信下限与置信上限。

5.2.1正态总体期望的置信区间
（1） 已知方差2
()D X σ=，求E （X ）的置信区间。

设总体),(~2
σμN X ，（12,,,n X X X ）是X 的一个样本，因为2
()D X σ=，则设统计量
()
X E X ξ-=
则)1,0(~N ξ，给定置信水平1α-，根据正态分布的对称性，可以得到：
112
2
()1P z
z
α
α
ξα-
-
-≤≤=-
112
2
(1P X z
EX X z
α
α
α-
-
∴-≤≤+=-，
所以E （X ）在置信水平1α-下的置信区间为
[12
X z
α
-
-
12
X z
α
-
+]，
其中12
z
α
-
为N （0,1）的分位数。

（2） 未知方差D (X )时，求E (X )的置信区间。

用D (X )的估计值（即样本方差）2
2
1
1
()
1
n
i
i S X X n ==
--∑代替D (X )。

设：
)1(~)
()
1()1()
(2
2
--=
---=
n t n
S X E X n S
n n X E X σσ
ξ()1(~)1(2
2
--2
n x S
n σ
).
根据t 分布对称性，则可以得到
112
2
(1P X t
E X X t
α
α
α-
-
-≤≤+=-
所以E （X ）在置信水平1α-下的置信区间为
[12
X t
α
-
-
，12
X t
α
-
+]，
其中12
t
α
-
为t （n-1）的分位数。

5.2.2正态总体方差的区间估计
设总体),(~2
σμN X ，（12,,,n X X X ）是X 的一个样本。

由于
)1(~)1(2
2
2
--=
n x S
n ση
分别选取2
x 分布关于
2
α
和12
α
-
的分位数22
x α和212
x
α
-
，则有
12
2
2
2
2
2
(1)(1)()1n S n S
P D X x
x αα
α-
--≤≤
=-
所以D （X ）在置信水平1α-下的置信区间为[
12
2
2
(1)n S x
α-
-，
2
2
2
(1)n S
x α
-]。

即
[
12
2
1
2
()
n i i X
X x
α-
=-∑，
2
2
1
2
()
n
i
i X
X x α
=-∑]。

§6 回归分析方法
6.1 一元线性回归模型 定义： 称模型
011112
0,p p y x x E D βββε
εεσ--=++++⎧⎨==⎩
为线性回归模型。

若在第i 次试验（观测）中，自变量111
,1,,,i p i p X x X
x --==
因变量y 的观测值为
,1,2,i y i
n
= 独立，则应有 0111,11,,,i i p i p i
y x x i n βββε--=++++= 独立。

用矩阵的形式记这些方程，即
y X βε=+ (1)
其中1n y y y ⎛⎫ ⎪= ⎪ ⎪
⎝⎭
,11 1.1212,11
,11
11
p p n n p x x x x X x x ---⎡⎤⎢
⎥
⎢⎥=⎢⎥
⎢⎥⎢⎥⎣⎦
,01
1p ββββ-⎛⎫
⎪
⎪= ⎪ ⎪ ⎪⎝⎭ ,1n εεε⎛⎫ ⎪= ⎪ ⎪
⎝⎭ ,且ε满足2
E ( )=0, C o v( ,)= n n I εεεσ⨯， 2
0σ
>.
特别,当2p =时,得到一元线性模型
y X βε=+ (2)
其中1n y y y ⎛⎫ ⎪= ⎪ ⎪⎝⎭ , 11
1n x x x ⎛⎫
⎪= ⎪ ⎪⎝⎭
,0
1βββ⎛⎫= ⎪⎝⎭ ,1n εεε⎛⎫
⎪= ⎪ ⎪⎝⎭
,且ε满足2
E (
)=0, C o v ( ,)= n n I εεεσ⨯， 2
0σ
>.
6.2 参数01,ββ的最小二乘估计 6.2.1 最小二乘法 由(2)可得
''
2
2
01011
1
(,)()()()n
n
i
i
i i i Q y X y X y
x ββεεββε
ββ====--=
=
--∑∑
Q 是n 次观察中误差项2
i ε之和,称为Q 的误差平方和.令
01
20101
01,1
ˆˆˆˆ(,)m in (,)()n
i
i
i Q Q y
x ββββββββ===--∑ 则由多元函数存在极值的必要条件得
01
01ˆˆ(,)0
ˆˆ(,)100Q Q ββββββ∂⎧=⎪∂⎪⎨
∂⎪=⎪∂⎩ 即 011
011
ˆˆ()0ˆˆ()0,n
i i i n i i i i y x y x x ββββ==⎧--=⎪⎪⎨⎪--=⎪⎩∑∑
此方程称为正规方程组,求解可以得到
01
1ˆˆ,ˆ,xy xx
y x l l βββ⎧=-⎪
⎨=⎪⎩
称01
ˆˆ,ββ为01,ββ的最小二乘估计,其中 1
1n
i i y y n
==
∑
, 1
1n i i x x n
==
∑
,2
2
2
1
1
11()()n n
n
xx i i
i i i i l x x x x n
====
-=
-
∑
∑
∑,
1
1
1
1
1()()()().n n
n
n
xy i
i i
i
i i i i i i l x
x y y x y
x y n
=====
--=
-
∑∑∑∑
6.2.2 01
ˆˆ,ββ的性质 (1) ))1(
,(~2
2
00σββxx
l x
n
N +
;
(2) ),
(~2
11xx
l N σ
ββ
;
(3) 2
01
ˆˆ(,)xx
x C ov l ββσ=-
事实上, 00
ˆE ββ=, 2
2
01ˆ()xx
x
D n
l βσ
=+
; 11
ˆE ββ=, 2
1ˆxx
D l σ
β=. 由此可知
01
ˆˆ,ββ是01,ββ的无偏估计. 从而可以得到对固定的x 有 010101
ˆˆˆˆˆ()()()()()E y E x E E x x E y ββββββ=+=+=+=, 即ˆy
是y 的无偏估计,且有
2
22010101
1()ˆˆˆˆˆˆˆ()()()()2(,)[]xx
x x D y D x D D x C ov x n l ββββββσ-=+=++=+, 故)])(1[ ,(~2
2
10σββxx
l x x n x N y -++ .
6.3 回归方程的显著性检验
考虑总偏差的平方和2
21
1
ˆˆ()()n
n
T
i
i
i i i i SS
y
y y
y
y y ===
-=
-+-∑∑
2
2
1
1
1
ˆˆˆˆ()()2()()n
n
n
i
i i
i i i i i i y
y
y
y y y
y y ====
-+-+--∑∑∑def
E R SS SS =+ 事实上,由正规方程组知
01011
1ˆˆˆˆˆˆ()()()()n
n
i
i i i
i i
i i y
y
y y y
x x y ββββ==--=--+-∑∑ 0101011
1
ˆˆˆˆˆˆ()()()n
n
i i i i i
i i y x y y x x ββββββ===
---+--∑
∑ 0=
即回归平方和为2
1
ˆ()n
R i
i SS y
y ==
-∑, 残差平方和(或剩余平方和)为
21
ˆ()n
E i
i i SS y
y
==
-∑. 检验10β= 是否为真, 建立统计量
2
R E
SS F SS n =
-
知 )2,1(~-n F F .
所以,在10β= 的假设下, 给定一个模型的显著水平α(一般取0.01或0.05),
可通过查表得到F 分布的值, 记为(1,2)F n α-. 如果
1{(1,2)0}10.95P F F n αβα≤-==-≥
则表明(1,2)F F n α>-是小概率事件,在一次检验中不会发生的. 如果确实算出(1,2)(1,2)F n F n α->-, 则说明10β= 的假设不成立, 即模型中一次项1x β是必要的,是不可少的. 换言之, 模型对水平α而言是显著的,反之是不显著的.。