概率论与数理统计第七章PPT课件
合集下载
概率论与数理统计课件第七章7-1
求解方程：
d ln L( ) 0 d
可以得到 的MLE .
若是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的MLE有时行不 通，这时要用最大似然原则来求 .
数理统计
下面举例说明如何求最大似然估计
例5 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的最大似然估计量.
(3) 求似然函数L( ) 的最大值点(常常转化为 求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
数理统计
例6 设总体 X ~N( μ ,σ 2) , μ ,σ 2 未知 . x1, , xn 是来自 X 的样本值 , 试求 μ ,σ2的最大似然估计量 .
解 μ1 E X μ
μ2 E X 2 D( X ) [E( X )]2 σ2 μ2
解得
μ μ1 σ 2 μ2 μ12
于是 μ ,σ2 的矩估计量为
数理统计
总体矩
μ A1 X
σ2
A2
A12
1 n
n i 1
X
2 i
X 2
X
1 n
n i 1
Xi,
S2
1 n1
n i 1
(Xi
X )2
数理统计
问题是:
使用什么样的统计量去估计 ？
可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
这里我们主要介绍前面两种理统计
d ln L( ) 0 d
可以得到 的MLE .
若是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的MLE有时行不 通，这时要用最大似然原则来求 .
数理统计
下面举例说明如何求最大似然估计
例5 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的最大似然估计量.
(3) 求似然函数L( ) 的最大值点(常常转化为 求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
数理统计
例6 设总体 X ~N( μ ,σ 2) , μ ,σ 2 未知 . x1, , xn 是来自 X 的样本值 , 试求 μ ,σ2的最大似然估计量 .
解 μ1 E X μ
μ2 E X 2 D( X ) [E( X )]2 σ2 μ2
解得
μ μ1 σ 2 μ2 μ12
于是 μ ,σ2 的矩估计量为
数理统计
总体矩
μ A1 X
σ2
A2
A12
1 n
n i 1
X
2 i
X 2
X
1 n
n i 1
Xi,
S2
1 n1
n i 1
(Xi
X )2
数理统计
问题是:
使用什么样的统计量去估计 ？
可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
这里我们主要介绍前面两种理统计
概率论与数理统计 第7章.ppt
即 S 2是 2 的无偏估计,故通常取S 2作 2的估计量.
例3 设总体 X 服从参数为 的指数分布, 概率密度
x 1 e , f ( x; ) 0,
x 0, 其他.
其中参数 0, 又设 X 1 , X 2 ,, X n 是来自总体 X 的 样本, 试证 X 和 nZ n[min( X 1 , X 2 ,, X n )] 都是 的无偏估计.
行到其中有15只失效时结束试验, 测得失效时 间(小时)为115, 119, 131, 138, 142, 147, 148, 155,
158, 159, 163, 166, 167, 170, 172.
试求电池的平均寿命 的最大似然估计值 .
解
n 50, m 15,
s( t15 ) 115 119 170 172 (50 15) 172
总体 X 的 k 阶矩 k E ( X k )的相合估计量, 进而若待估参数 g( 1 , 2 ,, n ), 其中g 为连续 ˆ g( 函数, 则 的矩估计量 ˆ1 , ˆ 2 , , ˆ n ) g( A1 , A2 ,
, An ) 是 的相合估计量.
第三节
估计量的评选标准
一、问题的提出
二、无偏性 三、有效性 四、相合性 五、小结
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同. 而且, 很明显, 原则上任何统计量都可以作为未知参数 的估计量. 问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么? 下面介绍几个常用标准.
如果不能得到完全样本, 就考虑截尾寿命试验.
3. 两种常见的截尾寿命试验
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
概率论与数理统计完整课件第七章参数估计PPT课件
n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)
概率论与数理统计PPT课件第七章最大似然估计
最大似然估计
• 最大似然估计的概述 • 最大似然估计的数学基础 • 最大似然估计的实现 • 最大似然估计的应用 • 最大似然估计的扩展
01
最大似然估计的概述
定义与性质
定义
最大似然估计是一种参数估计方法， 通过最大化样本数据的似然函数来估 计参数。
性质
最大似然估计是一种非线性、非参数 的统计方法，具有一致性、无偏性和 有效性等优良性质。
无偏性
在某些条件下，最大似然估计的参数估计值是无偏的，即其期望值等于真实值。
最大似然估计的优缺点
• 有效性：在某些条件下，最大似然估计具有最小方差性质， 即其方差达到最小。
最大似然估计的优缺点
非线性
01
最大似然估计是非线性估计方法，对参数的估计可能存在局部
最优解而非全局最优解。
对初值敏感
02
最大似然估计对初值的选择敏感，不同的初值可能导致不同的
04
最大似然估计的应用
在回归分析中的应用
线性回归
最大似然估计常用于线性回归模型的参数估计，通过最大化似然函 数来估计回归系数。
非线性回归
对于非线性回归模型，最大似然估计同样适用，通过将非线性模型 转换为似然函数的形式进行参数估计。
多元回归
在多元回归分析中，最大似然估计能够处理多个自变量对因变量的影 响，并给出最佳参数估计。
最大熵原理与最大似然估计在某些方面具有相似性，例如都追求最大化某种度量， 但在应用场景和约束条件上有所不同。
THANKS
感谢观看
连续型随机变量的概率密度函数
然函数
基于样本数据和假设的概率模型， 计算样本数据在该模型下的可能 性。
似然函数的性质
非负性、归一化、随着样本数据的 增加而增加。
• 最大似然估计的概述 • 最大似然估计的数学基础 • 最大似然估计的实现 • 最大似然估计的应用 • 最大似然估计的扩展
01
最大似然估计的概述
定义与性质
定义
最大似然估计是一种参数估计方法， 通过最大化样本数据的似然函数来估 计参数。
性质
最大似然估计是一种非线性、非参数 的统计方法，具有一致性、无偏性和 有效性等优良性质。
无偏性
在某些条件下，最大似然估计的参数估计值是无偏的，即其期望值等于真实值。
最大似然估计的优缺点
• 有效性：在某些条件下，最大似然估计具有最小方差性质， 即其方差达到最小。
最大似然估计的优缺点
非线性
01
最大似然估计是非线性估计方法，对参数的估计可能存在局部
最优解而非全局最优解。
对初值敏感
02
最大似然估计对初值的选择敏感，不同的初值可能导致不同的
04
最大似然估计的应用
在回归分析中的应用
线性回归
最大似然估计常用于线性回归模型的参数估计，通过最大化似然函 数来估计回归系数。
非线性回归
对于非线性回归模型，最大似然估计同样适用，通过将非线性模型 转换为似然函数的形式进行参数估计。
多元回归
在多元回归分析中，最大似然估计能够处理多个自变量对因变量的影 响，并给出最佳参数估计。
最大熵原理与最大似然估计在某些方面具有相似性，例如都追求最大化某种度量， 但在应用场景和约束条件上有所不同。
THANKS
感谢观看
连续型随机变量的概率密度函数
然函数
基于样本数据和假设的概率模型， 计算样本数据在该模型下的可能 性。
似然函数的性质
非负性、归一化、随着样本数据的 增加而增加。
《概率论与数理统计》第七章
i 1
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
概率论第七章课件
得否定域 W: |t |>4.0322
小概率事件在 一次试验中基 本上不会发生 .
19
得否定域
W: |t |>4.0322
第四步：
将样本值代入算出统计量 t 的实测值, | t |=2.997<4.0322
没有落入 拒绝域
故不能拒绝H0 .
这并不意味着H0一定对，只是差异 还不够显著, 不足以否定H0 .
2
假设检验的内容
参数检验 非参数检验 总体均值, 均值差的检验 总体分布已知， 检验关于未知 总体方差, 方差比的检验 参数的某个假设 分布拟合检验 总体分布未知时的 符号检验 假设检验问题 秩和检验
假设检验的理论依据
假设检验所以可行,其理论背景为 实际推断原理,即“小概率原理”
3
罐装可乐的容量按标准应在 350毫升和360毫升之间. 生产流水线上罐装可 乐不断地封装，然后装箱 外运. 怎么知道这批罐装 可乐的容量是否合格呢？ 把每一罐都打开倒入量 杯, 看看容量是否合于标准？ 这样做 显然不行！
1 0.083 0.04 12
若不采用假设检验, 按理不能够出厂.
28
例4某厂生产的螺钉,按标准强度为68/mm2, 而实际生产的强度X 服N(,3.62 ).若E(X) ==68,则认为这批螺钉符合要求,否则认为 不符合要求. 现从生产的螺钉中抽取容量 为36的样本,其均值为 x 68.5 ,问原假设 是否正确?
解 假设
H0 : = 68
H1 : 68
29
3.6 若原假设正确, 则 X ~ N (68 , ) 36
2
因而 E ( X ) 68 ,即 X 偏离68不应该太远, 偏离较远是小概率事件,由于
小概率事件在 一次试验中基 本上不会发生 .
19
得否定域
W: |t |>4.0322
第四步：
将样本值代入算出统计量 t 的实测值, | t |=2.997<4.0322
没有落入 拒绝域
故不能拒绝H0 .
这并不意味着H0一定对，只是差异 还不够显著, 不足以否定H0 .
2
假设检验的内容
参数检验 非参数检验 总体均值, 均值差的检验 总体分布已知， 检验关于未知 总体方差, 方差比的检验 参数的某个假设 分布拟合检验 总体分布未知时的 符号检验 假设检验问题 秩和检验
假设检验的理论依据
假设检验所以可行,其理论背景为 实际推断原理,即“小概率原理”
3
罐装可乐的容量按标准应在 350毫升和360毫升之间. 生产流水线上罐装可 乐不断地封装，然后装箱 外运. 怎么知道这批罐装 可乐的容量是否合格呢？ 把每一罐都打开倒入量 杯, 看看容量是否合于标准？ 这样做 显然不行！
1 0.083 0.04 12
若不采用假设检验, 按理不能够出厂.
28
例4某厂生产的螺钉,按标准强度为68/mm2, 而实际生产的强度X 服N(,3.62 ).若E(X) ==68,则认为这批螺钉符合要求,否则认为 不符合要求. 现从生产的螺钉中抽取容量 为36的样本,其均值为 x 68.5 ,问原假设 是否正确?
解 假设
H0 : = 68
H1 : 68
29
3.6 若原假设正确, 则 X ~ N (68 , ) 36
2
因而 E ( X ) 68 ,即 X 偏离68不应该太远, 偏离较远是小概率事件,由于
东华大学《概率论与数理统计》课件 第七章 假设检验
1. 2为已知, 关于的检验(U 检验 )
在上节中讨论过正态总体 N ( , 2 ) 当 2为已知时, 关于 = 0的检验问题 :
假设检验 H0 : = 0 , H1 : 0 ;
我们引入统计量U
=
− 0 0
，则U服从N(0,1)
n
对于给定的检验水平 (0 1)
由标准正态分布分位数定义知，
~
N (0,1),
由标准正态分布分位点的定义得 k = u1− / 2 ,
当 x − 0 / n
u1− / 2时, 拒绝H0 ,
x − 0 / n
u1− / 2时,
接受H0.
假设检验过程如下:
在实例中若取定 = 0.05, 则 k = u1− / 2 = u0.975 = 1.96, 又已知 n = 9, = 0.015, 由样本算得 x = 0.511, 即有 x − 0 = 2.2 1.96,
临界点为 − u1− / 2及u1− / 2.
3. 两类错误及记号
假设检验是根据样本的信息并依据小概率原
理，作出接受还是拒绝H0的判断。由于样本具有 随机性，因而假设检验所作出的结论有可能是错
误的. 这种错误有两类:
(1) 当原假设H0为真, 观察值却落入拒绝域, 而 作出了拒绝H0的判断, 称做第一类错误, 又叫弃
设 1,2, ,n 为来自总体 的样本,
因为 2 未知, 不能利用 − 0 来确定拒绝域. / n
因为 Sn*2 是 2 的无偏估计, 故用 Sn* 来取代 ,
即采用 T = − 0 来作为检验统计量.
Sn* / n
当H0为真时,
− 0 ~ t(n −1),
Sn* / n
由t分布分位数的定义知
概率论与数理统计(浙大版)第七章第八章精ppt课件
i1
是参数 的函数，称为似然函数，记做 L( ).
n
即 L()p(xi;) i1
结构：n 项连乘，总体分布 p(x,) 改 p(xi,)
i1,2, ,n
P(A)L(),随 变而 , A变 已经发生，由极大
似然原理， L()达到最大，所以 的最合理 估计值ˆ 应满足：L(ˆ)为最大值
定义 对给定的样本值 x1,x2,,xn，若
解得p的极大似然估计量为：
pˆ
1 n
n i 1
Xi
说明：p的极大似然估计值为：
pˆ 1 n n i1
xi
例2: 设(X1,X2,…Xn )是来自总体X的一个样本,
X ~f(x;) x 0 , 1,0其 x1 ,它 其 中 0 未, 知
求θ的极大似然估计量．
解： θ的似然函数为：
n
L()
第七章 参数估计
关键词：
﹜点估计 矩估计法
极大似然估计法
﹜区间估计 置信区间
置信度
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数， 例如：产品的质量指标X服从正态分布，其概率密度为：
x 2
f x; , 2 1 e 2 2 x 2 但 参 数 , 2的 值 未 知 ， 要 求 估 计 , 2， 有 时 还 希 望 以 一 定 的 可 靠 性 来 估计值是在某个范围内或者不低于某个数。
n
似然函数 L()f(xi,) 达到最大 i1
求ˆ 的步骤：
(1) 写 出L() (2) 取 对 数 lnL() (3) 解 方 程 dlnL[()]0, 得 到 ˆ
d
例1 : 设总体X的分布律为：
概率论与数理统计第七章-精品
第七章 参数估计
湖南商学院信息系 数学教研室
第七章 参数估计
第一节 第二节
第三节 第四节 第五节
矩估计 极大似然估计
估计量的优良性准则 正态总体的区间估计（一） 正态总体的区间估计（二）
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
即
uX
2 2
1 n n i1
Xl2
求解得
u ˆˆ2 Xn 1i n1Xl2X2n 1i n1（ XiX)2
∴均值,方差2的矩估计是:
uˆˆ 2Xn1
n
（Xi
i1
,2)两个未知参
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
d
可以得到 的MLE .
(1) 由总体分布导出样本的联合概率函数 (或联合密度);
(2) 把样本联合概率函数(或联合密度)中自变
量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
Var(X-)= 2
即 E(X)=
Var(X)= 2
即 E(X)=
Var(X)= 2
令 X
2
湖南商学院信息系 数学教研室
第七章 参数估计
第一节 第二节
第三节 第四节 第五节
矩估计 极大似然估计
估计量的优良性准则 正态总体的区间估计（一） 正态总体的区间估计（二）
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
即
uX
2 2
1 n n i1
Xl2
求解得
u ˆˆ2 Xn 1i n1Xl2X2n 1i n1（ XiX)2
∴均值,方差2的矩估计是:
uˆˆ 2Xn1
n
（Xi
i1
,2)两个未知参
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
d
可以得到 的MLE .
(1) 由总体分布导出样本的联合概率函数 (或联合密度);
(2) 把样本联合概率函数(或联合密度)中自变
量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
Var(X-)= 2
即 E(X)=
Var(X)= 2
即 E(X)=
Var(X)= 2
令 X
2
概率论与数理统计课件第7章参数估计
一、矩估计
4
A B
一、矩估计 例1
5
01
OPTION
02
OPTION
一、矩估计 解
6
一、矩估计
7
一、矩估计
8
解（1）
一、矩估计
9
解（2）
一、矩估计 例3
10
一、矩估计 解
11
一、矩估计
12
关于矩估计量有下列结论:
一、矩估计
13
例4
解
一、矩估计
14
01
OPTION
02
OPTION
一、无偏性 定义1
51
ˆ lim E θ 如果 n+ X1 ,
, X n θ
一、无偏性
52
例1
试求 1 3 2
解
(1)由矩估计定义可知
一、无偏性
53
故
一、无偏性
54
一、无偏性 例2
55
一、无偏性
56
解
一、无偏性 定理 1
57
则有
因此, 样本均值是总体均值的无偏估计, 样本
二、极大似然估计
48
极大似然估计求解
似然函数 对数似然求导法
直接法
49
目录/Contents
7.1 7.2
点估计 点估计的优良性评判标 准 置信区间 单正态总体下未知参数的置信区间 两个正态总体下未知参数的置信区间
7.3
7.4 7.5
50
目录/Contents
7.2
点估计的优良性评判标准 一、无偏性 二、有效性 三、相合性
置信区间
69
置信区间
70
置信区间
《概率论与数理统计》课件 第七章 随机变量的数字特征
i 1,2, , 如果 xi pi ， 则称 i 1 E( X ) xi pi 为随机变量X的数学期望； i 1
或称为该分布的数学期望，简称期望或均值.
(2)设连续随机变量X的密度函数为p( x),
如果
+
x p( x)dx ,
则称
-
E( X ) xp( x)dx 为随机变量X的数学期望.
5
例2.求二项分布B(n, p)的数学期望.
P(X
k)
n!
k!n
k !
pk
(1
p)nk ,k
1, 2,
, n.
n
解：EX kP{ X k}
k0
n
k
k0
n!
k!n
k !
pk
(1
p)nk
n
np
k 1
k
n 1! 1!n
pk1
k!
(1
p)nk
np[ p (1 p)]n1 np.
特别地，若X服从0 1分布，则EX p.
6
例3. 求泊松分布P( )的数学期望.
注：P( X k) k e , k 1, 2, .
k!
解：EX k k e e
k1
e
k1
k0 k !
k1 k 1 !
k1 k 1 !
ee
e x 1 x 1 x2 1 xn [这里，x ]
当 a 450时，平均收益EY 最大.
28
第二节 方差与标准差
29
引例
比较随机变量X、Y 的期望
X3 4 5 Y1 4 7 P 0.1 0.8 0.1 P 0.4 0.2 0.4
01 2 3 4 5 67
同济大学概率论与数理统计第七章ppt课件
例 15．设 X 与Y 的联合概率
函数为
XY 1 0 2
-1 1 0 1
6
6
0 0 11
66
1 1 10
66
求Cov（X，Y）
E（X）=0， E（Y）=1， E（XY）=-1/3， 可以推出 Cov（X,Y）
=-1/3
定理 4 （协方差性质）设 k 、 l 、 c 都是常数。
（1） cov X,Y covY, X ；
方差性质
定理 3 设 k 与 c 都是常数。
（1） Dc 0 ；反之，如果某个随机变量 X 的方 差为 0，那么， P X c 1，其中 c EX ；
（2） DkX c k2D X ；
D X Y D X DY
（3） 2E X EX Y EY ；
求D（X+Y）,E(X2Y2). 解： D(X+Y)= D(X)+ D(Y) = 3/4 + 1/4= 1
由X，Y相互独立可推得X2，Y2相互独 立，
因此 E(X2Y2)= E(X2) E(Y2)
= {D(X) + [E(X)]2 } {D(Y)+ [E(Y)]2 }
={ 3/4 + 9/4 } { 1/4 +1/4 }= 3/2
例 17． 求例 14、15 中 X 与Y 的相关系数。
注：（1） X ,Y E X Y
（2）
D aX bY a2D X b2D Y
。
2ab X ,Y DXDY
定理 5 （相关系数的性质） 当 DX 0 ， DY 0 时，
E(XY) xy f x, ydxdy
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
《概率论与数理统计》第七章 讲义
测得强度值为x1, x2 , …, x25，其均值为 x 108 (Pa)，问当日生产是否正常？
Page 12
Chapter 7 假设检验
(1) 是参数估计问题吗？ (2) 回答“是”还是“否”，假设检验问题。 (3) 命题“合金平均强度不低于110Pa”正确 与否仅涉及如下两个参数集合：
0 { : 110}
其二是 H 0不真（即 H1为真）但样本观测值落 在接受域中，从而接受原假设H 0，这种错误称 为第二类错误，其发生的概率称为犯第二类错 误的概率,或称受伪概率，通常记为 。
Page 22
Chapter 7 假设检验
观测数 据情况
( x1,, xn ) W
( x1 ,, xn ) W c
H0 : 110
vs
H1 : 110
Page 18
Chapter 7 假设检验
•假设检验的两个特点：
第一，假设检验采用逻辑上的反证法，即为了检验一个假设 是否成立，首先假设它是真的，然后对样本进行观察，如 果发现出现了不合理现象，则可以认为假设是不合理的， 拒绝假设。否则可以认为假设是合理的，接受假设。 第二，假设检验采用的反证法带有概率性质。所谓假设的不 合理不是绝对的，而是基于实践中广泛采用的小概率事件 几乎不可能发生的原则。至于事件的概率小到什么程度才 算是小概率事件，并没有统一的界定标准，而是必须根据 具体问题而定。如果一旦判断失误，错误地拒绝原假设会 造成巨大损失，那么拒绝原假设的概率就应定的小一些； 如果一旦判断失误，错误地接受原假设会造成巨大损失， 那么拒绝原假设的概率就应定的大一些。
Page 19
Chapter 7 假设检验
二、选择检验统计量，给出拒绝域形式
概率论与数理统计之7-资料.ppt
0. 08 0. 06
a f (x)dx
0. 04
F(b)F(a)
0. 02
-1 0
-5
a
5
b
x
Ch2-54
P ( X b ) P ( X b ) F ( b ) P ( X a ) P ( X a ) 1 F ( a )
f ( x)
0. 08 0. 06 0. 04 0. 02
Ch2-49
分布函数与密度函数 几何意义
f ( x)
F( x )
0. 08 0. 06 0. 04 0. 02
y f (x)
-1 0
-5
5
x
x
Ch2-50
p.d.f. f ( x )的性质
f(x)0
f(x)dxF() 1
常利用这两个性质检验一个函数能
否作为连续性随机变量的密度函数，
在 f ( x ) 的连续点处，
a 0, cb2/4a0, 4a cb242.
Ch2-60
例3 设随机变量X 具有概率 密度
kx, 0 x 3
f
(x)
2-
x 2
,
0 ,
3 x4 其他
(1) 确定常数k (2)求 X 的分布函数 F ( x )
解：(1)由 f(x)dx1,得
3kxdx4(2x)dx1
0
32
解得
f(x)F (x)
f ( x ) 描述了X 在 x 附近单位长度的 区间内取值的概率
积分
x
Ch2-51
F (x ) f(t)d t x
不是Cauchy 积分，而是Lesbesgue 意义下
的积分，所得的变上限的函数是绝对连续
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
犯两类错误的概率都是参数 的函数，并可由势
函数算得，即：
g()1((),),
0 1
对例7.1.1，其拒绝域为W{x，c由} (7.1.3)可以算出 该检验的势函数
g () P (x c ) P x 4 /5 c 4 /5 c 4 /5
9/29/2020
华东师范大学
第七章 假设检验
第七章 假设检验
第1页
第七章 假设检验
§7.1 假设检验的基本思想与概念 §7.2 正态总体参数假设检验 §7.3 其它分布参数的假设检验 §7.4 分布拟合检验
9/29/2020
华东师范大学
第七章 假设检验
第2页
§7.1 假设检验的基本思想与概念
7.1.1 假设检验问题
例7.1.1 某厂生产的合金强度服从 N(,，16)其中
说明：在样本量一定的条件下不可能找到一
个使 和 都小的检验。
英国统计学家 Neyman 和 Pearson 提出水平
为 的显著性检验的概念。
9/29/2020
华东师范大学
第七章 假设检验
第14页
定义7.1.2 对检验问题
H0 :0 对 H1 :1
如果一个检验满足对任意的
，
0
都有 g() ,
则称该检验是显著性水平为 的显著性检 验，简称水平为 的检验。
在例7.1.1中，我们可建立如下两个假设：
H0 : 110 v s H1:110
9/29/2020
华东师范大学
第七章 假设检验
第5页
二、选择检验统计量，给出拒绝域形式
由样本对原假设进行判断总是通过一个统计量 完成的，该统计量称为检验统计量。使原假设 被拒绝的样本观测值所在区域称为拒绝域，一
般用W 表示，在例7.1.1中，样本均值 x 愈大，
9/29/2020
华东师范大学
第七章 假设检验
第15页
四、给出拒绝域
确定显著性水平后，可以定出检验的拒绝域W。
在例7.1.1中，若取=0.05, 由于g()关于 单调减，只需要
g(110)5(c4110)0.05
成立即可。这给出c 的值为 c 1 1 0 0 .8 u 0 .0 5 1 1 0 0 .8 1 .6 4 5 =108.684
称为检验或检验法则。
9/29/2020
华东师范大学
第七章 假设检验
第4页
7.1.2 假设检验的基本步骤
一、建立假设
在假设检验中，常把一个被检验的假设称为 原假设，用 H 0 表示，通常将不应轻易加以否 定的假设作为原假设。当 H 0 被拒绝时而接收 的假设称为备择假设，用 H 1 表示，它们常常 成对出现。
定义7.1.1 设检验问题
H 0: 0 v s H 1: 1
的拒绝域为W，则样本观测值落在拒绝域内 的概率称为该检验的势函数，记为
x g () P ( W ) , 0 1 (7.1.3)
9/29/2020
华东师范大学
第七章 假设检验
第10页
势函数 g ( )是定义在参数空间 上的一个函数。
这个势函数是 的减函数
第11页
9/29/2020
华东师范大学
第七章 假设检验
第12页
利用这个势函数容易写出犯两类错误的概率
分别为
(
)
c
4/5
,
0
和
()
1
c
4/5
,
1,
由此可得如下结论：
9/29/2020
华东师范大学
第七章 假设检验
第13页
➢ 当 减小时，c 也随之减小，必导致的增大； ➢ 当 减小时，c 会增大，必导致 的增大；
9/29/2020
华东师范大学
第七章 假设检验
第7页
三、选择显著性水平
检验可能犯以下两类错误：
➢ 其一是 H 0 为真但样本观测值落在拒绝域中， 从而拒绝原假设 H 0 ，这种错误称为第一类错 误，其发生的概率称为犯第一类错误的概率， 或称拒真概率，通常记为 .
➢ 其二是 H 0 不真（即 H 1 为真）但样本观测值落 在接受域中，从而接受原假设 H ，0 这种错误称 为第二类错误，其发生的概率称为犯第二类错 误的概率,或称受伪概率，通常记为 。
的设计值 为不低于110(Pa)。为保证质量，该
厂每天都要对生产情况做例行检查，以判断生 产是否正常进行,即该合金的平均强度不低于
110(Pa)。某天从生产中随机抽取25块合金，
测得强度值为x1, x2 , …, x25，其均值为 x 108 (Pa)，问当日生产是否正常？
9/29/2020
华东师范大学
意味着总体均值 也大，因此，合理的拒绝域
形如 W { (x 1 , ,x n ):x c } { x c }
9/29/2020
华东师范大学
第七章 假设检验
第6页
正如在数学上我们不能用一个例子去证明一个 结论一样，用一个样本（例子）不能证明一个 命题（假设）是成立的，但可以用一个例子 （样本）推翻一个命题。因此，从逻辑上看， 注重拒绝域是适当的。事实上，在“拒绝原假 设”和“拒绝备择假设（从而接收原假设）” 之间还有一个模糊域，如今我们把它并入接收 域，所以接收域是复杂的，将之称为保留域也 许更恰当，但习惯上已把它称为接收域，没有 必要再进行改变，只是应注意它的含义。
第七章 假设检验
第3页
(1) 是参数估计问题吗？
(2) 回答“是”还是“否” ，假设检验问题。
(3) 命题“合金平均强度不低于110Pa”正确 与
否仅涉0及{如:下1两10个}参数 集1合{：:110}
这两个非空参数集合都称作统计假设， 简称假设。
(4) 我们的任务是利用样本去判断假设（命题）
“ 0 ”是否成立。这里的“判断”在统 计学中
9/29/2020
华东师范大学
第七章 假设检验
第8页
观测数 据情况
总体情况 H 0 为真 H 1 为真
(x1,
,xn)W
犯第一类 错误
正确
(x1, ,xn)Wc 正确
犯第二类 错误
9/29/2020
华东师范大学
第七章 假设检验
第9页
犯第一类错误的概率 和犯第二类错误的概率 可以用同一个函数表示，即所谓的势函数。势函 数是假设检验中最重要的概念之一，定义如下：
检验的拒绝域为 W{x108.684}
9/29/2020
华东师范大学
第七章 假设检验
第16页
若令 u x 110 4/5
则拒绝域有另一种表示: W { u u 0 .0 5 } { u 1 .6 假设检验
第17页
函数算得，即：
g()1((),),
0 1
对例7.1.1，其拒绝域为W{x，c由} (7.1.3)可以算出 该检验的势函数
g () P (x c ) P x 4 /5 c 4 /5 c 4 /5
9/29/2020
华东师范大学
第七章 假设检验
第七章 假设检验
第1页
第七章 假设检验
§7.1 假设检验的基本思想与概念 §7.2 正态总体参数假设检验 §7.3 其它分布参数的假设检验 §7.4 分布拟合检验
9/29/2020
华东师范大学
第七章 假设检验
第2页
§7.1 假设检验的基本思想与概念
7.1.1 假设检验问题
例7.1.1 某厂生产的合金强度服从 N(,，16)其中
说明：在样本量一定的条件下不可能找到一
个使 和 都小的检验。
英国统计学家 Neyman 和 Pearson 提出水平
为 的显著性检验的概念。
9/29/2020
华东师范大学
第七章 假设检验
第14页
定义7.1.2 对检验问题
H0 :0 对 H1 :1
如果一个检验满足对任意的
，
0
都有 g() ,
则称该检验是显著性水平为 的显著性检 验，简称水平为 的检验。
在例7.1.1中，我们可建立如下两个假设：
H0 : 110 v s H1:110
9/29/2020
华东师范大学
第七章 假设检验
第5页
二、选择检验统计量，给出拒绝域形式
由样本对原假设进行判断总是通过一个统计量 完成的，该统计量称为检验统计量。使原假设 被拒绝的样本观测值所在区域称为拒绝域，一
般用W 表示，在例7.1.1中，样本均值 x 愈大，
9/29/2020
华东师范大学
第七章 假设检验
第15页
四、给出拒绝域
确定显著性水平后，可以定出检验的拒绝域W。
在例7.1.1中，若取=0.05, 由于g()关于 单调减，只需要
g(110)5(c4110)0.05
成立即可。这给出c 的值为 c 1 1 0 0 .8 u 0 .0 5 1 1 0 0 .8 1 .6 4 5 =108.684
称为检验或检验法则。
9/29/2020
华东师范大学
第七章 假设检验
第4页
7.1.2 假设检验的基本步骤
一、建立假设
在假设检验中，常把一个被检验的假设称为 原假设，用 H 0 表示，通常将不应轻易加以否 定的假设作为原假设。当 H 0 被拒绝时而接收 的假设称为备择假设，用 H 1 表示，它们常常 成对出现。
定义7.1.1 设检验问题
H 0: 0 v s H 1: 1
的拒绝域为W，则样本观测值落在拒绝域内 的概率称为该检验的势函数，记为
x g () P ( W ) , 0 1 (7.1.3)
9/29/2020
华东师范大学
第七章 假设检验
第10页
势函数 g ( )是定义在参数空间 上的一个函数。
这个势函数是 的减函数
第11页
9/29/2020
华东师范大学
第七章 假设检验
第12页
利用这个势函数容易写出犯两类错误的概率
分别为
(
)
c
4/5
,
0
和
()
1
c
4/5
,
1,
由此可得如下结论：
9/29/2020
华东师范大学
第七章 假设检验
第13页
➢ 当 减小时，c 也随之减小，必导致的增大； ➢ 当 减小时，c 会增大，必导致 的增大；
9/29/2020
华东师范大学
第七章 假设检验
第7页
三、选择显著性水平
检验可能犯以下两类错误：
➢ 其一是 H 0 为真但样本观测值落在拒绝域中， 从而拒绝原假设 H 0 ，这种错误称为第一类错 误，其发生的概率称为犯第一类错误的概率， 或称拒真概率，通常记为 .
➢ 其二是 H 0 不真（即 H 1 为真）但样本观测值落 在接受域中，从而接受原假设 H ，0 这种错误称 为第二类错误，其发生的概率称为犯第二类错 误的概率,或称受伪概率，通常记为 。
的设计值 为不低于110(Pa)。为保证质量，该
厂每天都要对生产情况做例行检查，以判断生 产是否正常进行,即该合金的平均强度不低于
110(Pa)。某天从生产中随机抽取25块合金，
测得强度值为x1, x2 , …, x25，其均值为 x 108 (Pa)，问当日生产是否正常？
9/29/2020
华东师范大学
意味着总体均值 也大，因此，合理的拒绝域
形如 W { (x 1 , ,x n ):x c } { x c }
9/29/2020
华东师范大学
第七章 假设检验
第6页
正如在数学上我们不能用一个例子去证明一个 结论一样，用一个样本（例子）不能证明一个 命题（假设）是成立的，但可以用一个例子 （样本）推翻一个命题。因此，从逻辑上看， 注重拒绝域是适当的。事实上，在“拒绝原假 设”和“拒绝备择假设（从而接收原假设）” 之间还有一个模糊域，如今我们把它并入接收 域，所以接收域是复杂的，将之称为保留域也 许更恰当，但习惯上已把它称为接收域，没有 必要再进行改变，只是应注意它的含义。
第七章 假设检验
第3页
(1) 是参数估计问题吗？
(2) 回答“是”还是“否” ，假设检验问题。
(3) 命题“合金平均强度不低于110Pa”正确 与
否仅涉0及{如:下1两10个}参数 集1合{：:110}
这两个非空参数集合都称作统计假设， 简称假设。
(4) 我们的任务是利用样本去判断假设（命题）
“ 0 ”是否成立。这里的“判断”在统 计学中
9/29/2020
华东师范大学
第七章 假设检验
第8页
观测数 据情况
总体情况 H 0 为真 H 1 为真
(x1,
,xn)W
犯第一类 错误
正确
(x1, ,xn)Wc 正确
犯第二类 错误
9/29/2020
华东师范大学
第七章 假设检验
第9页
犯第一类错误的概率 和犯第二类错误的概率 可以用同一个函数表示，即所谓的势函数。势函 数是假设检验中最重要的概念之一，定义如下：
检验的拒绝域为 W{x108.684}
9/29/2020
华东师范大学
第七章 假设检验
第16页
若令 u x 110 4/5
则拒绝域有另一种表示: W { u u 0 .0 5 } { u 1 .6 假设检验
第17页