数据分析方法2(2假设检验)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
su=scan("D:/booktj1/data/sugar.txt");hist(su)
Histogram of su
10
8
6
Frequency
4
2
0
490
495
500
505ຫໍສະໝຸດ Baidu
su
假设检验的例子
这次我们的假设检验问题就是
H0 : 500 H1 : 500
检验统计量为(为什么用这个?)
t x 0 1.234
注意:零假设和备选假设在我们涉及的假设 检验中并不对称。检验统计量的分布是从零 假设导出的, 因此, 如果有矛盾, 当然就不利 于零假设了。
不发生矛盾也不说明备选假有问题。
假设检验的过程和逻辑
检验统计量在零假设下,这个样本的数据
实现值的概率称为p-值(p-value)。显然得
到很小p-值意味着小概率事件发生了。如果
如果如果采用p-值作为新的显著性水平,即
a=0.001,于是可以说,我们拒绝零假设,显
著性水平为0.001。拒绝零假设时犯错误的概
率实际只是千分之一而不是百分之五。在这
个意义上,p-值又称为观测的显著性水平(
observed significant level)。在统计软件输出
p- 值 的 位 置 , 有 的 用 “ p-value” , 有 的 用
significant的缩写“Sig”就是这个道理。
假设检验的过程和逻辑
关于“临界值”的注:作为概率的显著
性水平a实际上相应于一个检验统计量取值范
围的一个临界值(critical value),
它定义为,统计量取该值或更极端的值的概
率等于a。也就是说,“统计量的实现值比临
界值更极端”等价于“p-值小于a”。
根据零假设(不是备选假设!),我们
可以得到该检验统计量的分布;然后再看这
个统计量的数据实现值(realization)属不属
于小概率事件。也就是说把数据代入检验统
计量,看其值是否落入零假设下的小概率范
畴。如果的确是小概率事件,那么我们就有
可能拒绝零假设,否则我们说没有足够证据
拒绝零假设。
假设检验的过程和逻辑
第五: 根据这个实现值计算p-值; 第六: 进行判断:如果p-值小于或等于a,就拒绝
零假设,这时犯错误的概率最多为a;如果p-值
大于a,就不拒绝零假设,因为证据不足。
假设检验的过程和逻
辑
实际上,计算机软件仅仅给出p-值,而
不给出a。这有很多方便之处。比如a=0.05,
而假定我们得到的p-值等于0.001。这时我们
假设检验的过程和逻辑
到底p-值是多小才能够拒绝零假设呢?也
就是说,需要有什么是小概率的标准。这要看
具体应用的需要。但在一般的统计书和软件中
,使用最多的标准是在零假设下(或零假设正
确时)抽样所得的数据拒绝零假设的概率应小
于0.05(也可能是0.01,0.005,0.001等等)。
假设检验的过程和逻 辑
a=0.001等等),或者根据分布表反过来查临
界值(很不方便也很粗糙)。
现在计算机软件都不给出a和临界值,但
都给出p-值和统计量实现值,让用户自己决定
显著性水平是多少。
假设检验的例子
例6.1(数据:sugar.txt, sugar.sav, sugar.sas7bdat) 一个顾客买了一包标有500g重的一包红糖,觉得 份量不足,于是找到监督部门;当然他们会觉得 一包份量不够可能是随机的。于是监督部门就去 商店称了50包红糖;得到均值(平均重量)是 498.35g;这的确比500g少,但这是否能够说明厂 家生产的这批红糖平均起来不够份量呢?首先, 可以画出这些重量的直方图(图6.1)。这个直 方图看上去象是正态分布的样本。于是不妨假定 这一批袋装红糖呈正态分布。
小概率事件发生,是相信零假设,还是相信
数据呢?当然是相信数据。于是就拒绝零假
设。但事件概率小并不意味着不会发生,仅
仅发生的概率很小罢了。拒绝正确零假设的
错误常被称为第一类错误(type I error)。
假设检验的过程和逻辑
不仅有第一类错误,还有第二类错误
;那是备选零假设正确时反而说零假设正
确的错误,称为第二类错误(type II error)
这种事先规定的概率称为显著性水平
(significant level),用字母a来表示。当p-值小
于或等于a时,就拒绝零假设。所以,a是所
允许的犯第一类错误概率的最大值。当p-值
小于或等于a时,我们说这个检验是显著的 (significant)。
假设检验的过程和逻辑
归纳起来,假设检验的逻辑步骤为: 第一: 写出零假设和备选假设; 第二: 确定检验统计量; 第三: 确定显著性水平a; 第四: 根据数据计算检验统计量的实现值;
。如要“接受零假设”就必须给出第二类
错误的概率. 但对于目前面对的问题, 无法
计算它.
假设检验的过程和逻辑
零假设和备选假设哪一个正确,这是确
定性的,没有概率可言。而可能犯错误的是
人。涉及假设检验的犯错误的概率就是犯第
一类错误的概率和犯第二类错误的概率。
负责的态度是无论做出什么决策,都应该给 出犯错误的概率。
首先要提出一个原假设,比如某正态总
体的均值等于5(m=5)。这种原假设也称为
零假设(null hypothesis),记为H0 与此同时必须提出对立假设,比如总体均值
大于5(m>5)。对立假设又称为备选假设或
备择假设(alternative hypothesis)记为记为H1 或Ha
假设检验的过程和逻辑
假设检验
在假设检验中,一般要设立一个原
假设;而设立该假设的动机主要是企图
利用人们掌握的反映现实世界的数据来
找出假设和现实的矛盾,从而否定这个
假设。
假设检验
在多数统计教科书中(除了理论探讨之外
),假设检验都是以否定原假设为目标。如否定
不了,那就说明证据不足,无法否定原假设。
但这不能说明原假设正确。
假设检验的过程和逻辑
使用临界值的概念进行的检验不计算p-值。
只比较统计量的取值和临界值的大小。
假设检验的过程和逻辑
使用临界值而不是p-值来判断拒绝与否是
前计算机时代的产物。当时计算p-值不易,只
有采用临界值的概念。但从给定的a求临界值
同样也不容易,好在习惯上仅仅在教科书中
列出相应于特定分布的几个有限的a临界值(
比 如 a=0.05 , a=0.025 , a=0.01 , a=0.005 ,