第6章 非参数检验
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
中央财经大学统计学院 2
非参数检验的特点
(1)非参数检验不需要严格假设条件,因 而比参数检验有更广泛的适用面。 (2)非参数检验几乎可以处理包括定类数 据和定序数据在内的所有类型的数据,而 参数检验通常只能用于定量数据的分析。 (3)在参数检验和非参数检验都可以使用 的情况下,非参数检验的功效(power)要 低于参数检验方法。
中央财经大学统计学院 4
常用的非参数检验方法
用于单个样本的c2拟合优度检验、K-S拟合 优度检验、中位数的符号检验 用于两个匹配样本的Wilcoxon符号秩检验 用于两个独立样本的Wlicoxon秩和检验 用于多个独立样本的Kruskal-Wallis检验。
中央财经大学统计学院
5
6.2单样本的非参数检验方法
中央财经大学统计学院 20
软件操作
在SPSS软件中打开数据文件,选择“分析”“非参数检 验”“1样本K-S”,在弹出的对话框中将“时间”设定为 检验变量;检验分布为默认的“常规”(正态分布)。单
击 “确定”
中央财经大学统计学院
21
结果分析
时间 100 27.191 8.3728 .096 .096 -.039 .960 .315
中央财经大学统计学院
34
匹配样本的非参数检验
如果t检验的假设条件不满足,t检验就不适 用了。符号检验和Wilcoxon符号秩检验都 可以用做替代的检验方法。 用样本数据中对应的数值相减得到新的序 列: 零假设:差值总体的中位数=0; 备择假设:差值总体的中位数≠0。
中央财经大学统计学院 35
Xi Ri
15 7
9 5
百度文库
18 9
3 1
17 8
8 4
5 2
13 6
7 3
19 10
下面一行Ri就是上面一行数据Xi的秩。
中央财经大学统计学院
38
秩(rank)的计算
数据中有相同的数值,称为结。结中数字 的秩为它们所占位置的平均值 15 7 9 5 17
8.5
Xi Ri
3 1
17
8.5
8 4
5 2
中央财经大学统计学院
29
软件操作(2)
选择“分析”“非参数检验”“2个相关样 本”,在弹出的对话框中将“Median”和“家庭月 收入”设定检验的一对变量;选中“符号检验”, 取消选择“Wilcoxon”,单击 “确定”
中央财经大学统计学院
30
结果(1)
N
家庭月收入 负差分a - Median 正差分b
中央财经大学统计学院
10
软件操作:方法设定
选择“分析”“非参数检验”“卡方”,在弹出的对 话框中将“材料”设定为检验变量;单击对话框中的“精 确…”,选中弹出对话框中的“精确”,单击“继续”、 “确定”
中央财经大学统计学院
11
软件操作:结果分析(1)
1.00 2.00 3.00 总数
观察数 期望数 残差 55 40.0 15.0 25 40.0 -15.0 40 40.0 .0 120
27
检验统计量
S=
min(S , S )
在原假设成立的条件下,检验统计量S服从 二项分布。 按照这个概率可以根据二项分布计算得到, 从而得出检验的结论。 当正号和负号个数之和大于25时,可以按 照正态分布进行近似计算。
中央财经大学统计学院 28
软件操作(1)
在SPSS中打开数据文件。为了对中位数进行检验,先在 SPSS中生成一个新的变量Median,取值为6000:单击 “转换”“计算变量”,在弹出的对话框中按照图6-3 进行设置,单击确定。
H 0 : M e 6000 H 1 : M e 6000
中央财经大学统计学院 26
符号检验的基本思想
每个数据都减去零假设中的中位数,记录 其差值的符号。计算正、负符号的个数 (差值为0的不计算在任何一个中),当原 假设为真时二者应该很接近;若两者相差 太远,就有理由拒绝原假设。
中央财经大学统计学院
中央财经大学统计学院 12
软件操作:结果分析(2)
材料 卡方 df 渐近显著性 精确显著性 点概率
中央财经大学统计学院 13
11.250 2 .004 .003 .000
结果分析(3)
结论:计算出的c2统计量的值为11.250,自 由度为2,相应的p值(渐近显著性)为 0.004,小于a=0.05。所以检验的结论是拒 绝总体中消费者对3种材料的偏好程度无差 异的零假设。
中央财经大学统计学院 15
单样本K-S检验
单样本K-S检验是以两位苏联数学家 Kolmogorov和Smirnov命名的。K-S检验通 过对两个分布差异的分析确定能否认为样 本的观察值来自所设定的理论分布总体。
中央财经大学统计学院
16
基本原理和检验统计量
定义 D Fn ( x) F ( x) ,显然若对每 一个x值来说,如果经验分布函数与特定分 布函数的拟合程度很高,则有理由认为样 本数据来自具有该理论分布的总体。 检验统计量: Dmax max Fn ( x) F ( x) 根据检验统计量的精确分布或渐进分布, 我们可以计算出假设检验的p值,从而得出 检验的结论。
c2拟合优度检验 K-S拟合优度检验 中位数的符号检验
中央财经大学统计学院
6
c2拟合优度检验
【例6.1】一种饮料的容器材料可以选择玻 璃、塑料或者金属。为了比较消费者对包 装材料的偏好,抽样调查了120名消费者发 现,最喜欢玻璃、塑料和金属容器的分别 有55、25和40人。根据调查结果,能否认 为消费者对3种材料的偏好程度是无差异的 (显著性水平a=0.05)?
N 正态参数a,,b 均值 标准差 最极端差别 绝对值 正 负 Kolmogorov-Smirnov Z 渐近显著性(双侧)
中央财经大学统计学院
22
检验结论
相应的p值(渐近显著性)为0.315。由于 0.315大于0.05,所以在5%的显著性水平下 不能拒绝原假设,也就是说根据样本数据 不能认为总体分布是非正态的。 注意这里并不能得出总体服从正态分布的 严格结论。总体服从正态分布的结论可能 犯第二类错误(取伪错误),这个概率是 未知的,在有些情况下可能会很大。
结c 总数
中央财经大学统计学院
37 22
1 60
31
结果(2)
家庭月收入 - Median Z -1.823 渐近显著性(双侧) .068
用正态分布进行近似计算时,Z统计量的值 为-1.823,双侧检验的p值为0.068。由于p 值大于0.05,检验的结论是不能拒绝原假设。
中央财经大学统计学院 32
中央财经大学统计学院
14
特别说明
大样本、每个单元中的期望频数大于等于5 时可以使用c2分布。 小样本时应该按照精确方法计算得到的p值 得出结论。 c2检验也可以按照同样的思想对正态分布或 者任何想象的其他分布进行检验,但主要 用于对定性变量的检验。另外, c2检验也 可以用于对两个总体分布的比较。
中央财经大学统计学院 8
检验统计量
(Oi Ei ) c Ei i 1
2 k
2
k是样本分类的个数,表示实际观察到的频数,表 示理论频数。观察频数与期望频数越接近,则c2 值越小。根据皮尔逊定理,当n充分大时, c2统 计量渐近服从于k-1个自由度的c2分布。
中央财经大学统计学院 9
软件操作:数据录入
中央财经大学统计学院 17
SPSS K-S检验中检验统计量的计算
检验统计量
中央财经大学统计学院
18
SPSS K-S检验中p值的计算
(1) (2) 其中
(3) 其中 (4)
中央财经大学统计学院
19
【例6.2】
例4.1中有100名儿童每周看电视时间的数 据(数据文件:电视时间.sav)。检验能否 认为总体中儿童每周看电视的时间服从正 态分布(显著性水平a=0.05)。 这里K-S检验的零假设和备择假设为: H0:总体中儿童每周看电视的时间服从正 态分布。 H1:总体中儿童每周看电视的时间不服从 正态分布。
中央财经大学统计学院 3
以下情况下应当首选非参数方法
(1)参数检验中的假设条件不满足,从而 无法应用。例如总体分布为偏态或分布形 式未知,且样本为小样本时。 (2)检验中涉及的数据为定类或定序数据。 (3)所涉及的问题中并不包含参数,如判 断某样本是否为随机样本,判断某样本是 否来自正态分布等。 (4)对各种资料的初步分析。
特别说明
如果样本量较小,则需要使用软件输出的 精确检验的p值进行推断 在小样本时,如果要求进行精确检验, SPSS会自动按照二项分布进行概率计算。
中央财经大学统计学院
33
6.3 两个样本和多个样本的 非参数检验
两个匹配样本的Wilcoxon符号秩检验 两个独立样本的Wlicoxon秩和检验 多个独立样本的Kruskal-Wallis检验
中央财经大学统计学院
7
c2拟合优度检验的基本原理
如果消费者对3种材料的偏好程度是无差异的,也 就是说消费者对材料的偏好服从均匀分布,则理 论上来说,调查120名消费者,偏好每种材料的 人数应该是相等的,也就是40人。各组观测到的 人数与理论人数(期望值)之间的差异应该都是 由于抽样的随机性造成的,因此不应该太大。如 果二者之间的差异特别大,则说明我们所作的假 设(消费者对3种材料的偏好程度是无差异的)很 可能不成立。
第6章 非参数检验
6.1 非参数检验概述 6.2 单样本非参数检验 6.3 两个和多个样本的非参数检 验
中央财经大学统计学院
6.1 非参数检验概述
非参数检验(nonparametric tests)也称为 与总体分布无关的检验( distribution free tests) 与参数检验相比,在非参数检验中不需要 对总体分布的具体形式作出严格假设,或 者只需要很弱的假设。 大部分非参数检验都是针对总体的分布进 行的检验,但也可以对总体的某些参数进 行检验。
中央财经大学统计学院 41
【例6.4】
从实施适时管理(JIT)的企业中随机抽取 10家进行效益分析,得到它们在实施JIT前 后三年的平均资产报酬率如表6-6(数据文 件: JIT管理.sav)。在5%的显著性水平 下企业在实施JIT前后的资产报酬率是否有 显著差异?
中央财经大学统计学院 23
特别说明
在K-S检验中如果使用的是小样本,则根据 渐进分布计算p值的误差会增大。这时应该 通过相应的设定要求软件输出精确检验的p 值,根据精确检验的p值得出检验结论。 K-S检验也可以用于对两个总体分布是否一 致的检验。
中央财经大学统计学院
24
单样本中位数的符号检验
13 6
7 3
19 10
89 8 .5 2
中央财经大学统计学院 39
Wilcoxon符号秩检验:基本原理
分别计算出差值序列中正数的秩和以及负 数的秩和。 显然,如果零假设成立,W+与W-应该比较 接近。如果二者过大或过小,则说明零假 设不成立。 将正数的秩和或者负数的秩作为检验统计 量,根据其统计分布计算p值,从而可以得 出检验的结论。
中央财经大学统计学院 40
特别说明
符号检验在匹配数据分析应用中只用到差 值的符号,而对差值数值的大小未能考虑, 因而失去了部分信息。Wilcoxon符号秩检 验既考虑差值的符号,又考虑差值的大小, 因此在所需的假设条件满足时其功效比符 号检验高。 Wilcoxon符号秩检验也可以用于单样本中 位数的非参数检验,这时只需要将第二个 样本的值设为零假设中的数值即可。
在数据呈偏态分布的情况下,我们可能对 总体的中位数更感兴趣,希望对总体的中 位数作出推断,这时可以使用符号检验 (sign test)的方法。 在非正态总体小样本的情况下,如果要对 总体分布的位置进行推断,由于t检验不适 用,也可使用符号检验的方法。
中央财经大学统计学院
25
【例6.3】
在某地区随机调查了60个家庭的月收入 (数据文件:家庭月收入.sav)。根据样本 数据能否认为总体中家庭月收入的中位数 等于6000元(显著性水平a=0.05)?
符号检验
对于差值序列中正数的个数和负数的个数 按照符号检验的方法进行假设检验
中央财经大学统计学院
36
Wilcoxon符号秩检验:基本原理
计算差值绝对值的秩 。 将差值绝对值从小到大排序,其位次就是 的秩(rank),等于0值不参与排序。
中央财经大学统计学院
37
秩(rank)
秩就是该数据按照升序排列之后,每个观 测值的位置。
非参数检验的特点
(1)非参数检验不需要严格假设条件,因 而比参数检验有更广泛的适用面。 (2)非参数检验几乎可以处理包括定类数 据和定序数据在内的所有类型的数据,而 参数检验通常只能用于定量数据的分析。 (3)在参数检验和非参数检验都可以使用 的情况下,非参数检验的功效(power)要 低于参数检验方法。
中央财经大学统计学院 4
常用的非参数检验方法
用于单个样本的c2拟合优度检验、K-S拟合 优度检验、中位数的符号检验 用于两个匹配样本的Wilcoxon符号秩检验 用于两个独立样本的Wlicoxon秩和检验 用于多个独立样本的Kruskal-Wallis检验。
中央财经大学统计学院
5
6.2单样本的非参数检验方法
中央财经大学统计学院 20
软件操作
在SPSS软件中打开数据文件,选择“分析”“非参数检 验”“1样本K-S”,在弹出的对话框中将“时间”设定为 检验变量;检验分布为默认的“常规”(正态分布)。单
击 “确定”
中央财经大学统计学院
21
结果分析
时间 100 27.191 8.3728 .096 .096 -.039 .960 .315
中央财经大学统计学院
34
匹配样本的非参数检验
如果t检验的假设条件不满足,t检验就不适 用了。符号检验和Wilcoxon符号秩检验都 可以用做替代的检验方法。 用样本数据中对应的数值相减得到新的序 列: 零假设:差值总体的中位数=0; 备择假设:差值总体的中位数≠0。
中央财经大学统计学院 35
Xi Ri
15 7
9 5
百度文库
18 9
3 1
17 8
8 4
5 2
13 6
7 3
19 10
下面一行Ri就是上面一行数据Xi的秩。
中央财经大学统计学院
38
秩(rank)的计算
数据中有相同的数值,称为结。结中数字 的秩为它们所占位置的平均值 15 7 9 5 17
8.5
Xi Ri
3 1
17
8.5
8 4
5 2
中央财经大学统计学院
29
软件操作(2)
选择“分析”“非参数检验”“2个相关样 本”,在弹出的对话框中将“Median”和“家庭月 收入”设定检验的一对变量;选中“符号检验”, 取消选择“Wilcoxon”,单击 “确定”
中央财经大学统计学院
30
结果(1)
N
家庭月收入 负差分a - Median 正差分b
中央财经大学统计学院
10
软件操作:方法设定
选择“分析”“非参数检验”“卡方”,在弹出的对 话框中将“材料”设定为检验变量;单击对话框中的“精 确…”,选中弹出对话框中的“精确”,单击“继续”、 “确定”
中央财经大学统计学院
11
软件操作:结果分析(1)
1.00 2.00 3.00 总数
观察数 期望数 残差 55 40.0 15.0 25 40.0 -15.0 40 40.0 .0 120
27
检验统计量
S=
min(S , S )
在原假设成立的条件下,检验统计量S服从 二项分布。 按照这个概率可以根据二项分布计算得到, 从而得出检验的结论。 当正号和负号个数之和大于25时,可以按 照正态分布进行近似计算。
中央财经大学统计学院 28
软件操作(1)
在SPSS中打开数据文件。为了对中位数进行检验,先在 SPSS中生成一个新的变量Median,取值为6000:单击 “转换”“计算变量”,在弹出的对话框中按照图6-3 进行设置,单击确定。
H 0 : M e 6000 H 1 : M e 6000
中央财经大学统计学院 26
符号检验的基本思想
每个数据都减去零假设中的中位数,记录 其差值的符号。计算正、负符号的个数 (差值为0的不计算在任何一个中),当原 假设为真时二者应该很接近;若两者相差 太远,就有理由拒绝原假设。
中央财经大学统计学院
中央财经大学统计学院 12
软件操作:结果分析(2)
材料 卡方 df 渐近显著性 精确显著性 点概率
中央财经大学统计学院 13
11.250 2 .004 .003 .000
结果分析(3)
结论:计算出的c2统计量的值为11.250,自 由度为2,相应的p值(渐近显著性)为 0.004,小于a=0.05。所以检验的结论是拒 绝总体中消费者对3种材料的偏好程度无差 异的零假设。
中央财经大学统计学院 15
单样本K-S检验
单样本K-S检验是以两位苏联数学家 Kolmogorov和Smirnov命名的。K-S检验通 过对两个分布差异的分析确定能否认为样 本的观察值来自所设定的理论分布总体。
中央财经大学统计学院
16
基本原理和检验统计量
定义 D Fn ( x) F ( x) ,显然若对每 一个x值来说,如果经验分布函数与特定分 布函数的拟合程度很高,则有理由认为样 本数据来自具有该理论分布的总体。 检验统计量: Dmax max Fn ( x) F ( x) 根据检验统计量的精确分布或渐进分布, 我们可以计算出假设检验的p值,从而得出 检验的结论。
c2拟合优度检验 K-S拟合优度检验 中位数的符号检验
中央财经大学统计学院
6
c2拟合优度检验
【例6.1】一种饮料的容器材料可以选择玻 璃、塑料或者金属。为了比较消费者对包 装材料的偏好,抽样调查了120名消费者发 现,最喜欢玻璃、塑料和金属容器的分别 有55、25和40人。根据调查结果,能否认 为消费者对3种材料的偏好程度是无差异的 (显著性水平a=0.05)?
N 正态参数a,,b 均值 标准差 最极端差别 绝对值 正 负 Kolmogorov-Smirnov Z 渐近显著性(双侧)
中央财经大学统计学院
22
检验结论
相应的p值(渐近显著性)为0.315。由于 0.315大于0.05,所以在5%的显著性水平下 不能拒绝原假设,也就是说根据样本数据 不能认为总体分布是非正态的。 注意这里并不能得出总体服从正态分布的 严格结论。总体服从正态分布的结论可能 犯第二类错误(取伪错误),这个概率是 未知的,在有些情况下可能会很大。
结c 总数
中央财经大学统计学院
37 22
1 60
31
结果(2)
家庭月收入 - Median Z -1.823 渐近显著性(双侧) .068
用正态分布进行近似计算时,Z统计量的值 为-1.823,双侧检验的p值为0.068。由于p 值大于0.05,检验的结论是不能拒绝原假设。
中央财经大学统计学院 32
中央财经大学统计学院
14
特别说明
大样本、每个单元中的期望频数大于等于5 时可以使用c2分布。 小样本时应该按照精确方法计算得到的p值 得出结论。 c2检验也可以按照同样的思想对正态分布或 者任何想象的其他分布进行检验,但主要 用于对定性变量的检验。另外, c2检验也 可以用于对两个总体分布的比较。
中央财经大学统计学院 8
检验统计量
(Oi Ei ) c Ei i 1
2 k
2
k是样本分类的个数,表示实际观察到的频数,表 示理论频数。观察频数与期望频数越接近,则c2 值越小。根据皮尔逊定理,当n充分大时, c2统 计量渐近服从于k-1个自由度的c2分布。
中央财经大学统计学院 9
软件操作:数据录入
中央财经大学统计学院 17
SPSS K-S检验中检验统计量的计算
检验统计量
中央财经大学统计学院
18
SPSS K-S检验中p值的计算
(1) (2) 其中
(3) 其中 (4)
中央财经大学统计学院
19
【例6.2】
例4.1中有100名儿童每周看电视时间的数 据(数据文件:电视时间.sav)。检验能否 认为总体中儿童每周看电视的时间服从正 态分布(显著性水平a=0.05)。 这里K-S检验的零假设和备择假设为: H0:总体中儿童每周看电视的时间服从正 态分布。 H1:总体中儿童每周看电视的时间不服从 正态分布。
中央财经大学统计学院 3
以下情况下应当首选非参数方法
(1)参数检验中的假设条件不满足,从而 无法应用。例如总体分布为偏态或分布形 式未知,且样本为小样本时。 (2)检验中涉及的数据为定类或定序数据。 (3)所涉及的问题中并不包含参数,如判 断某样本是否为随机样本,判断某样本是 否来自正态分布等。 (4)对各种资料的初步分析。
特别说明
如果样本量较小,则需要使用软件输出的 精确检验的p值进行推断 在小样本时,如果要求进行精确检验, SPSS会自动按照二项分布进行概率计算。
中央财经大学统计学院
33
6.3 两个样本和多个样本的 非参数检验
两个匹配样本的Wilcoxon符号秩检验 两个独立样本的Wlicoxon秩和检验 多个独立样本的Kruskal-Wallis检验
中央财经大学统计学院
7
c2拟合优度检验的基本原理
如果消费者对3种材料的偏好程度是无差异的,也 就是说消费者对材料的偏好服从均匀分布,则理 论上来说,调查120名消费者,偏好每种材料的 人数应该是相等的,也就是40人。各组观测到的 人数与理论人数(期望值)之间的差异应该都是 由于抽样的随机性造成的,因此不应该太大。如 果二者之间的差异特别大,则说明我们所作的假 设(消费者对3种材料的偏好程度是无差异的)很 可能不成立。
第6章 非参数检验
6.1 非参数检验概述 6.2 单样本非参数检验 6.3 两个和多个样本的非参数检 验
中央财经大学统计学院
6.1 非参数检验概述
非参数检验(nonparametric tests)也称为 与总体分布无关的检验( distribution free tests) 与参数检验相比,在非参数检验中不需要 对总体分布的具体形式作出严格假设,或 者只需要很弱的假设。 大部分非参数检验都是针对总体的分布进 行的检验,但也可以对总体的某些参数进 行检验。
中央财经大学统计学院 41
【例6.4】
从实施适时管理(JIT)的企业中随机抽取 10家进行效益分析,得到它们在实施JIT前 后三年的平均资产报酬率如表6-6(数据文 件: JIT管理.sav)。在5%的显著性水平 下企业在实施JIT前后的资产报酬率是否有 显著差异?
中央财经大学统计学院 23
特别说明
在K-S检验中如果使用的是小样本,则根据 渐进分布计算p值的误差会增大。这时应该 通过相应的设定要求软件输出精确检验的p 值,根据精确检验的p值得出检验结论。 K-S检验也可以用于对两个总体分布是否一 致的检验。
中央财经大学统计学院
24
单样本中位数的符号检验
13 6
7 3
19 10
89 8 .5 2
中央财经大学统计学院 39
Wilcoxon符号秩检验:基本原理
分别计算出差值序列中正数的秩和以及负 数的秩和。 显然,如果零假设成立,W+与W-应该比较 接近。如果二者过大或过小,则说明零假 设不成立。 将正数的秩和或者负数的秩作为检验统计 量,根据其统计分布计算p值,从而可以得 出检验的结论。
中央财经大学统计学院 40
特别说明
符号检验在匹配数据分析应用中只用到差 值的符号,而对差值数值的大小未能考虑, 因而失去了部分信息。Wilcoxon符号秩检 验既考虑差值的符号,又考虑差值的大小, 因此在所需的假设条件满足时其功效比符 号检验高。 Wilcoxon符号秩检验也可以用于单样本中 位数的非参数检验,这时只需要将第二个 样本的值设为零假设中的数值即可。
在数据呈偏态分布的情况下,我们可能对 总体的中位数更感兴趣,希望对总体的中 位数作出推断,这时可以使用符号检验 (sign test)的方法。 在非正态总体小样本的情况下,如果要对 总体分布的位置进行推断,由于t检验不适 用,也可使用符号检验的方法。
中央财经大学统计学院
25
【例6.3】
在某地区随机调查了60个家庭的月收入 (数据文件:家庭月收入.sav)。根据样本 数据能否认为总体中家庭月收入的中位数 等于6000元(显著性水平a=0.05)?
符号检验
对于差值序列中正数的个数和负数的个数 按照符号检验的方法进行假设检验
中央财经大学统计学院
36
Wilcoxon符号秩检验:基本原理
计算差值绝对值的秩 。 将差值绝对值从小到大排序,其位次就是 的秩(rank),等于0值不参与排序。
中央财经大学统计学院
37
秩(rank)
秩就是该数据按照升序排列之后,每个观 测值的位置。