SAS讲义 第二十八课Wilcoxon秩和检验
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第二十八课 Wilcoxon 秩和检验
一、 两样本的Wilcoxon 秩和检验
由Mann ,Whitney 和Wilcoxon 三人共同设计的一种检验,有时也称为Wilcoxon 秩和检验,用来决定两个独立样本是否来自相同的或相等的总体。
如果这两个独立样本来自正态分布和具有相同方差时,我们可以采用t 检验比较均值。
但当这两个条件都不能确定时,我们常替换t 检验法为Wilcoxon 秩和检验。
Wilcoxon 秩和检验是基于样本数据秩和。
先将两样本看成是单一样本(混合样本)然后由小到大排列观察值统一编秩。
如果原假设两个独立样本来自相同的总体为真,那么秩将大约均匀分布在两个样本中,即小的、中等的、大的秩值应该大约均匀被分在两个样本中。
如果备选假设两个独立样本来自不相同的总体为真,那么其中一个样本将会有更多的小秩值,这样就会得到一个较小的秩和;另一个样本将会有更多的大秩值,因此就会得到一个较大的秩和。
设两个独立样本为:第一个x 的样本容量为1n ,第二个y 样本容量为2n ,在容量为
21n n n +=的混合样本(第一个和第二个)中,x 样本的秩和为x W ,y 样本的秩和为y W ,
且有
2
)
1(21+=
+++=+n n n W W y x (28.1)
我们定义
2)
1(111+-
=n n W W x (28.2)
2
)
1(222+-
=n n W W y (28.3)
以x 样本为例,若它们在混合样本中享有最小的1n 个秩,于是2
)
1(11+=
n n W x ,也是x W 可能取的最小值;同样y W 可能取的最小值为
2
)
1(22+n n 。
那么,x W 的最大取值等于混合样本的总秩和减去y W 的最小值,即
2
)
1(2)1(22+-+n n n n ;同样,y W 的最大取值等于2)
1(2)1(11+-+n n n n 。
所以,(28.2)和(28.3)式中的1W 和2W 均为取值在0与2122112
)
1(2)1(2)1(n n n n n n n n =+-+-+的变量。
当原假设为真时,所有的i x 和i y 相当于从
同一总体中抽得的独立随机样本,i x 和i y 构成可分辨的排列情况,可看成一排n 个球随机地指定1n 个为x 球另2n 个为y 球,共有1n
n C 种可能,而且它们是等可能的。
基于这样分析,在原假设为真的条件下不难求出1W 和2W 的概率分布,显然它们的分布还是相同的,这个分布称为样本大小为1n 和2n 的Mann-Whitney-Wilcoxon 分布。
一个具有实际价值的方法是,对于每个样本中的观察数大于等于8的大样本来说,我们可以采用标准正态分布z 来近似检验。
由于1W 的中心点为2
2
1n n ,根据(28.2)式,x W 中心点μ为
2
)
1(2)1(22111121++=++=
n n n n n n n μ (28.4)
x W 的方差2σ从数学上可推导出
12
)
1(21212++=
n n n n σ
(28.5)
如果样本中存在结,将影响到公式(28.5)中的方差,按结值调整方差的公式为
)
1)((12)(12)1(21213
212
1212-++--
++=∑n n n n n n n n n n j j ττσ (28.6)
其中j τ第j 个结值的个数。
结值的存在将使原方差变小,这是一个显然正确的事实。
标准化后x W 为
)
1,0(~)
1)((12)(12)1(5
.02)
1(5
.021213
212121211N n n n n n n n n n n n n n W W z j x x -++--
++±++-
=
±-=
∑ττσ
μ
(28.7)
其中分子加0.5或减0.5是为了对离散变量进行连续性修正,对于μ-x W 大于0减0.5修正,对于μ-x W 小于0加0.5修正。
例28.1某航空公司的CEO 注意到飞离亚特兰大的飞机放弃预定座位的旅客人数在增加,
他特别有兴趣想知道,是否从亚特兰大起飞的飞机比从芝加哥起飞的飞机有更多的放弃预定座位的旅客。
获得一个从亚特兰大起飞的9次航班和从芝加哥起飞的8次航班上放弃预定座位的旅客人数样本,见表28.1中的第2列和第4列所示。
表28.1 放弃预定座位的旅客人数及统一秩值
航班 亚特兰大(x 组)
芝加哥(y 组)
次数 放弃人数
统一编秩 放弃人数 统一编秩
1 11 5.5 13 7
2 15 9 14 8
3 10 3.5 10 3.5
4 18 12 8 1
5 11 5.5 1
6 10 6 20 13 9 2
7 24 16 17 11
8 22 15 21 14
9 25
17
秩和
x W 96.5
y W
56.5
如果假定放弃预定座位旅客人数的总体是正态分布且有相等的方差,我们可以采用两样本比较的t 检验。
但航空公司的CEO 认为这两个假设条件不能满足,因此采用非参数的Wilcoxon 秩和检验。
将x 组与y 组看成是单一样本进行编秩,见表28.1中的第3列和第5列所示。
,最小值是8秩值为1,最大值是25秩值为17,有两个结值10和11,两个10平均分享秩值3和4为3.5,两个11平均分享秩值5和6为5.5。
如果两组放弃预定座位的旅客人数是相同的,那么我们期望的两组秩和x W 和y W 大约是相同的;如果两组放弃预定座位的旅客人数是不相同的,那么我们期望的两组秩和x W 和y W 也是非常不相同的。
注意到=1n 9,=2n 8,x W =96.5,y W =56.5,:0H 两组放弃预定座位旅客人数的分布是相同的。
标准正态分布z 值的计算结果为
44515.1)
189)(89(12)
2828)(8(912)189)(8(95.02)
189(95.96=-++-+--
++-++-
=
z
如果设定显著水平=α0.05,我们知道标准正态分布在0.05显著水平时,上临界值为
1.645,下临界值为-1.645,由于1.445<1.645,所以不能拒绝原假设。
在使用Wilcoxon 秩和检验时,也可以采用第二个样本的秩和y W 来计算标准正态分布z 值,但要注意公式中1n 和2n 的对换。
z 值的计算结果为
44515.1)
189)(89(12)
2828)(8(912)189)(8(95.02)
189(85.56-=-++-+--
+++++-
=
z
由于-1.445>-1.645,所以得到是相同的结果,不能拒绝原假设。
另外,要特别注意的是由于在连续型分布中随机地抽出n 个样本,几乎极少可能存在有些值相等的情况,但在社会经济中有很多离散变量,很可能存在数值相同的情况,即样本中存在着“结”。
我们处理“结”的方法采用分享平均秩,但当大量“结”存在时,将可能直接
影响x W 的方差,因此需要把(28.5)式中的方差修正为(28.6)。
但在手工计算和结值不多的情况下,常使用未修正方差来简化计算,因为与修正方差的计算结果比较只存在一些小差异,大多数情况下不影响最终的推断结果。
二、 单因子非参数方差分析的npar1way 过程
单因子非参数方差分析的npar1way 过程是分析变量的秩,并计算几个基于经验分布的函数(EDF )和通过一个单因子分类变量的响应变量确定的秩得分的统计量。
秩的得分计算分成四种:Wilcoxon 得分、中位数得分、Savage 得分和Van der Waerden 得分。
然后再由秩得分计算简单的线性秩统计量,由这个秩统计量可以检验一个变量的分布在不同组中是否具有相同的位置参数,或者在EDF 检验下,检验这个变量分布在不同组中是否分布相同。
秩得分的统计量也可以先用proc rank 过程计算秩得分,然后用proc anova 过程分析这些秩得分而得到。
1. 四种不同的秩得分计算
用以下公式定义的统计量
)(1
i n
i i R a C S ∑==
(28.8)
称为线性秩统计量。
其中i R 是第i 个观察的秩,)(i R a 是秩得分,i C 是一个指示向量(由0和1组成),它表示了第i 个观察所属的类,n 是观察的总数。
npar1way 过程的四种不同的
)(i R a 秩得分计算为:
1) Wilcoxon 得分
在Wilcoxon 得分中
)(i R a =i R
(28.9)
它对Logistic 分布的位置移动是局部最优的。
在计算两样本情况下的Wilcoxon 秩和统计量时,过程对零假设下的渐进标准正态分布的z 统计量进行一个连续的+0.5和-0.5校正。
2) Median 得分
Median 得分又称为中位数得分。
当观察的秩大于中位点时,中位数得分为1,否则为0,即
2/)1(1)(+>=n R R a i i 当
2/)1(0
)(+≤=n R R a i i 当
(28.10)
对于双指数分布,中位数得分是局部最优。
3) Van der Waerden 得分
Van der Waerden 得分简称为VW 的得分。
它是对正态分布的次序统计量的期望值的近似,即
)(i R a =))1/((F 1-+n R i
(28.11)
其中)(F 1
x -函数是标准正态的累积分布函数的反函数,这个得分对正态分布是最优的。
4) Savage 得分
Savage 得分是指数分布的次序统计量的期望值。
减去1使得得分以0为中心,既
)(i R a =1)1/(11
-+-∑=i
R i i n
(28.12)
Savage 得分在指数分布中比较尺度的不同性或在极值分布中的位置移动上是最优的。
2. npar1way 过程说明
proc npar1way 过程一般由下列语句控制:
proc npar1way data=数据集 <选项>;
class 分类变量; var 变量列表; by 变量列表 ; run ;
为了使用proc npar1way ,必须要proc 和class 语句。
其余语句是供选择的。
1) proc npar1way 语句的选项
● anova ——对原始数据执行标准方差分析。
● edf ——计算基于经验分布函数(EDF )的统计量,如Kolmogorov-Smirnov 、Cramer-Von Meses 、Kuiper 统计量。
● missing ——把class 变量的缺失值看作一个有效的分类水平。
● median ——执行一个中位数得分分析。
对于两样本产生一个中位数检验,对于更多样本产生一个Brown-Mood 检验。
● savage ——执行一个Savage 得分分析。
该检验适用于数据服从指数分布的组间比较。
● vw ——执行一个Van der Waerden 得分分析。
这是一个通过应用反正态分布累积函数得到近似的正态得分。
对于两个水平情况,这是一个标准Van der Waerden 检验。
● wilcoxon ——对数据或Wilcox on 得分进行秩分布。
对于两个水平,它与Wilcoxon 秩和检验一样;对于任何数量的水平,这是一个Kruskal-Wallis 检验。
对于两样本情况,该过程使用一个连续的校正。
2) class 语句
class 语句是必需的,它指定一个且只能一个分类变量。
该变量用来标识数据中的各个类。
Class 语句变量可以是字符型或数值型。
3) var 语句
var 语句命名要分析的响应变量或自变量。
如果省略var 语句,过程分析数据集中除class 语句指定的数据变量外的所有数值型变量。
4) by 语句
一个by 语句能够用来得到由by 变量定义的几个观察组,并用proc npar1way 过程分别进行分析。
当一个by 语句出现时,过程希望输入的数据集已按by 变量排序。
三、 实例分析
例28.1的SAS 程序如下:
data study.noshows ;
do group=1 to 2;
input n;
do i=1 to n;
input x @@;
output;
end;
end;
cards;
9
11 15 10 18 11 20 24 22 25
8
13 14 10 8 16 9 17 21
;
proc npar1way data=study.noshows wilcoxon;
class group;
var x;
run;
程序说明:建立输入数据集noshows,数据的输入和成组t检验相同,先输入本组数据的总数,然后输入组中每个数据。
分组变量为group,共有两组取值为1和2。
输入变量为x,存放每组中的数据。
过程步调用npar1way 过程,后面用选择项wilcoxon要求进行wilcoxon 秩和检验。
要注意,如果两组样本是配对样本,应该使用配对t检验或wilcoxon符号检验,因为使用wilcoxon秩和方法,将损失配对信息。
class语句后给出分组变量名group,var语句后给出要分析的变量x。
主要结果见表28.2所示。
表28.2 用npar1way过程进行Wilcoxon秩和检验的输出结果
N P A R 1 W A Y P R O C E D U R E
Wilcoxon Scores (Rank Sums) for Variable X
Classified by Variable GROUP
Sum of Expected Std Dev Mean
GROUP N Scores Under H0 Under H0 Score
1 9 96.5000000 81.0 10.3795614 10.7222222
2 8 56.5000000 72.0 10.3795614 7.0625000
Average Scores Were Used for Ties
Wilcoxon 2-Sample Test (Normal Approximation)
(with Continuity Correction of .5)
S = 56.5000 Z = -1.44515 Prob > |Z| = 0.1484
结果说明:组1和组2的秩和(Sum of Scores)分别为96.50和56.50。
原假设(组1和组2的总体分布相同)为真时,期望秩值(Expected)分别为(96.50+56.50)×9/(9+8)=81.0和(96.50+56.50)×8/(9+8)=72.0,标准差(Std Dev)按公式(28.6)计算为10.3795614。
每组平均得分(Mean Score)分别为96.50/9=10.7222222和56.50/ 8=7.0625000。
Wilcoxon两样本秩和统计量(较小的秩和)S = 56.5000,正态近似检验统计量Z =-1.44515(连续性修正因子为0.5,加在分子上),正态分布的双尾p值之和为0.1484,不能拒绝原假设。
同时还给出了近似t检验和卡方检验的结果:近似t检验的p=0.1677,近似卡方检验统计量为2.2300,自由度为1,p=0.1354。
结果都是相同的,不能拒绝原假设。