非参数秩方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.两种处理方法比较的随机化模型及观测值的秩 设某问题涉及到两种不同的处理方法（如两种治疗某疾 病的方法、两种加工某产品的方法等），为了比较这两种方 法的优劣，假设有N个可供试验的个体，在这N个个体中随机 选择n个个体接受一种处理方法的试验，其余m=N-n个接受另 一种处理方法的试验。
由于选取是随即的，即所有选择都是等可能的，因而每种分 n 配概率均为1/ ，我们的目的是基于各种方法对各个个体 N 的处理效果检验两种方法的处理效果有无显著差异，即检验 零假设：
例2.2 为了解一种新的数学教学方法的效果是否比原方法有
所提高，从成绩相近的10名学生随机抽取5名接受新方法， 另5名接受原方法。经过一段时间后有专家对这10名学生的 数学能力予以综合评估，按数学能力由弱到强排序结果如下：
对α=0.05，检验新方法是否比原方法显著地提高了数学效
果；若改为如下排序结果，情况又如何？
解：根据题意，我们事先并不知道哪一种添加剂更能延长电
池的寿命，因此这属于一个双边假设检验问题。对于甲组， 其电池寿命的秩和为： wA=1+4+5+6+8+11=35 通过软件计算可得：
PH0 (WA 35) 0.1830
双边检验p值为：
p=2*0.1830=0.3660>α=0.10
故接受H0，即认为两种添加剂下电池的寿命无明显差异。
PH0 (WA c1 ) PH0 (WA c2 )
通常对两种方法谁优谁劣不得而知时取：
PH0 (WA c1 ) PH0 (WA c2 ) / 2
由之前的例子可以看出WA 的零分布关于n(N+1)/2对称，
即对c>0有：
PH0 [WA n( N 1) / 2 c] PH0 [WA n( N 1) / 2 c]
检验的p值更为可行，此处p值是指在H0 下，Ws取大于或等于 其观测值ws的概率，即：
p PH0 (Ws ws )
k ws
P
H0
(Ws k )
当p<α时拒绝H0 ，否则接受H0 。这样我们就可以不用求出所
有的PH0{Ws=k},而只需求出使k≥ws 的概率PH0{Ws=k},从而减 少计算量。
2 =1/10(1≤s1<s2≤5) 5
(s1,s2)的取值及相应的Ws值列于下表：
从而得到的零分布为：
假设取α=0.1，则c=9，即PH0（Ws≥9）=0.1。
若使用#{w;n,m}表示使Ws=w的所有可能取法的次数，则
PH0{Ws=w}= #{w;n,m}/ C
其中n(n+1)/2≤w≤n(2N-n+1)/2。
40
从而接受H0，即认为新方法的教学效果并不显著优于原方法。
第二种情况：
对于第二种情况，Ws的观察值为ws=4+6+7+9+10=36，而
且有：
5 p PH0 (Ws 36) 12/ C10 0.0476
从而拒绝H0，即认为新的教学方法效果显著优于原方法。
下面介绍一种等价方法。如果数学能力由强到弱，则应
同时二者相应的零分布为：
PH0 (R1 r1, R2 r2 ...,Rm rm ) 1/ C 1/ C
n N
m N
即二者零分布相等。从而由Wr检验H0 与Ws检验H0 是等价的。 当n>m时，利用Wr作为检验统计量的计算量更小。
2.双边检验假设
在很多实际情况中，我们对于所研究的两种方法只考虑 它们的处理效果是否有显著差异，而并不区分谁优谁劣，即 不区分方向。这个时候的备择假设为： H1：两种方法有显著差异 这种检验方法称为双边假设检验。
n N
由于Ws是离散型随机变量，所以使PH0{Ws≥c}=α精确成 立的c一般是不存在的，此时选择使PH0{Ws≥c}最接近α的c 为临界值。在实际应用中，根据具体的观测结果计算Ws的观 测值ws并与c比较，若ws≥c，则拒绝H0，否则接受H0。
当n和m都比较大时，由Ws的零分布确定c并不方便，计算
由：
p PH0 (Ws c)
确定临界值，当Ws≤c或
p PH0 (Ws ws )
时拒绝H0。
令 Wr R j ，由于Wr+Ws=1+2+„+N=N(N+1)/2，则有：
j 1
m
p PH0 (Ws ws ) PH0 (Wr N ( N 1) / 2 ws )
S1<S2<„<Sn
而对照方法的m个个体的秩为：
R1<R2<„<Rm
则：
Si Rj k N ( N 1) / 2
i 1 j 1 k 1
n
m
N
例如N=5时的个体为A1 ，A2 ，A3 ，A4 ，A5 ，设A1 ，A2 ，A3 （n=3）采用新方法，而A4 ，A5 （m=2）采用对照方法，并按
于是，若选择c使得：
PH0 [ WA n( N 1) / 2 c]
则由之前推导可得：
c1 n( N 1) / 2 c, c2 n( N 1) / 2 c
如果采用p值法计算时，设WA的观察值为wA，计算概率值
为：
PH0 (WA wA )或PH0 (WA wA ) PH0 (WA wA ) 1/ 2
并且：
Ws E (Ws ) lim PH 0 [ c] (c) n , m Var(Ws )
其中φ(x)标准正态分布的分布函数。
根据上述公式,当m,n较大时有:
可以通过查标准正态分布表得到PH0(Ws≤ws)的近似值. 由于Ws+Wr=N(N+1)/2,则由上述公式可得:
E(Wr)=E[N(N+1)/2-Ws]=n(N+1)/2
处理效果从差到好排序为A3，A4，A2，A1，A5，则：
r3=1,r4=2,r2=3,r1=4,r5=5
以（S1 ，S2 ，„，Sn ）（或（R1 ，R2 ，„，Rm ））为基础 构造适当的统计量检验假设H0 ，这种方法称为两种处理方法 比较的秩检验方法。
2.（S1，S2，„，Sn）的零分布
在H0为真时，（S1，S2，„，Sn）的分布称为零分布。 在H0为真时，即两种方法的处理效果无显著差异，则处理 后个体的排序应与处理方法无关。从而从N个个体随机抽取n个
3.Wilcoxon统计量的渐进零分布
上述计算都是针对m，n较小的情况，当m，n较大时，统 计分析的计算量很大，这是可以根据Ws 的渐进零分布进行统 计检验。 通过证明可知，当H0为真时，Ws的数学期望和方差为：
E(WS ) n( N 1) / 2,Var(WS ) nm( N 1) / 12
则按新方法处理的n个个体的位置应该靠后，即具有较大的秩， 也就是说，当（S1 ，S2 ，„，Sn）的取值和（R1 ，R2，„，Rm ） 相比有偏大的趋势时，应拒绝H0。令
Ws Si
对给定的临界值c，则当
i 1
n
Ws c
时拒绝H0 ，此时认为新方法比对照方法显著有效。这种验证 方法称为Wilcoxon检验。
临界值c是由显著性水平α和Ws的零分布确定的，即：
PH0{Ws≥c}=α
当H0为真时，可知1≤Si≤N（i=1,2，„，N）。则Ws满足：
n(n+1)/2≤Ws≤n(2N-n+1)/2
于是根据Ws的零分布就可以确定上式中的临界值c。
例2.1 对N=5，n=2的情况，求出Ws的零分布。
解: 当H0为真时，1≤Si≤5（i=1,2），且 PH0{S1=s1,S2=s2}= 1/C
非参数秩方法
非参数方法是数理统计学的一个分支。一般认为在一个 统计推论问题中，若给定或者假定了总体分布的具体形式 （如正态分布），只是其中含有若干个未知参数，要基于来 自总体的样本对这些参数做出估计或者进行某种形式的假设 检验，这类推断方法称为参数方法。但是在许多实际问题中， 人们往往只能对总体的分布做出诸如连续型分布、关于点对 称等一般性的假定。这种不假定总体分布的具体形式，尽量 从数据（或样本）本身获得所需要的信息的统计方法称为非 参数方法。 非参数方法繁多，但其宗旨是尽量利用数据本身的进行 统计推断。当总体的分布形式未知时，一组数据的最基本信 息就是它们的大小次序。基于数据的大小排列次序进行统计 推断的方法称之为非参数秩方法。下面主要介绍两种及多种 处理方法的一些常用的非参数秩方法。
2.适宜定量模糊的变量和等级变量。
3.方法简便易学。 缺点：
当测量的数据能够满足参数统计的所有假设时，非参数检验方法虽然
也可以使用，但效果远不如参数检验方法。由于当数据满足假设条件时， 参数统计检验方法能够从其中广泛地充分地提取有关信息。非参数统计检
验方法对数据的限制较为宽松，只能从中提取一般的信息，相对参数统计
解：第一种情况：
对于第一种情况，Ws的观察值为ws=3+5+7+9+10=34，由
于n(2N-n+1)/2=40，则有：
p PH 0 (Ws 34) PH 0 (Ws k )
Ws≥34的部分分布情况如下：
k 4
40
于是
5 p PH 0 (Ws k ) 13 / C10 0.0516 k 4
通常非参数秩方法适用于以下几种情况：
1.未知分布型，或样本数太少(n6)而使得分布状况尚未显示出 来。
2.非参数性，只能以严重程度、优劣等级、效果大小、名次先 后以及综合判断等方式记录其符号或等级。
3.组内个别随机变量偏离过大。
非参数方法的优点与缺点：
优点： 1.不受总体分布的限制，适用范围广。
n 易知N个个体中任取n个的所有不同的取法总数为 ， N
H0：两种处理效果无显著差异
是否可被接受。
各试验个体接受各方法处理后，将这N个个体放在一起按
照处理效果排序，这些处理效果可以是直接或间接反映各处
理方法效果的数值度量，也可以是反映个体的处理效果优劣 的定性描述。若第i个个体被排在第ri的位置上，则称ri为第 i个个体的秩。我们假设两种方法分别为“新方法”、“对照 方法”，则新方法的n个个体的秩为：
2.1.2 Wilcoxon秩和检验
1.单边检验假设 在很多情况下，对照方法即使原来的标准方法，新方法 是在原方法的基础上经过改进的方法，我们实际上在实验之 前已经认为新方法的处理效果不会比对照方法差。所以我们 的备择假设为：
H1：新方法优于对照方法
这时的检验方法称为单边假设检验。
当处理后按照各个个体的处理效果排序时，若H1 为真，
其中必有一个概率小于1/2。例如：
则
p 2PH0 (WA wA )
当p< α时，拒绝H0，否则接受H0。
例2.3 为研究两种化学添加剂对电池寿命的影响，对13个同
类型的电池随机抽取6个加入甲添加剂，另7个加入乙添加剂， 各组电池寿命如下：
取α=0.10，检验两种化学添加剂对电池寿命是否有显著影 响。
Var(Wr)=Var[N(N+1)/2-Ws]=nm(N+1)/12 并且对于Wr也可得到相似结果.
例2.4 以例2.3数据为例,利用正态分布逼近求PH0{WA≤wA}.
此例中n=6,m=7,N=13,wA2 Var(WA)=nm(N+1)/12=49 有上述结论通过查表得:
此时我们将不区分两种方法为新方法与旧方法，而将这
两种方法分别记为A和B，并从N个个体中随机抽取n个采用A处 理，m=N-n个个体采用B处理，用WA和WB表示相应的秩和。当H0 为真时， WA或WB都不应明显偏大或偏小，否则就有较大的差 异。因此对于WA，其拒绝域为： WA≤c1或WA≥c2，（c1≤c2） 对于给定显著水平α和c1与c2 （c1≤c2）时应满足：
检验方法会浪费一些信息。
2.1 两种处理方法比较的秩检验
统计方法应用于解决实际问题的一个重要方面就是比较两
种（或多种）处理方法的优劣问题。秩方法是解决此类问题的
一种有效方法。下面主要介绍两种处理方法比较的Wilcoxon秩 和检验及Smirnov检验。
2.1.1 两种处理方法比较的随机化模型及秩的零分布
n n 采用新方法，共有 种可能，且每一种的概率都为1/ 。 N N
于是在H0为真时，（S1，S2，„，Sn）的零分布为：
n PH0（S1=s1，S2=s2，„，Sn=sn）=1/ N
其中1≤s1＜s2＜„＜sn≤N,而PH0表示当H0为真时的概率。
由于选取是随即的，即所有选择都是等可能的，因而每种分 n 配概率均为1/ ，我们的目的是基于各种方法对各个个体 N 的处理效果检验两种方法的处理效果有无显著差异，即检验 零假设：
例2.2 为了解一种新的数学教学方法的效果是否比原方法有
所提高，从成绩相近的10名学生随机抽取5名接受新方法， 另5名接受原方法。经过一段时间后有专家对这10名学生的 数学能力予以综合评估，按数学能力由弱到强排序结果如下：
对α=0.05，检验新方法是否比原方法显著地提高了数学效
果；若改为如下排序结果，情况又如何？
解：根据题意，我们事先并不知道哪一种添加剂更能延长电
池的寿命，因此这属于一个双边假设检验问题。对于甲组， 其电池寿命的秩和为： wA=1+4+5+6+8+11=35 通过软件计算可得：
PH0 (WA 35) 0.1830
双边检验p值为：
p=2*0.1830=0.3660>α=0.10
故接受H0，即认为两种添加剂下电池的寿命无明显差异。
PH0 (WA c1 ) PH0 (WA c2 )
通常对两种方法谁优谁劣不得而知时取：
PH0 (WA c1 ) PH0 (WA c2 ) / 2
由之前的例子可以看出WA 的零分布关于n(N+1)/2对称，
即对c>0有：
PH0 [WA n( N 1) / 2 c] PH0 [WA n( N 1) / 2 c]
检验的p值更为可行，此处p值是指在H0 下，Ws取大于或等于 其观测值ws的概率，即：
p PH0 (Ws ws )
k ws
P
H0
(Ws k )
当p<α时拒绝H0 ，否则接受H0 。这样我们就可以不用求出所
有的PH0{Ws=k},而只需求出使k≥ws 的概率PH0{Ws=k},从而减 少计算量。
2 =1/10(1≤s1<s2≤5) 5
(s1,s2)的取值及相应的Ws值列于下表：
从而得到的零分布为：
假设取α=0.1，则c=9，即PH0（Ws≥9）=0.1。
若使用#{w;n,m}表示使Ws=w的所有可能取法的次数，则
PH0{Ws=w}= #{w;n,m}/ C
其中n(n+1)/2≤w≤n(2N-n+1)/2。
40
从而接受H0，即认为新方法的教学效果并不显著优于原方法。
第二种情况：
对于第二种情况，Ws的观察值为ws=4+6+7+9+10=36，而
且有：
5 p PH0 (Ws 36) 12/ C10 0.0476
从而拒绝H0，即认为新的教学方法效果显著优于原方法。
下面介绍一种等价方法。如果数学能力由强到弱，则应
同时二者相应的零分布为：
PH0 (R1 r1, R2 r2 ...,Rm rm ) 1/ C 1/ C
n N
m N
即二者零分布相等。从而由Wr检验H0 与Ws检验H0 是等价的。 当n>m时，利用Wr作为检验统计量的计算量更小。
2.双边检验假设
在很多实际情况中，我们对于所研究的两种方法只考虑 它们的处理效果是否有显著差异，而并不区分谁优谁劣，即 不区分方向。这个时候的备择假设为： H1：两种方法有显著差异 这种检验方法称为双边假设检验。
n N
由于Ws是离散型随机变量，所以使PH0{Ws≥c}=α精确成 立的c一般是不存在的，此时选择使PH0{Ws≥c}最接近α的c 为临界值。在实际应用中，根据具体的观测结果计算Ws的观 测值ws并与c比较，若ws≥c，则拒绝H0，否则接受H0。
当n和m都比较大时，由Ws的零分布确定c并不方便，计算
由：
p PH0 (Ws c)
确定临界值，当Ws≤c或
p PH0 (Ws ws )
时拒绝H0。
令 Wr R j ，由于Wr+Ws=1+2+„+N=N(N+1)/2，则有：
j 1
m
p PH0 (Ws ws ) PH0 (Wr N ( N 1) / 2 ws )
S1<S2<„<Sn
而对照方法的m个个体的秩为：
R1<R2<„<Rm
则：
Si Rj k N ( N 1) / 2
i 1 j 1 k 1
n
m
N
例如N=5时的个体为A1 ，A2 ，A3 ，A4 ，A5 ，设A1 ，A2 ，A3 （n=3）采用新方法，而A4 ，A5 （m=2）采用对照方法，并按
于是，若选择c使得：
PH0 [ WA n( N 1) / 2 c]
则由之前推导可得：
c1 n( N 1) / 2 c, c2 n( N 1) / 2 c
如果采用p值法计算时，设WA的观察值为wA，计算概率值
为：
PH0 (WA wA )或PH0 (WA wA ) PH0 (WA wA ) 1/ 2
并且：
Ws E (Ws ) lim PH 0 [ c] (c) n , m Var(Ws )
其中φ(x)标准正态分布的分布函数。
根据上述公式,当m,n较大时有:
可以通过查标准正态分布表得到PH0(Ws≤ws)的近似值. 由于Ws+Wr=N(N+1)/2,则由上述公式可得:
E(Wr)=E[N(N+1)/2-Ws]=n(N+1)/2
处理效果从差到好排序为A3，A4，A2，A1，A5，则：
r3=1,r4=2,r2=3,r1=4,r5=5
以（S1 ，S2 ，„，Sn ）（或（R1 ，R2 ，„，Rm ））为基础 构造适当的统计量检验假设H0 ，这种方法称为两种处理方法 比较的秩检验方法。
2.（S1，S2，„，Sn）的零分布
在H0为真时，（S1，S2，„，Sn）的分布称为零分布。 在H0为真时，即两种方法的处理效果无显著差异，则处理 后个体的排序应与处理方法无关。从而从N个个体随机抽取n个
3.Wilcoxon统计量的渐进零分布
上述计算都是针对m，n较小的情况，当m，n较大时，统 计分析的计算量很大，这是可以根据Ws 的渐进零分布进行统 计检验。 通过证明可知，当H0为真时，Ws的数学期望和方差为：
E(WS ) n( N 1) / 2,Var(WS ) nm( N 1) / 12
则按新方法处理的n个个体的位置应该靠后，即具有较大的秩， 也就是说，当（S1 ，S2 ，„，Sn）的取值和（R1 ，R2，„，Rm ） 相比有偏大的趋势时，应拒绝H0。令
Ws Si
对给定的临界值c，则当
i 1
n
Ws c
时拒绝H0 ，此时认为新方法比对照方法显著有效。这种验证 方法称为Wilcoxon检验。
临界值c是由显著性水平α和Ws的零分布确定的，即：
PH0{Ws≥c}=α
当H0为真时，可知1≤Si≤N（i=1,2，„，N）。则Ws满足：
n(n+1)/2≤Ws≤n(2N-n+1)/2
于是根据Ws的零分布就可以确定上式中的临界值c。
例2.1 对N=5，n=2的情况，求出Ws的零分布。
解: 当H0为真时，1≤Si≤5（i=1,2），且 PH0{S1=s1,S2=s2}= 1/C
非参数秩方法
非参数方法是数理统计学的一个分支。一般认为在一个 统计推论问题中，若给定或者假定了总体分布的具体形式 （如正态分布），只是其中含有若干个未知参数，要基于来 自总体的样本对这些参数做出估计或者进行某种形式的假设 检验，这类推断方法称为参数方法。但是在许多实际问题中， 人们往往只能对总体的分布做出诸如连续型分布、关于点对 称等一般性的假定。这种不假定总体分布的具体形式，尽量 从数据（或样本）本身获得所需要的信息的统计方法称为非 参数方法。 非参数方法繁多，但其宗旨是尽量利用数据本身的进行 统计推断。当总体的分布形式未知时，一组数据的最基本信 息就是它们的大小次序。基于数据的大小排列次序进行统计 推断的方法称之为非参数秩方法。下面主要介绍两种及多种 处理方法的一些常用的非参数秩方法。
2.适宜定量模糊的变量和等级变量。
3.方法简便易学。 缺点：
当测量的数据能够满足参数统计的所有假设时，非参数检验方法虽然
也可以使用，但效果远不如参数检验方法。由于当数据满足假设条件时， 参数统计检验方法能够从其中广泛地充分地提取有关信息。非参数统计检
验方法对数据的限制较为宽松，只能从中提取一般的信息，相对参数统计
解：第一种情况：
对于第一种情况，Ws的观察值为ws=3+5+7+9+10=34，由
于n(2N-n+1)/2=40，则有：
p PH 0 (Ws 34) PH 0 (Ws k )
Ws≥34的部分分布情况如下：
k 4
40
于是
5 p PH 0 (Ws k ) 13 / C10 0.0516 k 4
通常非参数秩方法适用于以下几种情况：
1.未知分布型，或样本数太少(n6)而使得分布状况尚未显示出 来。
2.非参数性，只能以严重程度、优劣等级、效果大小、名次先 后以及综合判断等方式记录其符号或等级。
3.组内个别随机变量偏离过大。
非参数方法的优点与缺点：
优点： 1.不受总体分布的限制，适用范围广。
n 易知N个个体中任取n个的所有不同的取法总数为 ， N
H0：两种处理效果无显著差异
是否可被接受。
各试验个体接受各方法处理后，将这N个个体放在一起按
照处理效果排序，这些处理效果可以是直接或间接反映各处
理方法效果的数值度量，也可以是反映个体的处理效果优劣 的定性描述。若第i个个体被排在第ri的位置上，则称ri为第 i个个体的秩。我们假设两种方法分别为“新方法”、“对照 方法”，则新方法的n个个体的秩为：
2.1.2 Wilcoxon秩和检验
1.单边检验假设 在很多情况下，对照方法即使原来的标准方法，新方法 是在原方法的基础上经过改进的方法，我们实际上在实验之 前已经认为新方法的处理效果不会比对照方法差。所以我们 的备择假设为：
H1：新方法优于对照方法
这时的检验方法称为单边假设检验。
当处理后按照各个个体的处理效果排序时，若H1 为真，
其中必有一个概率小于1/2。例如：
则
p 2PH0 (WA wA )
当p< α时，拒绝H0，否则接受H0。
例2.3 为研究两种化学添加剂对电池寿命的影响，对13个同
类型的电池随机抽取6个加入甲添加剂，另7个加入乙添加剂， 各组电池寿命如下：
取α=0.10，检验两种化学添加剂对电池寿命是否有显著影 响。
Var(Wr)=Var[N(N+1)/2-Ws]=nm(N+1)/12 并且对于Wr也可得到相似结果.
例2.4 以例2.3数据为例,利用正态分布逼近求PH0{WA≤wA}.
此例中n=6,m=7,N=13,wA2 Var(WA)=nm(N+1)/12=49 有上述结论通过查表得:
此时我们将不区分两种方法为新方法与旧方法，而将这
两种方法分别记为A和B，并从N个个体中随机抽取n个采用A处 理，m=N-n个个体采用B处理，用WA和WB表示相应的秩和。当H0 为真时， WA或WB都不应明显偏大或偏小，否则就有较大的差 异。因此对于WA，其拒绝域为： WA≤c1或WA≥c2，（c1≤c2） 对于给定显著水平α和c1与c2 （c1≤c2）时应满足：
检验方法会浪费一些信息。
2.1 两种处理方法比较的秩检验
统计方法应用于解决实际问题的一个重要方面就是比较两
种（或多种）处理方法的优劣问题。秩方法是解决此类问题的
一种有效方法。下面主要介绍两种处理方法比较的Wilcoxon秩 和检验及Smirnov检验。
2.1.1 两种处理方法比较的随机化模型及秩的零分布
n n 采用新方法，共有 种可能，且每一种的概率都为1/ 。 N N
于是在H0为真时，（S1，S2，„，Sn）的零分布为：
n PH0（S1=s1，S2=s2，„，Sn=sn）=1/ N
其中1≤s1＜s2＜„＜sn≤N,而PH0表示当H0为真时的概率。