对偶比较法_等级排列法和两极递进式排序法的比较

对偶比较法、等级排列法和两极递进式排序法的比较
Ξ
田晓明　冯成志ΞΞ
(教育部人文社科重点研究基地苏州大学中国特色城镇化道路研究中心,苏州大学心理学系,苏州,215006)
摘　要　排序不仅是科学研究的常用方法,在现实生活中也有着广泛应用,但对于不同排序方法排序结果的比较却鲜有报道。

本研究通过颜色偏好实验考察了对偶比较法、等级排列法和两极递进式排序法三种排序方法的稳定性和一致性等指标,并比较了三种方法的优劣。

结果表明:三种排序方法在颜色偏好的判断作业中具有较高的稳定性和一致性,其中以对偶比较法的稳定性稍高;三种排序方法在稳定性、经济性、简便性、直观性和适用条件上各有优劣,文末就三种排序方法的应用提出了建议。

关键词　对偶比较法,等级排列法,两极递进式排序法,颜色偏好
1　引言
在心理物理学的研究中,建立顺序量表的常用方法有:等级排列法和对偶比较法。

等级排列法是把许多刺激同时呈现,让被试以一定标准将刺激排序,尽管其具有较高的内部一致性[1];但被试在等级排列时会随着被比较刺激数目的增加变得难以抉择,有研究者建议采用等级排列法时刺激的数目以不超过25为宜[2]。

对偶比较法首先将所有要比较的刺激配成对,然后逐对呈现,让被试就刺激的某一特性进行比较,判断两个刺激中的哪一个在这个特性上更明显。

其优点是可以检测被试在比较的过程中是否存在非传递性,即比较过程中出现三角循环现象;但在实际应用中,由于两两比较的次数随N 的增大而快速增加,一般说来被比较对象不超过15个[3]。

另外一种较少提及的方法是两极递进式排序法,是从同时呈现的许多刺激中根据一定标准先筛选出最优的n (n ≥1)个刺激,再筛选出n (n ≥1)个最劣的刺激;然后对剩余的刺激进行层层递进式两极评判,直至筛选完毕。

该方法在绩效评估中应用较多,由于从一批员工中区分出最好的和最差的相对比较容易,两极递进式排序法更受人们的欢迎。

这些方法不仅在心理学的研究中有着广泛的应用,例如对社会价值的判断、心理健康评估、感知觉的测量、跨文化比较及偏好判断等[4-9];而且在教育学、生物测量学、经济学、市场与广告学、医学、计算机工程和管理学中也发挥着重要作用[1,10-16]。

有研究还就对偶比较法数据处理问题进行了探讨[17],充分说明了排序方法在科研和实际工作中的重要作用。

但就不同排序方法的比较却未见报道,那么对偶比较法、等级排列法和两极递进式排序法所产生
的排序结果稳定性怎样?是否具有一致性?孰优孰
劣?能否利用两极递进式排序法建立顺序量表?本文拟通过颜色偏好实验来回答上述问题,以期为排序方法的实践应用提供实验支持。

2　研究方法
211　被试
研究对象为苏州大学45名在校本科生和研究生(本科生21名,男生7名;研究生24名,男生8名),年龄介于20～31岁,平均年龄23岁,所有被试均为右利手,矫正视力及色觉正常。

212　实验材料
10种尺寸为100×60像素的颜色块为红、橙、黄、绿、青、蓝、紫、黑、白、灰。

在观察距离为57cm
时所形成的视角为3114°×1188°
(观察距离不固定)。

在等级排列法和两极递进式排序法中,色块以5行2列的格式呈现,行间距和列间距分别为1157°视角和1101°视角;对偶比较法以左右方式呈现颜色对,间距为0147°视角。

213　实验程序
等级排列法中,被试根据对10种颜色的喜好程度由高到低依次用鼠标点击相应色块,全部排序结束后提交结果,10种颜色在网格内随机呈现。

对偶比较法中,10种颜色两两配对,被试用鼠标点击消除了空间误差并随机化处理的逐对呈现的两种颜色中更喜爱的一种。

两极递进式排序法与等级排列法相似,只是被试需要根据屏幕上呈现的指导语从两极选出一定数目最喜爱和最不喜爱的颜色,本实验中采用2/2,2/2,1/1,即选出最喜爱的2种,然后是最不喜爱的2种,以此类推。

214　实验设计
研究采用3(排序方法:等级排列、对偶比较和
ΞΞΞ通讯作者:冯成志。

E 2mail :Psyfeng @gmail 1com
国家社会科学基金项目、教育部人文社科规划项目(08JA630054)、江苏省软科学基金(BR2008022)中期研究成果之一。

788　心理科学　Psychological Science 2009,32(4):788-791
两极递进式排序)×3(实验顺序:对偶-等级-两
极、等级-两极-对偶和两极-对偶-等级)的混合实验设计。

排序方法为被试内因素,实验顺序为被试间因素。

每种实验顺序下各有15名被试(男女进行了平衡),同时为考察不同排序方法排序结果的稳定性,对实验顺序进行了拉丁方平衡,每个被试每种排序方法需要完成两次,排序方法间休息1分钟,6次排序分为两组,组间休息2分钟。

3　结果与分析
对数据进行整理,得出每次排序的结果,出现相同等级时以均值作为秩次。

311　不同排序方法的稳定性
由于每个被试同一种排序方法完成两次,针对每种排序方法计算斯皮尔曼系数作为该排序方法的稳定性指标(对相同等级作了校正),结果发现除一被试等级排列法的稳定性指标严重偏低外(01248),其余经相关系数显著性检验均达到
0105的显著性
水平。

将该被试的数据予以剔除,然后以排序方法为组内变量,实验顺序为组间变量,对稳定性指标进行重复测量的方差分析,结果发现(见图1),三种排序方法的稳定性指标间无显著性差异F (2,82)=2115,p >0105;不同实验顺序间的稳定性指标具有显著性差异F (2,41)=3124,p <0105;排序方法与实验顺序间存在显著的交互作用F (4,82)=7170,p <01001。

简单效应分析表明,除在“对偶-等级-两极”顺序下,三种排序方法的稳定性系数间无显著性差异外F (2,82)=0166,p >0105;在等级-两极-对偶实验顺序下,不同排序方法稳定性系数的差异达到统计上的显著性水平[F (2,82)=13148,p <01001],进一步的Duncan 检验发现,对偶比较与另两种排序方法间的差异均达到显著性水平(p <0105),后两者间的差异不显著(p >105);在两极-对偶-等级实验顺序下,不同排序方法稳定性系数的差异边缘显著[F (2,82)=3110,p =01050]。

图1　不同排序方法间的稳定性系数比较
注:右侧为所有实验顺序下不同排序方法间系数的比较,误差条表示±1SEM
312　不同排序方法的一致性
将同一排序方法的两次排序结果合并,得出每个被试不同排序方法下颜色偏好的等级顺序,然后计算肯德尔和谐系数作为颜色偏好评价的一致性指
标(对相同等级进行了校正),对其进行显著性检验,结果最小的χ2=22138>χ2(9)0101=21.92,即所有被试使用不同排序方法的颜色偏好评价具有很高的一致性。

单因素方差分析显示,不同的实验顺序对一致性评价指标没有显著性影响F (2,43)=0194,p >0105。

前文分析发现对偶比较法的排序
结果相对更具稳定性(参见311),以每个被试对偶
比较法的排序结果为基准,计算等级排列及两极递进式排序法排序结果与之的等级相关系数。

经显著性检验,均达到0105的显著性水平,配对样本T 检验结果显示两种排序方法未见显著性差异[t (43)=0196,p >0105]。

313　排序耗时
实验中尽管未对被试的反应时间作要求,按照三标准差法则对被试排序时间进行极端数据剔除,然后进行单因素重复测量方差分析后,由表1可知不同排序方法所用的时间具有显著性差异,其中对偶比较法耗时最长,等级排列法耗时最短;L SD 多重
田晓明等:对偶比较法、等级排列法和两极递进式排序法的比较789
比较显示不同排序方法两两间的差异均达到显著性水平(p <01001)。

表1　不同排序方法耗时比较(单位:秒,N =40)对偶比较法等级排列法两极递进式排序法均值1351042618838199标准差36139
817113111
F 检验
F (2,78)=490186,p <01001
4　讨论
411　影响排序结果稳定性的因素
排序结果稳定性的分析表明不同排序方法的稳定性受实验顺序的影响。

对比不同实验顺序发现,当被试连续采用同一种排序方法时稳定性最高;而当同一种排序方法处在首末位置时稳定性系数最小。

在“对偶-等级-两极-两极-等级-对偶”实验顺序下(简称A 顺序),两极递进式排序法的稳定性系数达到01953,但处于首末位置的对偶比较法的稳定性系数为三者中最小的(01920);在“等级-两极-对偶-对偶-两极-等级”实验顺序下(简称B 顺序),对偶比较法的稳定性系数最高(01958),处于两端的等级排列法的稳定性系数最低(01798);在“两极-对偶-等级-等级-对偶-两极”实验顺序下(简称C 顺序)表现出同样的模式(见图1),结合排序耗时可知,对偶比较法平均用时约2分半钟,而等级排列法和两级递进式排序法平均耗时在半分钟左右,考虑到中间休息的2分钟,以B 顺序为例,两次对偶比较法、两极递进式排序法和等级排列法间的间隔分别为2分钟、9分钟和11分钟,等级排列法的稳定性显著低于两极递进式排序法的稳定性。

在A 顺序下等级排列法的稳定性系数之所以没有出现明显下降,可能由于间隔较短(4分钟);再从C 顺序来看,尽管此时两极递进式排序法的时间间隔达11分钟,其稳定性系数并没有下降到等级排列法间隔为11分钟时的程度。

10种常见颜色为什么会在短时间内就出现偏好波动且随间隔的增加其影响也趋明显呢?笔者认为,可能与两次相同排序方法间其它排序方法的混入有关,如两次等级排列法间对偶比较方法的插入,可能对被试的颜色判断产生了影响。

因此时间因素
和重测期间发生的事件可能对稳定性产生影响。

对常见颜色的判断尚且如此,社会价值筛选和绩效评估时就更应注意时间因素和对对象判断形成冲击的事件的影响。

412　排序方法的一致性探讨
就三种排序方法而言,等级排列法最直观,与实验目的吻合程度最高,且完成排序后清楚对不同颜色的喜好;而对偶比较法最含蓄,需借助统计方法间接地确定喜好顺序,最后被试未必清楚不同刺激的喜好结果。

三种排序方法间的一致性说明了在当前任务中三种排序方法的等价性。

这种等价性是否受实验材料的熟悉度及偏好稳定性的影响呢?我们或许能够预测其它材料肯定影响三种排序方法的一致性,因为即便同一种方法,其结果也受其它因素的影响。

相互比较的共通性成为不同排序方法具有一致性的基础。

由此看来,两极递进式排序法不只可用于绩效评估,亦可作为建立顺序量表的一种方法。

413　排序方法的优劣
从排序的一致性来看,三种方法不分伯仲;尽管稳定性未见差异,但对偶比较法稍优于另两种排序方法;从排序用时上看,对偶比较法耗时较长显而易见,且受刺激数目的影响最大,对于等级排列法和两极递进式排序法之间的用时差异,主要因为后者在从两极逐步筛选一定数目对象时,被试一方面需要阅读指示语,另一方面每完成一步需要点击确认按钮,从而使两极递进式排序法用时显著长于等级排列法的用时。

因此等级排列法和两极递进式排序法相对于对偶比较法更经济,这种经济性会随着比较数目的增加而越发明显。

正因为如此,有研究者将对偶比较法和等级排列法结合进来,提出多重排列法,利用不完全区组设计,将比较的对象划分为不同的区组,在每个区组内进行等级排列,保证单个对象在每个区组中的唯一性,以及两两比较次数的相等性,从而减少两两比较的次数[3]。

因为从众多对象中选出最优和最劣的相对容易,每执行一步操作被比较对象数目就会减少,所以当比较对象数目较多时,可尝试两极递进式排序法。

综上所述,三种排序方法各项指标的优劣列于表2。

表2　三种排序方法的性能比较
对偶比较法等级排列法
两极递进式排序法
指标重要性
稳定性
333333 经济性333333 简便性333333 直观性3
333
33
适宜条件
Nmax =15
Nmax =25
不详(Nmax ≥25)
注:“3”表示性能优劣程度,“ ”表示重要性程度,均是多为好;Nmax 表示比较数目的上限。

414　研究中的不足研究中相同排序方法间隔的不等性一定程度上
790　心　理　科　学
降低了稳定性系数的可比性,但正是这种不等性使
我们发现了时间间隔对排序结果的影响;另外因不同排序方法的用时本不相同,且不同被试完成某种排序的耗时也不同,给等时间间隔的操作带来一定难度。

两极递进式排序时,每次从两极筛选出一定数目,研究中的取值为2/2,2/2,1/1,当该值变化时,对两极递进式排序法会产生怎样影响,值得进一步探讨。

5　结论
本研究结论如下:(1)三种排序方法所得排序结果具有一致性;(2)三种排序方法各有优劣;(3)可能情况下,尽量使用对偶比较法;(4)两极递进式排序可用于心理物理学中顺序量表的建立;(5)比较对象数目较多时,两极递进式排序法不失为较好选择。

参考文献
1
Dirschl D R ,Ferry S T.Reliability of classification of frac 2tures of the tibial plafond according to a rank 2order method.The Journal of Trauma ,2006,61(6):1463-62
Rounds J B ,Miller T W ,Dawis R parability of multiple rank order and paired comparison methods.Ap 2plied Psychological Measurement ,19783
Gulliksen H ,Tucker L R.A general procedure for obtain 2ing paired comparisons from multiple rank orders.Psy 2chometrika ,1961,26(2):173-1834
Elosua P.Assessing vocational interests in the basque coun 2try using paired comparison design.Journal of Vocational Behavior ,2007,71:135-1455
van Wijk A J ,Hoogstraten J.Paired comparisons of senso 2ry pain adjectives.European Journal of Pain ,2004,8(4):293-297
6K aron B P ,O ’Grady P.Quantified judgments of mental health from the rorschach ,tat ,and clinical status interview by means of a scaling technique.Journal of Consulting and Clinical Psychollogy ,1970,34(2):229-235
7Gulliksen H ,Intercultural studies of attitudes ,in N.Fred 2eriksen and H.Gulliksen ,Contributions to mathematical psychology.1964,New Y ork :Holt ,Rinehart ,&Win 2ston.
8葛列众,刘少英,徐伟丹.抽象颜色偏好实验研究.心理科学,2005,28(4):849-851
9刘少英,葛列众,朱瑶.4岁幼儿线条偏好实验研究.心理科学,2006,29(3):733-734
10
Cohen A S ,Tassel E V.A com parison of partial and com 2plete paired comparisons in sociometric measurement of preschool groups.Applied Psychological Measurement ,1978,2:31-40
11龚自方.对偶比较法及其在心理与教育研究中的应用.心理科学,2001,24(4):496
12
张娜,申继亮,张志祯.新入职教师工作价值观的对偶比较研究.教师教育研究,2008,20(3):50-54,2713Bi J.Simiarity testing using paired comparison method.Food Quality and Preference ,2007,18:500-50714
戚国栋.心理学的新应用—用改进的对偶比较法确定权系数.心理学报,1985,17(4):369-376
15Conklin M ,Lipovetsky S.E fficient assessment of self -ex 2plicated importance using latent class thurstone scaling.in The 10th Annual Advanced Research Techniques Forum.1999.Santa Fe ,New Mexico :American Marketing Asso 2ciation.
16李玉凤,张宪荣.计算机辅助设计中的色彩调和美度评价模型.计算机工程与应用,2007,43(24):110-11317邵志芳.关于对偶比较法数据处理问题的探讨.心理科学,2002,25(5):607,615
A Comparative Study of Paired Comparison and R ank 2order
Methords With Alternation R anking Methods
Tian Xiaom i ng ,Feng Chengz hi
The “Road to Ilrbanization ”Center of the K ey Base for Humanities Research Under the Ministry of Education ,
Department of Psychology ,Soochow University ,Suzhou ,215006)
Abstract The widely used ranking methods are the paired comparison method ,the rank 2order method and the alternation ranking method.A color preference experiment was conducted to com pare them in terms of psychometric characteristics and user reactions.We calculated S pearman ’s correlation coefficient as the index of stability and K endall coefficient of concordance as the index of consis 2tency of each kind of ranking method for each subject.The results indicated four main findings.Firstly ,no significant difference a 2mong the ranking methods was found.Secondly ,stability correlation was influenced significantly by the experimental sequence.The time interval between the same ranking methods and the other embedded ranking methods might contribute more to this result.Third 2ly ,each subject ’s consistency index reached a significant level (p <.05).Finally ,administration time decreased significantly when the rank order or alternation ranking methods were compared with the paired comparison.We also outlined the su periority of each kind of ranking method in terms of stability ,economy ,convenience ,intuition and applicability.
K ey w ords Method of Paired Comparison ,Rank 2Order Method ,Alternation Ranking Method ,Color Preference
田晓明等:对偶比较法、等级排列法和两极递进式排序法的比较791。