组合评价法的事前事后检验

摘自：曾宪报，关于组合评价法的事前事后检验，统计研究，1997，6，56—58
组合评价法的实质是, 选择有代表性的几种评价方法, 将评价结果按照一定的方法进行组合, 得出组合评价值, 最后得到组合评价的排序结果。

从理论上来说, 组合评价法应该比单一的评价方法更合理、更科学, 因为它克服了主、客观两类评价方法的缺陷, 同时吸收了两类评价方法的优点, 对待评对象作了更为全面、合理的评价。

从文[ 1] 中的应用实例来看, 组合评价法的排序结果更加趋于稳定、一致, 显示出较强的合理性。

为保证组合评价结果的科学性、合理性, 在运用组合评价时必须进行事前事后检验。

一方面, 组合评价法是以几种单一评价方法的结果为基础的, 那么,这几种单一评价方法的结果是否合理? 其衡量标准是: 这些结果之间是否能够相互印证, 即它们是否具有一致性? 只有当原始方法具有一致性时, 对它们的组合才是有效的。

因此, 在组合之前必须进行一致性检验。

1.组合评价法的事前检验：
第一步, 将多种评价方法所得结果转化成排序矩阵。

假设用m 种方法对n 个被评单位进行评价,所得评价值的排序情况如表1所示。

ij y 表示第i 个被评单位在第j 种评价方法下的排序值,
),...2,1;,...2,1(1m j n i n y ij ==≤≤
第二步, 假设0H : m 种赋权方法不具有一致性;H1 :m 种赋权方法具有一致性;
第三步, 计算检验统计量并对假设进行检验。

当7≤n 时, 检验统计量为:
2
1121⎪⎪⎭⎫ ⎝⎛-=
∑∑==n i i n i i R n R s (1) 其中，s 为Kendall 一致性系数，∑==m
j ij i y R 1。

给定显著水平α，查Kendall 一致性系数s 的临界值表，得到临界值αs 。

当7>n 时，检验统计量为：
T n m )1(2-=χ （2）
其中，()()∑∑===-+--=m i ij i n i i y R n n n n m R T 12212,113112。

服从自由度为2χ1-n 的2χ分
布。

2.组合评价法的事后检验：
组合评价法的事后检验, 主要是检验组合方法所得排序结果与原始方法所得排序结果之间的密切程度; 另外, 当有多种组合方法时, 还可凭它选出最合理的组合评价法。

对组合评价法的事后检验, 可采用斯皮尔曼等级相关系数检验法, 其步骤如下:
第一步, 将组合评价结果转化为排序值。

假设对原m 种方法进行l 种组合, 所得排序结果见表2。

其中ik x 表示第i 个被评单位在第k 种组合方法下的排序值, ),...2,1;,...2,1(1l k n i n x ik ==≤≤
第二步, 假设0H : 第k 种组合方法与原m 种评价方法无关; 1H : 第k 种组合方
法与原m 种评价方法密切相关。

第三步, 计算检验统计量并对假设进行检验。

当10<n 时, 检验统计量为: ∑==
m
j jk k m 11ρρ （3） ik ρ表示第k 种组合方法与原第j 种方法之间的斯皮尔曼等级相关系数,反映组合方法k 与原方法j 之间的相关程度, jk ρ越大表示两种方法所得排序结果的相关程度越高。

k ρ表示组合方法k 与原m 种方法之间的平均相关程度。

当10≥n 时,检验统计量为: ),..2,1（122l k n k
k =--=ρρ （4） 其中k ρ同前，k t 服从自由度为2-n 的t 分布。

第四步, 若1>l ,则需选择一种最佳的组合评价方法。

组合评价法的初衷, 就是既要克服单一评价方法的缺点, 又要吸收多种评价方法的优点。

因此, 组合评价的结果与原始多种方法的结果之间虽不会完全相同, 但十分接近。

所以, 我们选择与原始多种方法最接近的组合方法为最佳组合方法。

也就是说, 当10<n 时, 取k ρ中的最大者, 即为最佳组合法; 当10≥n 时,
取k
t 中的最大者, 即为最佳组合法。