系统综合评价指标体系构建方法研究

2 影响因素的初步分层
统计专家提出影响因素 ,并请专家根据这些因素对选型评估的实际影响程度 , 采用 5 分制进行打 分 。将打分结果进行聚类分析 ,并征询专家意见 ,将影响因素进行分类 。经过这一步骤 ,可以初步将影 响因素分层 ,建立起初步指标体系 。 系统聚类的思路 将被评价对象的每一个单元 ( 或样本) 看成一个类 ,通过相似性度量 ,逐步将类由 多变少 ,或者将全部被评价对象看成一类 ,通过相似性度量将类由少变多 。 系统聚类的原则 首先将被评价的 n 个个体看成 n 个类 , 这时类间距离与样品间距离是相等的 ; 按 照被评价对象的评价指标体系的特征 , 选择适当的 “距离” 作为不相似性度量 , 求出最小类间距离 ; 将最 小距离的类并为一类 , 并求出新类与其余类之间的距离 , 并选出最小类间距离 ; 重复上述步骤 , 直到所有 类归为一类 ( 或几类) ; 在所取 “距离” 意义下 , 画出按相似性或相近程度联结的谱系图 ; 按综合评价的精 度要求 , 选择阈值 , 确定聚类结果并给出聚类评价的结果 。 定义 1 设 x 1 , x 2 , …, x n 为 n 个样本 , 第 i 个样本 x i 与第 j 个样本 x j 之间建立了一个函数关系
第3期
邵立周 等 : 系统综合评价指标体系构建方法研究
・49 ・
该方法的基本原理是以调查征询的形式向选定的专家提出一系列问题 ,并汇总整理专家意见 ,每完 成一次提问和回答的过程称为一轮 。将上轮咨询所得意见的一致程度和各位专家的不同观点等信息 , 匿名反馈给每一位专家 ,再次征询意见 。如此反复多次 ( 一般情况下为 3 ～4 轮) ,使意见趋于一致 。由 最后一轮征询得到的专家意见 ,组合成专家群体的集体意见 ,即可得到影响因素列表 。
5 3 5 3 5
专家 8
5 4 4 4 5
采用统计分析软件之一 SPSS ( statistical p rogram for social science) 进行聚类分析运算 。文中选择
SPSS 菜单中的分析 — 聚类 — 系统聚类 , 采用距离表示各变量间关系密切程度 。聚类方法采用类间平均
由于复杂系统的综合评价问题涉及的因素多 ,其评价过程中常包含着许多不确定性 、 随机性和模糊 性 ,因此选择合适的评价指标体系是综合评价的基础 ,没有一套科学 、 可行 、 可信的指标体系就无法客观 [1] 地开展评估工作 。 指标体系建立的方法有两类 : 专家主观评定和比较判定法及数据统计分析法 。第一类方法适用于 资料有限 、 主要依据专家经验知识来确定指标的被评价对象 ; 第二类方法适用于具有定量评价指标的被 评价对象 。但由于指标的设计者往往片面追求指标的全面性 ,致使评价指标过多 ,一方面会引起判断上 的错觉和混乱 ,另一方面也使其他指标权重减小 ,造成评价失真 。同时 ,由于决策问题复杂 ,涉及因素众 多 ,加上所需资料缺乏 ,评价问题在建立复杂系统综合评价指标体系时 ,主观性较强 [ 1～4 ] ,这就导致建立 的指标体系不一定能够全面 、 客观和系统地反映评价目标 。针对这些问题 ,文中提出了一种适用于复杂 系统综合评价指标体系建立的方法 。
j ∈Gk i ∈Gc j ∈Gk i ∈Gp j ∈Gk i ∈Gq
并用 D ck 代替 D ( 0) 中 p , q 行与 p , q 列 , 得距离对称矩阵 D ( 1) ; 对于 D ( 1) , 重复上述步骤 , 直到所有的类归 为一类 。如果在 D ( k) 中重复上述步骤时 , 最小元不只一个 , 则应将对应类同时合并 ; 在给定聚类阈值 T 时 , 当 D rk ≤T 时 , 聚类过程可以结束 。 根据聚类结果 , 可以将影响因素粗分为几类 , 初步建立层次结构 。 以下对维修科研工作绩效评估为例进行分析 , 限于篇幅 , 这里仅对 ① 水平 、 ② 先进性水平 、 ③ 创新性 水平 、 ④ 发表论文 、 ⑤ 适用性 5 项因素的分层进行介绍 。 选取 8 位专家打分 , 以 “对目标的影响很大” “对目标的影响大” 、 、 “对目标的影响较大” 、 “对目标的 影响不大” “ 、对目标几乎没有影响” 5 种模糊语言为评价标准 。采用五分制评分 , 将定性打分对应为定 量分数 : 5 、 4、 3、 2、 1 。专家打分量化后结果如表 1 所示 ( 为方便 , 表中用代号代表各影响因素) 。
4 因素的进一步分类
贴近度分析是一种多因素统计分析方法 , 它以各因素的样本数据为依据 、 用贴近度来描述因素间关 系的强弱 、 大小和次序 。如果样本数据列反映出两因素变化的态势 ( 方向 、 大小 、 速度等) 基本一致 , 则它 [6 ] 们之间的贴近度较大 ; 反之 , 贴近度就越小 。如果两个待选指标 ( 影响因素) 之间的贴近度大于阈值 , 将只能选取其中一个因素作为评价指标 。 定义 2 设参考序列 X = ( x1 , x 2 , …, x n ) , 比较序列 Y = ( y1 , y2 , …, y n ) 。则可以定义关联度如下 : 设序列 X 与 Y 在第 m 点的贴近系数 η XY | 则称η=
第 20 卷 第 3 期 No . 3 海 军 工 程 大 学 学 报 Vol. 20 2008 年 6 月 J un. 2008 J OU RNAL O F NAVAL UN IV ERSIT Y O F EN GIN EERIN G
系统综合评价指标体系构建方法研究
图1 聚类分析树形图
Fig. 1 Clustering analysis figure
利用该方法 , 对所有影响因素进行聚类 , 然后再征询专家意见 , 即可得到初步指标体系 。
3 指标的初步筛选
利用专家会议法 , 对第二步建立的初步指标体系 ( 影响因素体系) 进行讨论 , 看是否有明显不适合作 为评判指标的因素 , 是否还有对评判结果有重要影响的因素没有考虑进来 , 或者第二步建立的层次结构 有不合理的地方需要调整 。进一步建立指标 ( 影响因素) 的层次结构 。同时 , 还可让专家对这些影响因 λ λ 素进行打分 , 得到各因素的权值λ= {λ [ 0 , 1 ] , 当λ 1 , 2 , …, n } , 设取舍权数为 λ k ∈ i <λ k 时 , 则筛选掉该 指标 , 否则保留 。经过处理 , 可以得到一个新的指标体系 。 权重可根据层次分析法的基本原理求得 , 仍取上述 5 个元素进行分析 ; 取 λ k = 0 . 15 对指标进行筛 选 , 利用上述打分结果可知λ 从指标体系中筛选掉 。 4 < 0 . 15 , 故可将因素 ④
・50 ・
第 20 卷 海 军 工 程 大 学 学 报
锁链法 , 即合并两类的结果使所有的两两因素之间的平 均距离最小 。最后得到树形图如图 1 所示 。 该树形图直观清晰地表示了聚类的全过程 。它将实 际距离按比例调整到 0 ～ 30 的范围内 , 用逐级连线的方 式连接性质相近的因素 , 直至并为一类 。在该图上部的 距离标尺上根据需要选定一个划分类的距离值 , 然后垂 直标尺划线 , 该垂线将与水平连线相交 , 则相交的交点数 即为分类的类别数 , 相交水平连线所对应的因素聚成一 类 。若取标尺值为 15 , 则所有的因素分为 3 类 , 即在各影 响因素中 , 因素 ① 和⑤ 所反映的方面类似 , 因素 ② 和③ 所 反映的方面类似 , 因素 ④ 单独聚为一类 , 表明该因素与其 他各因素所反映的方面差异较大 。
p
d ij = d ( x i , x j ) = [
k =1
∑|
x ik - x jk | ] p 。称函数 d ij = d ( x i , x j ) 为样本 x i 与 x j 间的距离
p
1
[5 ]
。
根据专家对各影响因素的评价矩阵 , 可以对各影响因素进行聚类分析 。文中用 G1 , G2 , …, Gr 表示 r 个类 , 用 d ij 表示 i 与 j 的距离 ,Biblioteka Baidu用 D pq 表示 G p 与 G q 的距离 , D pq = min d ij , p , q = 1 , 2 , …, r; 利用 d ij
i ∈Gp , j ∈Gq
计算样本两两间距 , 形成样本距离对称阵 , 记为 D ( 0) ( 此时 D pq = d pq ) ; 选择 D ( 0) 中的最小元素设为 D pq , 将 Gp 与 Gq 合并为新类 Gc , Gc = Gp ∪Gq ; 使用式 ( 1) 计算新类与其他类间的距离 : ( 1) D ck = min d ij = min{ min d ij , min d ij } ,
Index system construction on comprehensive evaluation
S HAO Li2zho u1 , BA I Chun2jie2 ( 1. Naval Dep t . of Equip ment , Beijing 100036 , China ; 2. College of Elect ro nic Engineering , Naval U niv. of Engineering , Wuhan 430033 , China) Abstract : A new met hod was p resented aiming at t he p ro blems of co nst ructing an index system. Fir stly , t he factors affecting t he co mp rehensive evaluatio n were p ropo sed by means of Delp hi. Then , t he met hods of associating degree and f uzzy clustering analysis were int roduced to delaminate and class t he factors. A nd t he ro ugh index system was op timized by effectiveness coefficient judgment and relia2 bilit y coefficient judgment . In t his way , t he index system co uld be acquired. Key words : co mp rehensive evaluatio n ; index system ; clustering analysis ; associating degree
3
邵立周1 , 白春杰2
( 1. 海军装备部 , 北京 100036 ; 2. 海军工程大学 电子工程学院 , 武汉 430033)
摘 要 : 针对目前指标体系构建存在的问题 ,以科研工作绩效评估指标体系构建为例 ,给出了一种构建指标 体系的方法 。该方法首先利用德尔菲法 ,提出影响综合评价的因素 ; 在此基础上 ,引入贴近度和模糊聚类分析 的方法 ,对影响因素进行分层和分类处理 ,利用效度判断法和稳定性系数判断法对得到的初步指标体系进行 优化 ,最终得到评价指标体系 。 关键词 : 综合评价 ; 指标体系 ; 聚类分析 ; 贴近度 中图分类号 : N945. 16 文献标志码 : A 文章编号 :1009 - 3486 ( 2008) 03 - 0048 - 05
1 影响因素的提出
德尔菲法由美国兰德公司的 Olaf Helmer 和 Norman Dalkey 于 20 世纪 50 年代提出 ,它是以古希 腊城市德尔菲命名的规定程序专家调查法 ,德尔菲法既可用于预测 ,也可以用于评估 。
3收稿日期 :2008201201 ;
修回日期 :2008203220 。 作者简介 : 邵立周 (1959 - ) ,男 ,高级工程师 ,硕士 ,主要研究方向为系统评价 , E2mail :Baichj123 @163. com 。
表1 专家打分量化后结果
Tab. 1 Quantitive result of experts′ marks
影响因素 ① ② ③ ④ ⑤ 专家 1
5 5 5 3 4
专家 2
5 3 5 3 5
专家 3
5 4 4 5 4
专家 4
5 3 3 4 5
专家 5
5 4 3 3 5
专家 6
5 4 5 3 5
专家 7