系统评价

7.1.3 评价指标体系
系统评价指标的设立因研究系统不同而不同。通 常的评价指标体系考虑以下七个方面：
①政策性指标。包括政府的方针、政策、法令以 及法律约束和发展规划等方面的要求。 ②技术性指标。包括产品的性能、 寿命、 可靠 性、 安全性等。 ③经济性指标。包括方案成本、 效益、 建设用 期、 回收期等。
中位数
上四分位数
评估结果表明，三峡水利工程泥沙淤积年份在 2071~2083年之间，较大可能在2078年。
②主观概率法 主观概率是某人对某一事件可能发生程度的一种主 观估量。要求专家不仅要有估量，还应说明根据。 对同一事件在相同情况下的评价，不同专家可能提 出不同的数量估计和实现概率，甚至会持完全相反 的意见。 正是因为存在不同的个人估计，所以才有寻求合理 或最佳估计量的必要。在处理中，一般也是取评价 结果的分布中心为评价结论。
（2）评价方案的可比性。 所提出的各种替代方案，在保证实现系统的基 本功能上应具有可比性和一致性。
（3）评价指标的系统性与合理性。 评价指标要包括系统目标所涉及的诸多方面， 对于一些定性问题要有恰当的评价指标，以保证 评价指标的全面性，使其具有多元、多层次、多 时序的特点。另一方面系统评价指标必须与国家 大政方针的要求一致，与相关行业的产业政策一 致。
④社会性指标。包括社会福利、社会节约、综合 发展、污染、生态环境等。 ⑤资源性指标。包括工程项目中所涉及的物资、 人力、能源、水源、土地等条件。 ⑥时间性指标。包括工程进度、时间节约、试制 周期等。 ⑦其他指标。指在具体的系统评价过程中所涉及 的某些具体指标。
上面考虑的是一些大类指标，遇到具体问题时每一个指标 又可以分成许多子指标。由这些主指标以及子指标所构成的具 有多层次结构、多元的以及多时间指标系统就构成了指标体系。
7.2.2
系统评价方法
1 专家咨询法（德尔菲法）
让熟悉评价系统的专家，通过一定方式对指标 独立发表见解，并用统计方法作适当处理，即利用 专家们的经验和知识对所考虑的问题进行分析和预 测。 专家咨询法主要包括两个基本环节：专家群的 组成及调查提纲的拟定和专家意见综合。
专家群的组成及调查提纲的拟定 ①组织专门小组。 专门小组成员的选择是德菲尔法成败的关键。一般 选择与问题有关的各个领域具有丰富专业工作经验、 熟悉业务、有预见性和分析能力、有一定声望的人 士，以及一些边缘学科和其他专业的专家。 专家人数与评价规模、被评价内容是否经常交流、 估计调查表回收率高低、研究经费数量有关，根据 经验，一般10~15人为宜。
第七章 系统评价
7.1 7.2 7.3 系统评价概述 系统评价常用方法介绍 模糊综合评价
7.1
系统评价概述
系统评价是对提供的各种可行性方案，从社 会、 政治、 经济、 技术方面给出综合考察，全面 权衡利弊得失，从而为系统决策选择最优方案提供 科学的依据。
7.1.1
系统评价的含义
评价是决策的基础。系统评价是系统科学研究 评价理论的一个重要分支，也是系统工程的主要内 容，是一项非常困难但十分重要的工作。
例如，要评价某一事件发生可能性的大小，可以调 查一组专家的评价概率，然后相加求平均值，得出 某事件的评价概率。
n p为事件评价的概率平均 , pi 为第i位专家的 值 主观评价概率n为专家人数 ,
p
n
pi i 1
③变异系数法 变异系数法是代表评价相对波动大小的重要指标， 计算过程如下： 计算第j方案评价的均方差——代表评分的离散程度
用逐对比较法计算权重 评价 指标
减少死亡人数 减少负伤人数 减少经济损失 外 观
得 1 2 3 4 5 6 7 8 9 10 分
判 定
权 重
实施费用
合 计
1 1 1 1 0 1 1 1 0 0 1 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1
4 3 1 0 2 10
0.4 0.3 0.1 0 0.2 1.0
（3）确定评价指标体系。对于所评价的系统，必 须建立能对照和衡量各个方案的统一尺度，即评价指 标体系。注意系统评价指标是否与评价目标密切相关， 评价指标是否构成了一个完整的体系，评价指标数是 否合理，各大类指标的设置以及大类指标和单项指标 的权重确定等。 （4）选取评价函数。评价函数是使评价定量化的 一种数学模型。不同问题一般评价函数不同，同一问 题也可能使用不同的评价函数，因此选用什么样的评 价函数本身也必须作出相应的评价。
①逐对比较法 逐对比较法就是利用所有评价指标对替代方案按照 一定的基准进行评分，再利用加权方法对替代方案 各种评价指标的评价值进行综合评价的方法。
例：假定减少交通事故的措施有护栏、人行道和交通 信号灯，综合评价指标为：减少死亡人数、减少负伤 人数、减少经济损失、外观以及实施费用。对所有评 价指标的重要程度进行两两比较判定，判定为重要指 标给1分，相应另一指标给0分，把各个评价指标得分 相加，归一化得各指标的权重，如下表所示：
②拟定调查提纲。 系统评价组织者把需要评价的内容拟成几个或十几个 问题，并列成调查提纲。 提纲内容明确具体，尽量避免含糊不清和缺乏定量概 念的词汇；问题不宜过多，避免答复者不耐烦而影响 调查质量；对有怀疑和争议的问题，提供背景资料。
整个过程一般要经过几轮反复征询，这种使分散的意 见逐步趋向一致的方法，可以汇集专家个人评判和集 体智慧两者的有利因素，科学全面，准确度高。
用上下四分位数之间的区间来表示专家意见的离 散程度，也称为评价区间。 例：11位专家对三峡水利工程泥沙淤积年份评估值 如下
2067, 2069 , 2071 , 2075 , 2077 , 2078 , 2079 , 2081 , 2083 , 2085 , 2087 (A) (B) (C)
下四分位数
（5）计算评价值。 确定了评价函数，评价尺度也随之确定。在计算评 价值之前，还需确定相关评价项目的权重。 （6）综合评价。 综合评价就是对系统进行技术、经济、社会等各方 面的全面评价。一般根据设立的指标体系，首先计算某 大类指标下各单项指标的综合评价值，然后对各单项指 标进行综合，得出对方案的总体结论。 综合评价是最后判定方案优劣的依据，因此，在系 统评价中占有重要地位。
专家意见的综合 专家意见的综合就是评价结果的处理过程，下面 介绍几种选用数理统计原理的综合方法。 ①中位数法 中位数法是指对某事物的评价结果取专家人数的中 分点值，即将专家评价结果从小到大依次排列，则 中分点值称为中位数。 为了反映专家意见的离散程度，可以在中位数法前 后二等分中各自再进行二等分，先于中位数的中分 点值称为下四分位数，后于中位数的中分点值称为 上四分位数。
7.2
7.2.1
系统评价常用方法介绍
评价方法概述
有关系统评价的理论与方法，大致分为三类： 第一类是以数理为基础的理论。用数学理论和 解析方法对评价系统进行严密的定量描述和计算。 通常为了使评价工作能够正常进行，不出现矛 盾，经常需要在假定的条件下才能进行评价。
第二类是以统计为基础的理论和方法。通过统 计数据建立只能凭感觉而不能测量的评价项目的评 价模型。是一种经验性的评价方法，是心理学领域 的常用方法。但由于是统计处理，故存在少数行为 在评价中不能反应的缺点。 第三类是重现决策支持的方法。也就是从另一 个角度考虑评价，当我们想方设法对评价系统进行 客观正确的评价时，倒不如研究如何才能比较容易 地决定与目标一致的人类行为。如：计算机仿真技 术。
系统评价是对系统分析过程和结果的鉴定，主 要目的是判别设计的系统是否达到了预定的各项技 术经济指标，从而为能否投入使用提供决策需要的 信息。
评价的好坏影响着决策的正确性。
4.1.2 系统评价的原则
系统评价工作应遵循以下原则： （1）评价的客观性。 系统评价的目的是为了以后的决策工作，因 此评价过程与结果影响着决策的准确性，必须保 证整个评价工作的客观性。 保证评价人员的客观公正性以及评价资料的 全面、正确和可靠。
评价指标
rj
kj
Wj
减少死亡人数
减少负伤人数 减少经济损失 外观 实施费用
小计
b. 从下至上对相邻的评价指标进行评价。以下面 指标为基准，在数量上进行重要度判定（rj栏）。
评价指标
减少死亡人数
减少负伤人数 减少经济损失 外观 实施费用
设各替代方案的预计效果和评分尺度如下表
评价指标 减少死亡人 减少负伤人 减少经济损失 数（人） 数（人） （百万元） 替代方案 防事故栅栏 人行道 交通信号灯 得分 评价指标 减少死亡人数（人） 减少负伤人数（人） 减少经济损失（百万 元） 外观 实施费用（百万元） 7以上 29以上 29以上 很好 0~20 6~7 20~29 20~29 好 21~40 4~5 15~29 15~29 一般 41~60 2~3 10~14 10~14 差 61~80 2以下 10以下 0~9 很差 80以上
外观
差 很好 一般 2
实施费用 （百万元）
5 6 3
5
10 15 8
4
10 15 5
3
20 100 5
1
各替代方案的综合得分值可用下式计算： 设置防事故栅栏：
V1 0.4 3 0.3 2 0.1 2 0 2 0.2 5 3
设置人行道：
V2 0.4 4 0.3 3 0.1 3 0 5 0.2 1 3
设置交通信号灯： V3 0.4 2 0.3 1 0.1 1 0 3 0.2 5 2.2 这样，方案1，2属于待选方案，方案3属于淘汰方案。 方案1，2的进一步选择，需加入新的因素才可确定。
②KLEE法 首先决定评价指标的权重 a. 把评价指标以任意顺序排列起来。
Vj
j Mj
2 成本-效益分析法 成本-效益分析法是系统评价的经典方法之一。就是 把不同方案的成本和效益进行比较分析的方法。 成本可以反映主要消耗，效益则反映经济和社会效 果，要求所投资的项目给社会提供的财富和服务价 值超过其费用，以此作为项目投资合理性的依据。 大多数情况下，效益用经济收益衡量。
Vi j 1Wi vij
m
综合评价表
指标 方 案
x1 W1
x2
W2
… … … … … …
xj பைடு நூலகம்j
… … … … … …
xm Wm
方案 价值
A1 A2
v11 v 21
v12 v 22
v1 j v2 j
v1 m v2m
V1 V2
… An
… v n1
…
vn2
… v nj
…
v nm
… Vn
应用价值分析法关键在于确定各指标的权重以及评价主 体给定的评价指标的评价尺度。下面介绍确定权重和评 价尺度的两种方法。
7.1.4 系统评价的步骤
（1）评价系统分析。这是在进行系统评价时必须 进行的工作，以达到明确系统目标，熟悉系统方案的 目的。 主要包括确定评价目的、明确评价系统范围、确 定评价主体在系统评价过程中的位置、明确评价项目 和分析系统的评价环境等工作。
（2）评价资料收集。对评价系统的功能、费用、 时间及使用寿命进行预测和估计，为以后设定系统的 评价尺度、建立评价函数等收集评价所需的相关资料。
成本与效益的关系一般从以下方面讨论： ①在成本一定时，哪个方案效益最高； ②在效益一定时，哪个方案成本最低； ③在成本与效益均不限定时，取其比率或超过额 最大者。
3 价值分析法 通过系统目标分析，将系统目标分成一系列具体的 分目标，用系统的价值来衡量系统目的的实现程度。
如果系统有n个评价方案，每个方案有m个衡量指标， 各指标因其对目标重要程度不同对应不同权重，设 第j个指标权重为Wj。另设第i个方案对第j指标的得 分值为vij，则方案i的综合评价值计算公式为：
1 n 2 Dj (C ij M j ) n 1 i 1 n 专家人数 ; C ij 第i个专家对方案的评分值 j ; M j 方案j的评分均值
计算第j方案评价的标准差——代表评分的变异程度
j Dj
计算第j方案评价的变异系数——表明专家们对第j方 案相对重要性的意见波动程度（协调程度），因此 变异系数越小，专家们的协调程度越高，应作为综合 评价选取的方案。 变异系数公式为：