系统工程系统评价方法

• 6.2.1、评价指标体系的组成 • 6.2.2、指标体系建立需解决的几个问题 • 6.2.3、设计评价指标体系的思路 • 6.2.4、建立评价指标体系的原则 • 6.2.5、建立评价指标体系的程序
a
21
6.2.1、评价指标体系的组成
• 1、政策性指标。包括政府的方针、政策、法令， 以及法律约束和发展规划等要求。
• 案例：市场秩序评价指标体系
a
27
6.2.3、设计评价指标体系的思路
• 评价的目的是选优，可采用系统论思路，即对系 统进行整体地剖析、综合思考，从目标分解或社 会价值观角度来构造评价指标体系。一般有如下 两种指标体系构成方法：评价指标体系的直接分 解法，如“五好”学生的评价指标体系由德、智、 体、美、劳五方面组成；其次价值观分解法，通 常把政治、经济、技术、社会、环境等作为大类 指标。
• 熟悉可能满意度的定义；掌握可能满意度方法中多维价值 的并合原则和量化方法，并能熟练运用；熟悉层次分析法 基本原理和工作步骤；通过课堂案例讲解使学生掌握这两 种方法。
a
1
第六章 系统评价方法
• 6.1 系统评价的基本概念 • 6.2 评价指标体系的建立 • 6.3 评价指标数量化方法 • 6.4 评价指标综合的主要方法 • 6.5 可能满意度方法及案例分析 • 6.6 层次分析法及案例分析
• 2、系统的客观效用是对系统外部环境的全部目的， 而主观效用是某些人们特定的目的而言的。目的 不同，同一人群的主观效用也不同。
a
6
6.1.2、系统评价的特性
• 评价结果的近似性。
• 原因：由于事物客观效用是客观存在的，而评价得到的结 果是评价者的主观效用； 其次参加系统评价工作者只是 社会的某一部分，由于认识的局限性，他们的主观欲望与 整个社会的要求之间不可避免地存在差异。用评价者主观 欲望来代替客观效用、用少部分人的主观欲望来代替整个 社会的要求必然是一种近似。
a
12
6.1.3、系统评价的基本要素
• 1、评价目标。即评价的目的、意向、预期的目标，这是 系统评价最主要的要素，评价工作一般有选优、控制管理 或引导等目标。
• 2、评价对象。可以是事物、方案、工作过程和个人等， 熟悉评价对象至关重要，它是评价系统的基础要素。
• 3、评价指标体系。即衡量事物的标准尺，它由评价指标 条目、标准、权重组成，评价指标体系的建立是评价工作 的关键，它是评价系统的关键因素。
a
9
6.1.2、系统评价的特性
• 评价结果的模糊性。
• 解决问题的方法：在实用可行的基础上，评价指标条
目尽可能包含系统的各种属性以反映系统的本质，为此在 进行系统评价工作时，要做深入的调查研究、熟悉被研究 对象，细化评价指标条目，使评价条目除反映被评价对象 的各种属性外还能进行定量分析。其次，对某一指标条目 不得不采用打分方法评价时，一定要邀请内行专家，且条 目要分得细一点，即有针对性
a
15
6.1.4、系统评价的步骤
明确目标
熟悉评价对象
设计评价指标体系 测定对象属性 建立评价数学模型 综合主观效用 选优提交决策Fra bibliotek挑选专家
a
16
6.1.4、系统评价的步骤
• 明确目标——即明确评价的目的，是选优，即从众多的方 案选择一个好方案？还是为了更好地控制、管理一个给定 的系统？因此，评价人员要与决策者沟通，了解评价的意 图和目的。
• 建立评价数学模型。评价数学模型的功能是将系统各属性 的功能综合成被评价系统的总的功能。建模者要根据专家 对评价指标体系的意见，选择和创造合适的数学表示方法， 要了解不同数学表示方法的物理含义，勿随意选择和创造 表示方法
a
19
6.1.4、系统评价的步骤
• 综合主观效用。所有的评价都是多方案、多过程的比较， 因此需要对不同的方案、过程等进行计算机仿真计算，以 计算出方案、过程的总的效用。其次任何方案、过程都存 在不确定因素，以及专家对不同属性重要程度认识的差异， 所以要进行方案、过程的灵敏度分析，以反映不同方案、 过程在不同情形下的主观效用值。
• 5、资源性指标。如工程项目中的物资、人力、能 源、水源、土地条件等。
• 6、时间性指标。如工程进度、时间节约、试制周 期等。
a
23
6.2.2、指标体系建立需解决的几个问题
• 大类指标和分类指标数量问题。指标数量越多，指标覆盖 的范围越宽，则方案之间的差异表现就越明显，越有利于 方案的判断和评价，但确定大类指标和分指标重要程度也 就越困难，因而歪曲方案本质特性的可能性也越大。大类 指标和分类指标越多，在研究、分析 决策所花费的时间、 费用越多，但方案评价的效果越好。这个矛盾体如何处理 取决于决策者对方案精度、费用、时间的综合考虑，在实 际工作中，系统工程工作者强调在达到评价精度要求的前 提下，指标体系尽可能的简单易行。
a
2
6.1 系统评价的基本概念
• 6.1.1、系统评价的定义 • 6.1.2、系统评价的特性 • 6.1.3、系统评价的基本要素 • 6.1.4、系统评价的步骤
a
3
6.1.1、系统评价的定义
• 系统评价是人们对系统（客体）做出价值判断的过程。就 是说系统评价是人们依据确定的目的来测量事物（系统） 的有关属性，并将这些属性转化为主观效用，从而综合成 系统的主观效用（价值）的过程。
a
24
6.2.2、指标体系建立需解决的几个问题
• 评价指标之间的相互独立问题。原则上要求指标之 间应相互独立，互不重复。例如企业费用和投资 费用，折旧费用和成本，在使用中的交叉处必须 明确加以划分和规定。对于某些有因果关系的指 标，理论上取某一方面指标。或者在设计模型时 考虑指标存在相关的问题，采用某些算法剔除相 关关系。
• 选优提交决策。由于评价指标体系和评价模型中的不可能 包含系统所有东西，其次系统环境变化、决策者的生存环 境和心态的变化，导致最优方案在实施过程中遇到困难， 所以应对评价对象的结果进行综合考虑，以便提供正确的 决策依据。提交的报告除提供最优方案外，还应提出相应 的实施条件
a
20
6.2 评价指标体系的建立
第六章 系统评价方法
• 教学要求：掌握系统评价的概念，了解系统评价的重要性 和复杂性；熟悉系统评价的原则和步骤；掌握构建评价指 标体系的步骤，熟悉构建评价指标体系的关键点。
• 掌握排队打分法等五种评价指标量化方法和加权平均法、 乘法规则、功效系数法等评价指标综合方法，并能在评价 中灵活运用这些方法。
a
14
6.1.4、系统评价的步骤
• 系统评价过程中主要回答两个问题，系统存在什 么属性？系统的价值如何？
• 因此需要明确问题，为什么要进行评价，其次熟 悉对象和邀请专家，在明确目标和熟悉对象（属 性）的基础上，设计指标体系，然后测定对象属 性和建立评价模型，仿真计算各对象的综合效用 （确定系统的价值），综合分析提交决策。
a
25
6.2.2、指标体系建立需解决的几个问题
• 评价指标体系的确定问题。评价指标体系的建立 要求尽可能地做到科学、合理、实用。为了解决 这种矛盾通常使用专家咨询法，德尔菲方法 （Delphi Methods）由于其独特的优点得到广泛 的使用，即经过广泛征求专家意见，反复交换信 息，统计处理和归纳综合，使所建立的评价指标 体系更能充分反映上述要求。
• 系统评价首要的问题是确定评价的目的，目的不同，同一 对象的评价内容不同，评价的方法也不同；其次要分解出 系统的属性，一般来讲系统有物理属性和社会属性；第三 是测定不同系统属性的主观效用；第四要根据系统属性的 相互关系综合出系统的总效用（价值）。
a
4
6.1.1、系统评价的定义
• 系统的客观效用是指处在一定状态下的系统功能行为满足 外部环境客观要求的程度，它既是系统状态的函数，又是 外部环境的函数。即F=ｆ(X.E) 它是客观存在的，但测 量是十分困难的。
a
13
6.1.3、系统评价的基本要素
• 4、评价的数学模型。即能将测定的被评价对象有关属性 的效用，综合成系统主观效用的数学表达式，合理的选择 和创造不同的数学表达式是必要的，它是系统评价的必要 要素。
• 5、评价的组织者与专家群体。评价效果的好坏与评价的 组织者、专家群体密切相关，他们对评价理论和评价方法 掌握的程度、与评价工作所花费的时间、精力的多少决定 了评价效果。
• 系统的主观效用指从某些特定的目的来衡量处于某一特定 状态系统，满足外部环境中某个特定的个人或人群的主观 欲望的程度。如某个项目主观效用的大小，取决于特定的 目的，和不同的人和人群的主观欲望。
a
5
6.1.1、系统评价的定义
• 主观效用与客观效用的差异：
• 1、系统的客观效用是客观存在的，而主观效用是 特定人或人群对系统客观效用存在的主观反映， 不同的人群的主观效用是不同的。
a
7
6.1.2、系统评价的特性
• 评价结果的近似性。
• 解决问题的方法：为了提高系统评价结果的精确性，降低其近 似性，在系统评价的工作中可采用增加评价者的数量和和 提高评价者的素质的方法。即有足够的数量专家参加评价 工作，以反映社会代表性，一般应超过30人；其次，要求 参加系统评价的专家要客观、公正，且具有渊博的知识， 对被评价系统有较深的了解。
• 2、技术性指标。包括产品的性能、寿命、可靠性、 安全性等，工程项目的地质条件、设备、设施、 等指标要求。
• 3、经济性指标。包括方案成本利润和税金、投资 额、流动资金占用量、回收期、建设周期，以及 间接收益等。
a
22
6.2.1、评价指标体系的组成
• 4、社会性指标。包括社会福利、社会节约、综合 发展、就业机会、污染、生态环境等。
• 熟悉评价对象——深入了解被评价对象，搜集被评价对 象的有关情报资料，搞清系统构成要素及其相互关系，熟 悉系统的行为、功能、特点以及有关属性，并分析这些属 性的重要程度。其次要了解人们对系统的期望，了解人们 的价值观念，即了解系统的环境。
a
17
6.1.4、系统评价的步骤
• 挑选专家——在保证一定数量的基础上，注意专家的合理 构成，又要注意专家的素质，挑选那些真正熟悉对象的内 行专家，切忌只图专家的名望。通常做法是根据被评价对 象所涉及领域的重要程度，先分配各领域专家的名额，后 挑选该领域专家。
a
26
6.2.3、设计评价指标体系的思路
• 评价的目的是为了控制管理系统，使系统处于最 优运行轨迹，使领导有效地对系统进行管理，可 采用控制论思路。如过程评价、组织评价、市场 秩序评价，这些评价工作的目的是改进工作，可 以从系统的投入、产出、内部结构和内部状态、 环境反映等方面来建立评价指标体系 。
a
10
6.1.2、系统评价的特性
• 评价结果的相对性。 • 原因：由于最终的评价值是将各个属性加以综合得到的，
而综合过程是将各个属性按一定的权重及并合原则得到的。 采用的并合原则和权重的计算方法是评价者（集团）决定 的。 其次社会观念不断变迁，今天科学的权重明天会变 得不合理。所以，评价值只能是事物（系统）的社会效用 这个绝对真理的相对值。
a
11
6.1.2、系统评价的特性
• 评价结果的相对性。 • 解决问题的方法：要求参与评价人员（尤其是模型建立
者）对指标体系有一个好的理解，选用的并合原则要尽可 能符合系统属性的物理概念，其次随着时间的变化，应重 新对所评价的问题进行评价，因为系统本身的发展和人们 价值观念的变化都将影响评价的结果。
• 设计评价指标体系——在熟悉评价对象及评价目标的基础 上，建立评价指标体系。这一过程是一个不断深入、螺旋 式推进的过程，即随着目标明确程度和对象熟悉程度的深 入，不断的扩展、提炼草拟的评价指标体系，并通过咨询 最终确定指标体系。
a
18
6.1.4、系统评价的步骤
• 测定对象属性——评价对象存在不同属性，不同属性的测 定方法不一样，但系统评价所涉及的每一属性都需测定。 一般来讲有三种测定方法，即直接测定、间接测定和分级 定量方法。
a
8
6.1.2、系统评价的特性
• 评价结果的模糊性。
• 原因：由于被评价的系统都是比较复杂的，存在多属性、
多变量，而评价时为了实用、可行，往往只能用有限个属 性来表示事物的功能，用有限个变量来表示事物的属性， 这抓住了事物的本质的主要方面而不是全部；其次由于系 统的复杂性，许多属性难以用一个或几个变量来描述，在 评价时，不得不借助专家的定性描述和评价。因此得到的 评价结果具有一定的模糊性。