工程咨询成果质量评价的原则与方法

工程咨询成果质量评价的原则与方法
本文主要探讨两部分内容,一是关于各类工程咨询成果质量评价的一般原则和方法;二是以可行性研究报告为例，探讨工程咨询成果如何制定质量目标、评价标准和评价方法、开展质量评价工作。

这些内容都是工程咨询业加强质量管理、贯彻ISO质量管理体系和《中国工程咨询业质量管理导则》必须解决的问题，主要是讨论工程咨询服务质量的衡量、评审等环节如何具体操作问题.
一、工程咨询成果质量评价与加强质量管理和贯彻ISO质量管理体系的关系
《中国工程咨询业质量管理导则》指出，工程咨询成果质量评价是质量管理和贯彻ISO质量管理体系的重要内容。

首先，工程咨询成果质量评价是一般意义上的质量管理的核心内容.如果对工作成果质量的高低没有一个全面的衡量标准和办法，质量管理将失去目标，将成为无的放矢。

这样的质量管理是难以收到实际效果的。

为了促进质量管理的实效,中国工程咨询协会在2000年颁发了《工程咨询成果质量评价办法》，规定了对各类工程咨询成果都要开展阶段性评价、成果评价和实施结果评价三个不同层次的评价。

其中,阶段性评价是由工程咨询单位在履行咨询服务过程中的每一工作阶段(或过程）完成后，进行的内部评价，是为了对每个工作过程中存在的质量问题，及时发现和纠正；成果评价是在咨询成果完成后,要求会同委托单位共
第1页共20页
同进行的评价，是反映工程咨询单位和相关负责人工作成果质量的正
式评价,是单位质量信誉的主要标志；实施结果评价是在一定期间（如一年)内，由工程咨询单位选择已建成投产的咨询成果进行回访评价，是单位为了在大的工作循环中实现持续改进，进行总结经验的评价。

有了这样分层次的质量评价，可以做到及时发现质量问题，保证最终成果质量,又能不断反馈经验教训，实现持续改进,这样才是实现了质量管理的目的。

ISO质量管理体系的基本方法主要包括的步骤是：
①确定顾客和相关方要求；
②建立质量方针和质量目标；
③确定实现质量目标必需的过程；
④确定必需的资源；
⑤规定测量（对服务性的产品,译为衡量，或称评价更适宜）每个过程有效性的方法;
⑥测量每个过程；
⑦建立和应用持续改进的过程。

这里，确定要求、建立质量目标、确定必需的过程、规定对每个过程的测量方法、测量分析和持续改进反馈等，其中特别是对每个产品实现过程的测量和分析，实际上就是对不同层次（每个过程)的成果质量的评价。

对产品（或服务）整个实现过程的测量可视为最终成果质量评价；对产品（或服务）各阶段实施过程的测量可视为阶段性评价;对产品（或服务）实现后意见反
馈可视为实施结果评价。

第2页共20页
需要指出的是，ISO9000族标准规定要区分“质量管理体系要求
"和“产品要求".在ISO标准中只规定“质量管理体系要求”，而“产品要求”要由贯标单位根据顾客要求和国家法规、规范、产品标准等加以规定。

这一点是十分重要的。

真正的产品（或服务）的质量目标和其测量标准只有根据完善的产品(或服务)要求才能制定出来。

否则没有具体的质量目标和标准,根本谈不上对产品（或服务)质量的真正评价。

我们访问过一些已经通过ISO质量管理体系认证的咨询单位，他们内部各项工作程序都井井有条，责任明确,很规范，符合了质量
管理体系的要求。

但问到对咨询成果质量有何实际效果时，往往没有什么显著变化.问题在于贯彻ISO质量管理体系认证中注意了满足质
量管理体系要求，而对满足产品（服务)要求及其测量没有足够重视,这恰是在贯彻ISO质量管理体系中要下大力解决的问题。

不论我们是否立即开展ISO质量管理体系的认证工作，为了加强工程咨询业的质量管理,都要认真贯彻《中国工程咨询业质量管理导则》，按照ISO质量管理体系的各项要求,把必要的质量管理程序、产品要求的确定和
产品(服务)实现过程的测量（即质量评价）切实抓起来。

这既是加强质量管理的需要,对于没有贯标的单位也是为下一步正式贯标打好基础，对于已贯标的单位是在质量管理体系中补上产品要求评价这一课。

二、咨询成果质量评价的基本方法
工程咨询成果不同于物质产品，一般为一定建设阶段的咨询建议的形式，特别是建设前期各类工程咨询成果，在咨询项目没有实施以
前,难以看到咨询成果质量的实际效果。

因此，不少同志认为咨询成
第3页共20页
果的真正质量要到咨询项目实施后才能看出来.这种说法有一定道理。

但是委托客户的愿望却不是如此。

无例外的,他们肯定都希望在项目
实施前能知道咨询成果是否可靠。

根据这种对咨询建议及时做出质量评价的客观需要，目前国际上通行一种方法，可以概括称为多目标专家评审加权综合的方法。

这里介绍两个示例:
一个是美国战略决策集团（一家世界知名的，专门做决策咨询的咨询公司)马塞森（David Math—eson）1998年著的《精明的组织（The Smart Orca—nizadon）》一书中对评价决策质量采用的方法。

他首先提出，决策者在作出决策的时候就需要一种方法,能确保他们做出最
好的决策.
经过调查了世界几百家企业各种决策的成功和失败的经验，他们总结出评价决策质量的六个衡量(或评价）范围（Dimensions，实际
相当于ISO9000族标准中每个项目质量计划中的质量目标QualirvO
均ective）。

评价时对六个衡量范围分别进行评价，然后加权综合得出总的评价结果。

六个衡量范围及其包含的内容如下：
1.适当的框架(Appropriate frame）
包含内容举例：
（1）是否提出了正确的问题;
（2)任务是否明确了;
（3）所采行动的方向是否与本公司的实力和发展目标相适应,
等。

（这一条，我们理解，大体是反映决策的方向是否正确，是否适
第4页共20页
应宏观形势要求等方面的问题.）
2。

创造性的、可行的比较方案（Creative，doable alternatives）包含内容举例：
(1)是否识别并评估了比较方案；（2）如遇失败,是否有补救方案；（3）有否实施决策的可行方案等。

3。

重要、可靠的信息(Meaningful,reliabe information)
包含内容举例：
(1）是否提出了应有问题，并取得有效答案；
（2)技术和市场成功的机率多少;
(3)是否取得了良好数据断面；
(4）是否听取了公司不同部门的信息等。

4.弄清价值和替换效果（Clear values andtrade-offs）
包含内容举例：
(1）回报与风险的关系如何；(2）将做决策的期望值如何;(3）
失败的代价如何等。

5.逻辑正确的推理（Logically correct reasoning）
包含内容举例：综合以上衡量范围，确定最具价值的方案.
（1）得出的决策意见是否具有清晰逻辑；（2）资金模型说明什么；（3）应能说明建议的决策方案具有明显的竞争优势等.
6。

行动的承诺（Commitment Of action）包含内容举例：
（1）是否从公司不同部门听到不同意见；（2)此决策方案是否已
得到公司全力支持;（3）是否已有实施此决策的可行方案等。

：考
第5页共20页
试大
有了评价的衡量范围,第二步即采用专家评议打分方式，对每个
衡量范围逐一评价。

主要看每个衡量范围中该做的工作是否都高标准地完成了。

如果评审专家认为，该做的全做了，无可补充了，可以给100分;如果工作还不够，可根据应补充的工作约占多大比例给予折扣，如给75或50分等。

决策质量评价采用以下表式：该书推荐的加权综合方式比较独特。

它把决策质量看成是由6个环节（即6个衡量范围）组成的链条，最薄弱的环节将决定整个链条的强度。

因而得分最低的衡量范围应占较大的权重。

书中未给出具体数字,据其几个评价举例推算，大体上最
低得分的权重约占其余5个得分权重之和，即最低得分权重为5，其余得分权重都为1。

第二个示例是国际咨询工程师联合会（菲迪克FIDIC）在《咨询专家工作成果评价指南》中提出的成果质量评价方法。

菲迪克提出，每项咨询成果完成后，要由项目单位会同委托单位共同进行成果质量评价。

质量目标分列技术标准、管理标准和总体标准三项；每项质量目标再根据工作要求，列出若干子目标。

两个示例一致向我们说明了，各类工程咨询成果完成后，需要而且能够及时进行质量评价;对不同工程咨询服务项目来说，在质量目
标和内容上可以确定不同的要求，在评价方法上采用多目标专家评审方式，已成为一种通行的基本作法。

三、各类工程咨询成果质量目标的确定及测量方法
第6页共20页
ISO质量管理体系是一套由“管理职责”、“资源管理”、“产品实
现”和“测量、分析和改进"四大过程彼此相连，形成的持续改进的循环体系。

见《中国工程咨询业质量管理导则》第11页“以过程为基础的质量管理体系模式图”。

每个过程都要运用“PDCA”模式进行管理和控制。

即：
本文讨论的“工程咨询成果质量评价”,在以上四大过程中，主要是讨论“产品（或服务）实现”和其“测量、分析”过程，当然也涉及“管理职责”过程中的识别顾客和相关方要求、制订质量目标和确定实现产品（或服务）所需过程等质量策划工作。

所以说工程咨询成果质量评价是ISO质量管理体系的组成部分,但不是全部；在贯彻ISO标准中，除了做为产品实现过程的测量分析外，还要做好其他几大过程的管理、控制工作。

根据国际咨询工程师联合会（FIDIC)关于《工程咨询业ISO9001：2000标准解释和应用指南》以及《中国工程咨询业质量管理导则》，ISO9001：2000标准中的“产品实现"过程应包括工程咨询公司向客户提供的所有咨询服务。

就整个工程咨询业来说,应包括：规划咨询、编项目建议书（或预可行性研究报告)、编项目可行性研究报告、评估项目建议书或可行性研究报告、工程设计、招投标咨询、工程监理和项目投产后咨询等8个过程的总和。

就每个工程咨询公司来说，应包括公司所从事的各类工程咨询服务过程的总和。

公司既要围绕这一总的产品实现过程建立总的质量管理体系，还要根据公司职能部门和
作业层次质量管理的需要,围绕每类（或每项）工程咨询服务，建立
第7页共20页
起分类（或分项)的质量目标、产品实现过程和测量、分析等管理和
控制。

现在讲的“工程咨询成果质量评价”，即《中国工程咨询业质量管理导则》和去年协会颁发的《工程咨询成果质量评价办法》要求的，对各类工程咨询成果都要制订质量目标、评价标准，开展评价工作，主要是对应ISO质量管理体系这部分对每类（或每项)工程咨询服务实现过程的质量管理和控制。

这是各工程咨询单位建立ISO质量管理体系的重要基础。

当前如何按照ISO标准，结合各类工程咨询服务的“产品要求”，制订各类工程咨询成果的质量目标和测量分析方法,还缺乏实践经验。

本文结合国内外已有的惯例和我国对可行性研究报告质量评价试点的情况,对制订各类工程咨询成果的质量目标的原则和作法，提出一些参考意见。

各有关单位在开展产品实现过程测量分析(即咨询成果质量评价）中，应根据本行业、本单位实际情况，进行必要的补充修改。

（一）制订成果质量目标的原则要求。

在《中国工程咨询业质量管理导则》第三章中,已经就工程咨询业如何制订质量目标、确定必需的实现过程、规定测量每个过程的方法等提出了一些原则要求.各类工程咨询成果的质量目标还应达到以下要求：
1。

目标要求的全面性。

除了要满足ISO质量管理体系要求外，还一定要做到包括工程咨询的产品要求，即顾客和相关方要求,包括：顾客明确（或隐含)的要求,国家有关方针政策、法律法规、有关行业
的规定、标准、规范以及社会有关要求等。

这里要强调的是,要很好
第8页共20页
学习领会，把国家有关方针政策转化为对各类工程咨询成果的具体要
求,都要一一列入质量目标. ：考试大
2.过程分解的充分性。

产品必需的实现过程要根据产品要求逐项确定,每项要求都需要一定的过程来实现；根据ISO标准，有些产品实现过程还应根据工作需要分解为分过程。

这样，每个分过程都订出能够衡量的质量目标，各项产品要求才能真正得以实现。

3.测量（评价）标准的先进性。

ISO9001和9004标准中对质量目标的测量要求，提出要尽可能量化，不能量化的要有能测量的定性要求,在内容上要考虑：
（1）满足顾客要求的程度;
（2）满足相关方要求、政策、法规、规范、规定等的程度;
(3)当前和未来市场需求；
（4）当前业绩水平和竞争对手水平对比等.这些要考虑的内容为我们制订各质量目标的测量(评价）标准指出了重要的思路；同时也说明了，对质量目标测量标准的要求是相当高的。

不仅要认真衡量满足顾客和相关方要求的程度，还要考虑未来市场发展的要求和竞争对手达到的水平等。

这还只是达到质量合格要考虑的测量标准,如果在质量测量（评价)中还要划分等级，质量优秀的标准自然应当以国内外同行业务惯例的较先进水平为、准。

前两年我们在项目可行性研究报告质量评价试点中，有的同志反映，质量评价标准定得太高了,目前许多单位对其中要求的一些工作都还没有做.这恰恰说明了我们一
些可研报告的质量与较先进水平相比还有差距,正表明了我们提高质
第9页共20页
量的努力方向。

(二）顾客和相关方要求的识别示例
为了供各工程咨询单位识别各类工程咨询成果的“产品要求”作参考，本文对各类咨询产品要求做以下探讨性示例，希望起到引导思路的作用。

各单位在实际工作中，要根据具体情况补充调整，务求做到“产品要求”的全面性.
1.关于规划咨询报告的“产品要求”探讨示例
2。

关于项目建议书、可行性研究报告和评估报告“产品要求”示例
3。

关于工程设计“产品要求”探讨示例本文转自项目管理者联盟
4。

招标咨询“产品要求”探讨示例
5。

工程监理“产品要求”探讨示例
以上示例，除关于可行性研究报告部分依据了协会正式颁发的文件外，其余都是探讨性的，未经深入推敲，肯定有许多不完善、不妥之处,只供各单位在识别自身“产品要求”时，做开拓思路的参考。

（三）确定必需的实现过程示例考试论坛
根据ISO标准关于确定产品所需实现过程,以及根据需要分解为分过程的规定，按我国开展可行性研究报告质量评价试点的体会，将必需的实现过程分为产品实现过程和分过程两个层次大体上可以适应需要。

即把同类或同性质的要求归纳列入一个产品实现过程，对其
中各项具体要求列为其分过程.每个过程和分过程分别设定为一个质
第10页共20页
量目标和其子目标。

这样分类归并以后，同类各子目标之间和各类目
标之间按各自重要程度，实行分两个层次加权综合，实践证明是可行的，不致因目标过于分散,使综合变得很困难。

现将几类主要工程咨询成果实现过程的确定示例如下,这里关键是做到每项“产品要求”都要有相应的实现过程或分过程去落实，务求做到过程分解的充分性：
1.关于确定规划咨询报告所需实现过程探讨示例(以某区域规划为例）
2。

关于确定项目可行性研究报告所需实现过程示例（以工业项目为例，项目建议书和评估报告的实现过程可参考模拟）可行性研究报告的实现过程,实际上在《中国工程咨询业质量管理导则》和《工程咨询成果质量评价办法》所附的“可行性研究报告质量评价表"中，已经反映了.该表列出的各质量目标和其子目标，就是按必需的产品实现过程及其分过程提出的目标。

工业项目可行性研究报告实现过程示例。

3.关于确定工程设计所需实现过程探讨示例目前工程设计主要
由国家建设部会同有关部门和行业管理。

本文只从加强和改善宏观指导的角度出发，对工程设计必需的实现过程，提出增加关于设计指导原则的论证过程的建议.目前各单位的工程设计都编写设计总说明，都写一节设计依据,但一般只是列出一系列有关部门批准或通知的文件编号。

对于在本工程具体条件下如何贯彻落实国家有关方针政策和
批准的可行性研究方案，缺乏从设计指导思想原则上进行认真论证，
第11页共20页
对设计工作的宏观指导不够有力。

建议在工程设计必需的实现过程中增加以下内容：
4.关于确定工程监埋所需实现过程探讨示例工程监理服务不同
于其他类工程咨询服务，其服务质量不完全表现在书面咨询报告等文件的质量上，而在很大程度上直接表现在参加监理组的工程咨询人员的行动效率和效果上。

因而对参加监理人员的动员和激励，对确保监理服务的质量十分重要。

在确定工程监理质量目标时，把属于管理职责过程中的动员员工的要求，同时列入必需的产品实现过程，与其他必需的工作过程一起，共同订出质量目标进行衡量考核是十分必要的.
(四）关子质量目标和测量(衡量、评价）标准的制订
ISO9001和9004标准对制定质量目标和测量标准的要求，在前
文第三部分已简要做了叙述.下面再结合前文对识别“产品要求”和
确定必需的实现过程的分析，就制订测量标准的要求归纳如下：
1.质量目标由针对各产品实现过程实施情况的测量标准组成，应包括满足全部“产品要求”所需内容。

2.测量(评价）标准应按每个分过程逐一确定，构成质量子目标;开展划分质量等级评价时,测量标准要分等级提出；各产品实现过程
质量目标的评价由其各子目标评价结果加权综合得出，不需对产品实现过程再定综合测量标准(无分过程的产品实现过程除外）。

（参见《中国工程咨询业质量管理导则》所附“可行性研究报告质量评价表”的模式）。

3。

测量标准应包括以下内容:
第12页共20页
(1）满足顾客要求的程度；
（2）满足相关方要求（包括政策法规、规范、标准、成果内容和深度规定等）的程度;
(3）本行业业务惯例达到的水平；
（4）市场发展和业务竞争对手达到的水平.
4。

测量标准应尽可能量化,（一般来说，工程咨询作为一种智力服务,能够量化的测量标准可能是有限的）；不能量化的，要提出明确具体的定性要求，做到：
(1)要求进行何种工作，如调查、分析、论证、制定、提出……等,要表达全面、清楚.
（2）要求进行工作的内容、方向或范围等要尽可能写得全面、具体。

如在“可行性研究报告质量评价表"中,对进行技术多方案比选分过程的测量标准,规定要对两个以上方案进行技术、经济效益、风险分析等三个方面的综合比选。

(3）在质量等级上可以用：“全面、充分、详细”，“较全面、较充分、较具体"，“简明、一般”和“没有"等词语进行区分。

这样在质量测量(评价)中，尺度比较明确，便于进行质量等级评价或评分。

对各类工程咨询成果质量测量(评价）标准,本文不再示例，“可行性研究报告质量评价表”中的模式可供参考。

(五）关于质量目标测量（评价）结果加权综合问题
由于质量目标是随“产品实现过程”和其“分过程"制定，因此
也形成了质量目。

标和子目标两个层次,在质量评价结果加权综合时，
第13页共20页
也要分两个层次进行。

第一步先将同一质量目标中的几个子目标评价
结果加权综合出该质量目标的评价结果;第二步再将各质量目标的评价结果加权综合出成果的总评价结果.
关于加权综合方法，我们建议，综合采用前文介绍的“链条强度”原则和“重视程度”原则两种方法。

先按对各质量子目标和目标的“重视程度”，确定各评价结果的“权重"，分两层次加权综合后得出总评价结果；再按“链条强度"原则,根据不合格质量子目标（较差链条）的影响程度,对总评价结果做出必要调整。

可参阅下文对可行性研究报告质量评价的综合结果说明。

本节内容是单独就各类工程咨询成果质量评价的原则和方法讲的。

各单位在贯彻ISO标准时，应将本单位承担的各类工程咨询成果的上述工作,按照ISO标准要求,统一融人整个ISO质量管理体系的文件中。

各单位在执行具体委托项目，制定项目质量计划、质量目标时，还应根据项目具体情况，对上述统一的目标要求做出增减调整.
四、关于项目可行性研究报告及其评估报告质量评价表的说明
众多建设项目的经验证明，在各类特别是建设前期工程咨询成果中，可行性研究报告质量的高低，是影响项目成败的最关键的环节。

为此，2000年中国工程咨询协会第二届第二次常务理事会通过颁发的《工程咨询成果质量评价办法》规定，在行业年检工作中，将编制和评估项目可行性研究报告的质量评价列入年检考核内容;对其他各类工程咨询成果的质量评价,只按单位做一般考核。

2001年中咨协会
第二届第二次理事会通过颁发的《中国工程咨询业质量管理导则》并
第14页共20页
附发了编制和评估项目可行性研究报告质量评价表.
下面以工业项目可行性研究报告和其评估报告质量评价表为例,做一些说明。

(一）质量目标的确定
1.可行性研究报告的质量目标，参看“工业项目可行性研究报告质量评价表”。

根据前文论述的编写原则，要全面包括各方面的“产品要求”;对必需的“产品实现过程”和分过程的实施情况逐一列入质量目标；质量测量(评价）标准贯彻先进性原则。

“质量评价表"根据可行性研究报告必需的产品实现过程和分过程，共列出了6个质量目标和27个子目标。

其中提出量化目标的，只有市场调查的时域要求和投资估算准确性要求两个子目标，其余都是定性要求.对表中体现的质量目标的全面性、充分性和先进性，重点举例说明如下：例1，列入了贯彻宏观调控政策的5项具体内容要求，使宏观方针政策全面具体落实到项目决策中。

关键是要识别有哪些有关方针政策,对项目有哪些方面的要求，要逐一提出论证的要求。

这对顾主和相关方都是十分关心的.当然方针政策的具体内容要求,可能要随时间发展或项目不同进行调整。

例2，在市场调查分析的质量目标中，列出了市场调查地域和时域，调查市场影响因素变化和制定营销战略等子目标。

这些在我们目前编制的可行性研究报告中，多数没有很好地进行，这也正是很多项目实施后,实际市场情况往往与原来预计出现较大出入的主要原因。

现在的质量评价表，要求严格按照可行性研究报告编制内容和深度的
第15页共20页。