科技项目后评价方法及指标体系研究

科技项目后评价方法及指标体系研究

摘要：针对科技项目的特点，基于后评价视角，构建了基于AHP-fuzzy方法的科技项目评价模型以及科技项目科技绩效评价指标体系，并针对目前的研究提出了科技项目绩效评价的改进意见。

关键词：科技项目；fuzzy算子；模糊数学；指标体系；AHP方法

1 引言

近几年，科技项目逐渐增加，科技项目完成情况及其所带来的经济、社会效益越来越受到相关部门的重视。尤其随着我国科技项目管理体制的日臻完善，对科技项目的评价已成为提高项目决策者和管理者的专业技术水平，改进科技项目决策和管理的重要途径。

在科技项目的评估设计中，评估模型的选择和评估指标体系的构建是项目评估的重要环节，本文以后评价视角，对科技项目评估指标体系的建立进行探讨并且提出一种基于AHP-fuzzy的综合评价法。

2 科技项目绩效评估体系的构建

2.1 基本内容

指标体系的构建是科技项目评价的基础，基于AHP-fuzzy方法的指标体系，首先把复杂问题分解成称之为元素的各组成部分，把这些元素按属性不同分成若干组，以形成不同层次。同一层次的元素作为准则对下一层的某些亦起支配作用，同时它又受到上一层元素的支配。这种从上至下的支配关系形成了一个递阶层次。经验表明，最合理的指标体系的层次为3-4层，在此我们采用三层指标体系，即：目标层、准则层、因素层。

2.2指标体系构建的原则

设计科技计划项目评价指标系统时，除了遵循统计学的一般规律以外，还应该遵循以下基本原则:

（1）导向性原则

指标体系有利于发挥财政宏观调控的导向性和贯彻相关政策的激励性。通过评估指标体系以可操作、可量化的形式注重财政投入成本与效益，确定优先资助项目，引导项目承担单位重视科技项目投入产出绩效，同时引导社会资金的投入。

（2）可比性原则

建立科技计划项目评估指标系统的目的是要对科技计划项目进行综合评价，而这种评价只有通过科技项目之间、指标之间相互比较，才能更充分地体现出来。因此，必须考虑指标之间的可比性和通用性，即要求指标建立在统一的统计口径之内和相同的可比的基准点之上进行量化和比较。

（3）可行性原则

设计指标系统，既要从理论上注意它的完整性与科学性，又要注意到它在现实中的可行性与适用性。所设计的指标系统应该能准确、可靠、简洁地描述评估对象和实现评估目的。

（4）整体优化原则

对科技项目的综合评价也面临着多目标的决策，因此不能用局限性较大的单一指标进行评价，而要建立一套各有侧重，又相互联系的指标系统来反映科技项目的总体绩效，但是指标不能太多，以免失去评价的重点。因此，突出有限目标，尽量选择那些有代表性的综合指标，就是整体优化原则的核心。

（5）动态完善原则

对科技项目的综合评估是一项长期的不断完善的动态任务。坚持动态完善原则，根据科技项目管理的新要求和科技评估方法的变化.逐年修订指标系统和权重系数，就可能更准确地反映出各科技项目执行的总体绩效，就可以避免因仅仅关注某一年份的评价结果而出现的偶然性结果。

(6) 分类评价原则

每类科技项目，都具有不同的特征，因此，在对科技项目进行绩效评价是建立在科学合理的分类基础之上的。

2.3构建分类指标体系

指标体系的构建程序如图1所示：

图1

基于以上原则和构建程序，根据联合国教科文组织对科技活动作的界定[1]科技活动中科学研究与试验发展（R&D）包括基础研究、应用研究、试验发展三类活动，下面给出基础研究项目评估指标体系如表1所示。

3 评价方法

3.1 层次分析法

层次分析法（analytic hierarchy process,简称AHP法）是美国运筹学专家T.L.Saaty 教授在20世纪70年代提出的一种定量和定性相结合的多目标决策分析方法[2]，他将决策者对复杂系统的决策思维过程以量化的形式表示,通过简洁的计算得出各方案的相对重要性排序,从而使复杂的问题明朗化,决策者的思路条理化。

3.2 模糊评价法

1965年，Zade提出了著名的模糊集理论[3]，通过不断广泛深入的研究形成了一门新的学科--模糊数学。模糊集理论有效的描述了客观事物的模糊性，是对一类客观事物及其性质更合理的抽象，是传统集合论的必然推广。

3.3 AHP-Fuzzy方法

基于层次分析法的模糊综合评判模型的具体计算过程如下:

（1）建立科技项目多级评价指标体系，建立因素集及评判集并划分因素集。

(2) 用层次分析法研究评估指标的权重。具体计算过程用SPSS软件实现。

(3) 建立待评估项目的二维模糊关系矩阵。

(4) 综合测评。

表1

3.3.1指标权重的确定

层次分析法的主要步骤：

（1)根据科技项目评价指标体系的设计思想和原则，根据影响科技活动的各个因素的内容及表现、特点及分类，构建一个由目标层、准则层、方案层组成的递阶层次模型，如表1。

（2）通过比较下层元素对于上层元素的相对重要性建立判断矩阵A。按层次分析法的要求，判断矩阵是通过两两比较下层元素对于上层元素的相对重要性，并把比较结果用一个数值表示出来得到的。T.L.Saaty 提出了一个1-9 标度法，如表2。

表2

（3)层次单排序。计算各判断矩阵的特征值最大值及其所对应的特征向量，得出层次单排序，获得指标层对于目标层的重要性数据序列，从而获得最优决策。先解出判断矩阵A的最大特征值λmax，再利用公式:A ω = λmaxω。解出λmax 所对应的特征向量ω。经过标准化后即为同一层次中相应元素对于上一层次中某个因素相对重要性的排序权值。

（4）一致性检验。由于问题复杂程度不尽相同，不可能要求所有判断都完全一致，但却应该使判断有大体上的一致性。因此需要对判断矩阵A 进行一致性检验。首先计算A 的一致性指标CI:CI=(λmax-n)/(n-1)。

为了更客观准确的反映评价因素的重要程度，还可以在层次分析法的基础上引入其他方法对层次分析法进行完善，比如在判断数值标度时引入模糊集理论[4]。同时，在确定权重时，构造判断矩阵是关键。要提高数值的精确性和准确性，必须由有经验的营销管理专家、管理者和员工共同参与同时要为决策者的决策赋权。

3.3.2综合测评过程

如表1 所示的指标体系，准则层A={A1,A2,A3},其中A1={A11，A12，A13，A14}、A2={A21，A22，A23}、A3={A31，A32，A33，A34}。假定评判集