项目评价中指标体系选取的有效性及优化

项目评价中指标体系选取的有效性及优化

指标体系的构建是进行项目综合评价的基础和关键。本文分析了指标体系构建中的问题，并针对指标体系全面性与代表性、精炼性的矛盾，提出指标体系约简的思路；针对指标体系有效性难以测度的问题，及指标体系的稳定性和可靠性难以检验的问题，尝试性提出了解决思路。

关键词：指标体系构建约简有效性测度稳定性可靠性

指标体系构建中的问题

指标体系的构建是进行综合评价的基础和关键。然而，在实际的评价研究和项目实践过程中，指标体系的构建主要存在以下三个方面的问题：

指标的全面性和代表性、精炼性之间的矛盾。指标体系的构建者往往希望指标体系能涵盖评价问题的各方面要素，但这样会导致指标数量过多，出现相关指标、冗余指标和重叠指标，这就需要对指标进行约简。

指标体系的有效性难以测度。不同的评价者基于不同的知识、经验、思维，会构建不一样的指标体系，究竟哪个指标体系更科学，得到的评价结论更有效，没有客观的标准来衡量，这就需要建立指标体系有效性的测度方法。

指标体系的可靠性和稳定性检验。不同的评价专家由于对指标的理解不同，特别是某些定性指标易受主观因素的影响，致使评价结果差异较大。因此，需要对评价数据进行差异度分析，差异度越小，指标体系的稳定性和可靠性系数就越高。

本文力求解决指标体系构建过程中的这三个突出问题，优化指标体系的构建。

指标体系的约简

（一）有统计数据的可量化指标体系的约简

对于量化的、有统计数据的指标体系，可采用统计方法，如条件广义方差极

小法、极大不相关法、选取典型指标法等。用条件广义方差极小法进行指标约简，核心是用广义方差ISI来反映指标内部的相关性；用极大不相关法进行指标约简，其核心是计算指标Xi与其它p-1个指标之间的线性相关程度，当大于某临界值时，可以去掉该指标；用典型指标法进行指标约简，其核心是对指标进行聚类，计算类中每一指标与其它指标的相关系数，从而确定典型指标。

针对这类指标体系，挖掘指标的差异性、相关性等，去除区分能力弱、相关性强的指标，具有一定的客观性。但会受到所选取样本数据的影响，而且这类方法过于强调从统计数据中挖掘指标特性，忽略了人的思维的作用，常会得到与事实不相符的指标特性，出现“误筛”或者“漏筛”指标的现象。因此，必须主客观相结合、定性与定量相结合，通过人的思维和定性分析，克服纯粹定量方法的局限性。

（二）定量指标和定性指标并存的指标体系约简

当指标体系中既存在定量指标，也存在定性指标时，定量指标的评价可以依据统计数据，而定性指标的评价则由专家根据知识、经验来主观评价。采用粗糙集方法进行指标约简，能同时兼顾定量指标的客观性和定性指标的主观性，因为粗糙集方法能有效处理不确定、不精确、需要主观判断的问题。

运用粗糙集进行指标筛选和约简，有多种思路：对于指标数量不太大的情形，可以快速约简，从空集开始，一个个地增加指标的个数，每一次选择增加最大分类质量γ(X)的指标加入当前的指标子集，重复这一过程直到分类质量γ(X)达到1或等于整个指标集的分类质量；根据指标重要性进行约简，若决策表S=(U，A，V，f)，A=CUD，CID=φ，C为指标集，D为评价结果所构成的集合（决策属性集），则指标a∈C基于依赖度的指标重要性为：sgf(a，C)=g(C，D)-g(C-{a}，D)，反映剔除了指标a时对指标体系分类能力的影响大小；建立区分矩阵Cij来进行指标精简。，在此基础上构造区分函数，求Cij中的各个指标的析取及所有Cij 的合取，运用吸收律化简区分函数为标准式，所得的蕴含式包含的指标，就是约简后的指标集。粗糙集方法能保证在不降低评价效果和质量的前提下对指标体系进行精简，去除冗余和相关的指标。

（三）无统计数据或统计数据非常有限的指标体系约简

当指标体系不能获得统计数据，如对于新建系统的评价，或者所能获得的统计数据非常有限，需要依靠专家知识来进行指标的筛选和约简，可以采用Vague 集方法。建立从原始指标集X到约简指标集X`的Vague集关系R，指标xi的重要程度可以表示为(tx`(xi)，1-fx`(xi))。其中，tx`(xi)表示xi隶属于约简指标集X`的真隶属函数值；fx`(xi)表示xi隶属于约简指标集X`的假隶属函数值；0≤tx`(xi)+fx`(xi)≤1。核函数Sx`(xi)=tx`(xi)-fx`(xi)，若Sx`(xi)≥α（α为重要性标准），则xi入选约简指标集X`。Vague集方法充分利用专家知识，表示专家支持、反对和弃权的情况，且方法简单易行。

（四）复杂非线性系统的指标体系约简

当评价对象为复杂非线性系统时，难以通过统计数据找出指标间存在的相关性，可以利用神经网络的映射和泛化能力，基于神经网络的权值谱分析方法，将指标值作为神经网络的输入，指标到各个隐层神经元的平均权值即为指标的谱值，，反映指标对输出结果的影响；各指标对于输出结果的贡献率为，其中即指标对输出结果的相对变化量；最后选取对输出结果的相对贡献率大的指标，相对贡献率小的指标略去。用神经网络进行指标筛选和约简，建模过程简化且精度较高。

因此，应根据指标体系的特性（定量或定性指标、定量指标的统计数据等）和评价对象的特点（是否为新建系统、是否为复杂非线性系统等），选择相应的指标约简的方法。

指标体系有效性的测度

如果评价者用某一指标体系对评价对象进行评价时，认识的偏离程度越小，得出评价结果差异越小，说明对该指标体系所具备的评价作用的认识越一致，该指标体系有效性越强。

（一）效度系数法测度指标体系有效性

设指标体系为C={c1，c2，...，cn}，参加对该指标体系进行评价的专家人数为s，若专家j对各指标的评分集为Xj=(x1j，x2j，...，xnj)，指标体系的效度系数：。其中，，q为指标ci的评语集中的评分最优值。这一效度系数法反映了在用同一指标体系进行评价时不同专家认识的偏离程度，效度系数值越小，则指标体系的有效性越高。当指标体系的效度系数小于0.1时，则该指标体系的有效性较高。这一方法可从多个评价者所建立的指标体系中选取最有效的。

（二）结构方程模型方法测度指标体系有效性

当有条件进行抽样问卷调查时，可采用结构方程模型来测度指标体系有效性。结构方程模型（SEM）是一种实证分析模型方法，通过寻找变量间内在的结构关系，以验证某种结构关系或者模型。这一方法可以用于指标体系有效性的测度，并且体现出了主客观相结合构建指标体系的思想。结构方程模型方法测度指标体系有效性的过程，如图1所示。

指标体系稳定性和可靠性的检验

指标体系的稳定可靠性检验，重在考察对某一指标体系的多次评价结果之间的“差异度”或评价结果与理想值的“贴近度”。如采用某指标体系得到的评价数据