财政支出绩效评价与项目管理(7)

具体方法是： 将矩阵X划分成两部分：其前p-1列记为X1，最后一 列记为X2，并用S11、S22、S12表示二者的方差及协方差， 则在满足正态分布的假定下，有X2的条件广义方差式：
若上式的值小于一个预定的水平，就删除指标p。 依此类推，逐步删除与其他指标相关度较高的指标。
财政支出绩效评价与项目管理(7)
（3）不重视指标体系的可靠性和稳定性 即使采用相同的指标体系，不同的评
价专家由于对指标的理解不同,特别是某些 定性指标易受主观因素的影响,致使评价结 果差异较大。
财政支出绩效评价与项目管理(7)
针对第一个问题,需要对指标进行适当 的约简，以恰当处理指标体系的全面性与 精炼性的问题。
针对第二个问题，需要对指标体系的 有效性实施科学的测度，以便形成能够充 分体现绩效评价目的的指标体系。
对于指标数量不太多的情形，可以快速 约简，从空集开始，一个个地增加指标的个数， 每一次选择增加最大分类质量γ(X)的指标加 入当前的指标子集。重复这一过程直到分类质 量γ(X)达到1或等于整个指标集的分类质量。
财政支出绩效评价与项目管理(7)
(3)无统计数据或统计数据非常有限的 指标体系的约简
当指标体系不能获得统计数据,如对于 新建系统的评价,或者所能获得的统计数据 非常有限,需要依靠专家知识来进行指标的 筛选和约简,可以采用Vague集方法。
财政支出绩效评价与项 目管理(7)
2020/12/22
财政支出绩效评价与项目管理(7)
1、选择财政支出绩效评价指标应遵循 的基本原则
（1）代表性 所选定的指标应能在某一个方面准确
地刻画出评价对象的绩效。 （4）重要性 所选择的指标应能刻画出评价对象财政
支出绩效的重要特征。 （2）特异性或独立性 所选取的指标应能从一定角度反映某
如果依据指标体系所得到的评价数据与 “理想数据”的贴近度大于设定的阈值,则 该指标体系具有较好的稳定性和可靠性。
1、选择财政支出绩效评价指标应遵循 的基本原则
（1）代表性 所选定的指标应能在某一个方面准确
地刻画出评价对象的绩效。 （2）重要性 所选择的指标应能刻画出评价对象财政
支出绩效的重要特征。 （3）特异性或独立性 所选取的指标应能从一定角度反映某
一方面的的信息，且不能被其它指标所代 替。
财政支出绩效评价与项目管理(7)
支出绩效的重要特征。 （2）特异性或独立性 所选取的指标应能从一定角度反映某
一方面的的信息，且不能被其它指标所代 替。
财政支出绩效评价与项目管理(7)
（3）敏感性 所选取的指标应该区别力强，能较好地反
映不同评价对象在财政支出绩效方面的差异。 （4）可靠性 所选指标真实、可靠，能准确反映实际情
况。 （5）可获得性 所选指标为常规资料，容易得到。
财政支出绩效评价与项目管理(7)
（3）敏感性 所选取的指标应该区别力强，能较好地反
映不同评价对象在财政支出绩效方面的差异。 （4）可靠性 所选指标真实、可靠，能准确反映实际情
况。 （5）可获得性 所选指标为常规资料，容易得到。
财政支出绩效评价与项目管理(7)
七、绩效评价指标体系的筛选
财政支出绩效评价与项目管理(7)
财政支出绩效评价与项目管理(7)
1、选择财政支出绩效评价指标应遵循 的基本原则
（1）代表性 所选定的指标应能在某一个方面准确
地刻画出评价对象的绩效。 （4）重要性 所选择的指标应能刻画出评价对象财政
支出绩效的重要特征。 （2）特异性或独立性 所选取的指标应能从一定角度反映某
一方面的的信息，且不能被其它指标所代 替。
财政支出绩效评价与项目管理(7)
4、评价指标的鉴别力分析
所谓评价指标的鉴别力指的是评价指标区分评 价对象特征差异的能力。
如果所有的评价对象在某个评价指标上的取值 高度地近似，则说明该评价指标鉴别评价对象业绩 差异的能力很差，则从绩效评价的目的角度考虑， 这些指标应被剔除：
①最小均方差法
首先计算各评价对象在每一个指标上取值的均方 差。
如果依据指标体系所得到的评价数据与 “理想数据”的贴近度大于设定的阈值,则 该指标体系具有较好的稳定性和可靠性。
财政支出绩效评价与项目管理(7)
确定出合适的指标体系，并得到相应的 评价值之后，数据的预处理就成为最终得 出评价结果之前的最后一道工序。
7、数据预处理(又称规范化)的原因
（1）有些指标的值越大越好，如科研 成果数、科研经费等是效益型。有些指标 的值越小越好，称作成本型。另有一些指 标值的属性既非效益型又非成本型。例如 高校的生师比值过高，学生的培养质量难 以保证；比值过低；教师的工作量不饱满。
财政支出绩效评价与项目管理(7)
4、评价指标的鉴别力分析
所谓评价指标的鉴别力指的是评价指标区分评 价对象特征差异的能力。
如果所有的评价对象在某个评价指标上的取值 高度地近似，则说明该评价指标鉴别评价对象业绩 差异的能力很差，则从绩效评价的目的角度考虑， 这些指标应被剔除：
①最小均方差法
首先计算各评价对象在每一 所选取的指标应该区别力强，能较好地反
映不同评价对象在财政支出绩效方面的差异。 （5）可靠性 所选指标真实、可靠，能准确反映实际情
况。 （6）可获得性 所选指标为常规资料，容易得到。
财政支出绩效评价与项目管理(7)
2、当前财政支出绩效评价指标体系构 建实践中存在的问题
（1）不能很好地解决指标的全面性、代 表性、精炼性之间的矛盾
然后剔除其中样本均方差近似为零的指标。
②极小极大离差法
首先在每一个指标下计算各评价对象的最大取值 与最小取值之差。
然后剔除其中离差过小的指标。
财政支出绩效评价与项目管理(7)
(4)复杂非线性系统的指标体系的约简 当评价对象为复杂非线性系统时，难 以通过统计数据找出指标间存在的相关性， 可以利用神经网络的映射和泛化能力，基 于神经网络的权值谱分析方法，将指标值 作为神经网络的输入，指标到各个隐层神 经元的平均权值即为指标的谱值，反映指 标对输出结果的影响，最后选取对输出结 果的相对贡献率大的指标，相对贡献率小 的指标略去。
财政支出绩效评价与项目管理(7)
上述方差-协方差矩阵的行列式 ，就 是所谓的广义方差。
可以证明： 当广义方差达到极大值的时候，说明p 个指标相互独立； 而当广义方差等于零的时候，说明p个 指标完全线性相关。 因此，广义方差的大小可以反映指标间 的相关性。我们可以剔除广义方差较小的 指标。
财政支出绩效评价与项目管理(7)
这几类指标放在同一表中不便于直接 从数值大小来判断优劣，因此需要对指标 数据进行预处理，使所有指标的取值与其 优劣的对应关系相同。
财政支出绩效评价与项目管理(7)
(2)通过贴近度检验指标体系的稳定性 和可靠性
由多位专家用某个指标体系对评价对 象进行评价,用贴近度反映评价数据与“理 想数据”之间的接近程度,接近程度越高, 贴近度越大。
一方面的的信息，且不能被其它指标所代 替。
财政支出绩效评价与项目管理(7)
七、绩效评价指标体系的筛选
财政支出绩效评价与项目管理(7)
1、选择财政支出绩效评价指标应遵循 的基本原则
（1）代表性 所选定的指标应能在某一个方面准确
地刻画出评价对象的绩效。 （4）重要性 所选择的指标应能刻画出评价对象财政
针对第三个问题，需要对不同专家的 评价数据进行差异度分析,以提高绩效评价 结果的稳定性和可靠性。
财政支出绩效评价与项目管理(7)
3、指标体系的约简 (1)有统计数据的可量化指标体系的约 简 约简的目的就是剔除区分能力弱、相 关性强的指标。 对于量化的、有统计数据的指标体系, 可采用一些常规统计方法实施简约。 例如,条件广义方差极小法、极大不相 关法、选取典型指标法等。
然后剔除其中样本均方差近似为零的指标。
②极小极大离差法
首先在每一个指标下计算各评价对象的最大取值 与最小取值之差。
然后剔除其中离差过小的指标。
财政支出绩效评价与项目管理(7)
③变差系数法 我们把所有评价对象在某个指标上的 取值的标准差与相应的均值之比，称为变 差系数。 则变差系数越大，说明该指标的鉴别 力越强。我们可以把变差系数小于特定值 的指标剔除。
财政支出绩效评价与项目管理(7)
用条件广义方差极小法进行指标约简, 就是用广义方差来反映指标内部的相关性。
例如，假定有p个指标，n个评价对象， 各评价对象的指标值如下所示：
财政支出绩效评价与项目管理(7)
计算每一个指标的均值： 计算每一个指标的方差：
财政支出绩效评价与项目管理(7)
计算每两个指标间的协方差： 进而得到方差-协方差矩阵：
财政支出绩效评价与项目管理(7)
(1)通过稳定性系数检验指标体系的稳 定性和可靠性
计算s次专家评价数据与其平均值的差 异程度,从而反映出对同一指标体系s次评 价数据的差异性,差异越小,则该指标体系 稳定性越高。
财政支出绩效评价与项目管理(7)
(2)通过贴近度检验指标体系的稳定性 和可靠性
由多位专家用某个指标体系对评价对 象进行评价,用贴近度反映评价数据与“理 想数据”之间的接近程度,接近程度越高, 贴近度越大。
财政支出绩效评价与项目管理(7)
(1)采用效度系数法测度指标体系的有 效性
效度系数法反映了在用同一指标体系 进行评价时不同专家认识的偏离程度,效度 系数值越小,则指标体系的有效性越高。当 指标体系的效度系数小于0.1时,则该指标 体系的有效性较高。
这一方法可从多个评价者所建立的指 标体系中选取最有效的。
财政支出绩效评价与项目管理(7)
5、指标体系有效性的测度 在多个评价者采用同一指标体系对评 价对象进行评价时，认识的偏离程度越小, 得出的评价结果差异越小，说明对该指标 体系所具备的评价作用的认识越一致,该指 标体系的有效性越强。 如果多组专家采用同一组指标的评估 结果差异太大，我们就认为该指标体系不 能有效实现评价的目标，就应该抛弃之。
用极大不相关法进行指标约简,就是计 算每一个指标与其它指标之间的线性相关 程度,当大于某临界值时,可以去掉该指标。
用典型指标法进行指标约简,就是先对 指标进行聚类，然后计算每一个类中每一 指标与其它指标的相关系数，最后选择其 中相关系数最大的指标作为该类指标中的 典型指标。
财政支出绩效评价与项目管理(7)
指标体系的构建者往往希望指标体系 能涵盖绩效评价应涉及的方方面面,这就很 容易导致指标的数目过多,出现相关指标、 冗余指标、重叠指标。
财政支出绩效评价与项目管理(7)
（2）对指标体系的有效性重视不足 不同的评价者基于不同的知识、经验、
思维,会构建不一样的指标体系,究竟哪个 指标体系更科学,得到的评价结论更有效, 没有客观的标准来衡量。
(2)针对定量指标和定性指标并存的指 标体系的约简
当指标体系中既存在定量指标,也存在 定性指标时,定量指标的评价可以依据统计 数据,而定性指标的评价则由专家根据知识、 经验来主观评价。
针对这种类型的指标体系，可采用粗 糙集方法进行指标约简。
财政支出绩效评价与项目管理(7)
运用粗糙集进行指标筛选和约简,有多种 思路。
财政支出绩效评价与项目管理(7)
(2)采用结构方程模型方法测度指标体 系有效性
当有条件进行抽样问卷调查时,可采用 结构方程模型来测度指标体系有效性。
结构方程模型是一种实证分析模型方 法,通过寻找变量间内在的结构关系,以验 证某种结构关系或者模型。
财政支出绩效评价与项目管理(7)
6、指标体系稳定性和可靠性的检验 指标体系的稳定可靠性检验，重在考 察对某一指标体系的多次评价结果之间的 “差异度”或评价结果与理想值的“贴近 度”。 如采用某指标体系得到的评价数据与 “理想数据”越接近,则该指标体系反映评 价对象的能力就越强,该指标体系的稳定可 靠性就更高。
Vague集方法充分利用专家知识,表示专 家支持、反对和弃权的情况,且方法简单易 行。
财政支出绩效评价与项目管理(7)
(4)复杂非线性系统的指标体系的约简 当评价对象为复杂非线性系统时，难 以通过统计数据找出指标间存在的相关性， 可以利用神经网络的映射和泛化能力，基 于神经网络的权值谱分析方法，将指标值 作为神经网络的输入，指标到各个隐层神 经元的平均权值即为指标的谱值，反映指 标对输出结果的影响，最后选取对输出结 果的相对贡献率大的指标，相对贡献率小 的指标略去。