电子政务绩效评估BSC_AHP模型及应用

2009年第4期
科技管理研究Science and Technol ogyM anage ment Research
2009No 14
收稿日期:2008-08-25,修回日期:2008-10-30
基金项目:河北省优秀专家出国基金(200350)和河北省社科基金(200607011)重点资助项目
文章编号:1000-7695(2009)03-0142-04
电子政务绩效评估BS C -AHP 模型及应用
张亚明,刘海鸥
(燕山大学经济管理学院,河北秦皇岛　066004)
摘要:首先分析电子政务绩效评估的国内外研究现状,然后在深入剖析平衡计分卡(BSC )和层次分析法(AHP )的基础上,将二者优势互补,建立一种新的电子政务绩效评估BSC -AHP 模型,从而解决平衡计分卡法应用设计中指标体系权重难以确定的问题,使平衡计分卡法对电子政务绩效的测评更加客观、准确。

最后通过对某市电子政务网站的BSC -AHP 模型运用,证明该模型的可行性。

关键词:电子政务;绩效评估;BS C -AHP 模型;平衡计分卡;层次分析法中图分类号:F22419 文献标识码:A
随着电子政务建设的不断推进,电子政务绩效评估研究
引起了各国的高度重视,许多研究机构、咨询公司和学者对其进行了广泛深入的研究。

电子政务的绩效评估,是指运用一定的评估指标和评估标准,按照一定的程序,通过定量定性对比分析,对电子政务一定运营期间的运营效益和运营者业绩做出客观、公正和准确的综合评判[1]。

电子政务绩效评估是保证电子政务全面、协调和可持续发展的必然要求,对于提高政府效率和效益,改善政府治理水平和提升政府治理能力具有重要意义。

本文在分析和比较国内外几种有影响的评估指标体系基础上,提出了一个基于BSC 和AHP 的电子政务绩效评估BSC -AHP 模型,以期对中国电子政务评估建设有所裨益。

1　国内外电子政务绩效评估研究综述
111　国外研究综述
近年来,随着电子政务的快速发展,国外很多大型机构对电子政务绩效评估进行了研究,其中较有影响的有爱森哲(Accenture )公司、Gartner 、T NS 公司、联合国的公共经济与公共行政署与美国行政学会、美国布朗大学(B r own )、美国Ne w Jersey Ne wark 州立大学电子政务协会与韩国Sungkyunk 2wan 大学等。

世界著名的埃森哲咨询公司(Accenture )从2000年就开始用其独有的评分系统对发达国家的电子政务进行评分并发布年度报告。

2003年在对22个国家级电子政府进行了量化测评采用电子政府“总体成熟度”的概念,将政府网站的绩效类同于电子政务的整体流程绩效,以此综合考察政府的网络战略和国民利用电子政务的具体状况[2]。

该评估指标体系的优点是便于测评和量化分析,并且突出了电子政务服务于民的宗旨,但在运用过程中需要注意测评针对的是网站的外在表现,而非全程的管理实际情况,因此有出现误判的可能。

与Accenture 评估不同的是,Gartner 的电子政府战略评估体系并不是对世界各国电子政务发展水平作横向的比较,而是对某国特定电子政务项目的有效性进行评估。

它主要从三个方面(公民的服务水平、运行效益以及政治回报)来评估电子政务项目的有效性,每个大类又包含一系列具体参数,在确定了指标体系后,立即收集评估对象的相关数据,然后代入相应的评分规则,最后通过评分来反映评估对象的基本
面貌、素质和水平[3]。

可见,Gartner 公司的评估指标还是比较量化的一套电子政务绩效评估指标体系。

2002年,联合国的公共经济与公共行政署(United Nati ons and D ivisi on f or Public Econom ics and Public Ad m inistrati on )与美国行政学会(the American Society f or Public Ad m inistrati on )对联合国190个成员国的电子政务建设进行了调查研究与分析比较,提出了电子政务绩效评估的指标体系,主要包括政府网站状况(W eb Presence M easure )、基础设施状况(I nfrastructure Meas 2ure )和人力资源状况(Hu man Cap ital Measure )三个方面,计算衡量了各国电子政务发展水平的“电子政务指数”,并以此对133个成员国的电子政务发展水平进行了评估,并且还将以上三方面指标汇总,把全球的电子政务分为四个层级:高电子政务能力(H igh E -govern ment Capacity ),中等电子政务能力(M ediu m E -govern ment Capacity ),基本电子政务能力(M ini m al E -govern ment Capacity )和缺乏电子政务能力(Deficient E -govern ment Capacity )[4]。

该评估体系的优点是,所衡量的指标都能从公开出版物上找到数据,但是,该报告对于“政府网站建设现状”、“信息基础设施建设”以及“人力资源素质”三个方面的权重分配情况以及各子方面的权重分配情况未做详细说明,也没有给出具体的计算公式,因此可操作性还有待商榷。

此外,要使用这个绩效评估指标体系进行评估,被评估的国家必须满足以下一些条件:提供信息发布、互动性业务以及在线处理业务;在教育、医疗健康、劳动就业、社会福利与服务、金融5个关键部门建有网站并提供在线服务;使用单一的入门网站;能够实现战略计划的最低目标[5];成立了电子政务的主管机构等等,可见该指标体系对被评估对象的要求较高,因此不具有普遍意义。

2001年,美国布朗大学(B r own )与世界市场研究中心(World M arkets Research Center )对196个国家和地区的2288个政府网站进行了测评。

2003年9月,布朗大学公布了第三份全球电子政务测评报告,在该报告中提供的电子政务绩效评估指标体系如下:(1)测评内容:在线信息、服务传递、公众接入情况;(2)具体考察特征:在线信息或刊物发布、在线数据库、音频按钮、视频按钮、支持多种语言、商业广告、保险基金、限制性区域、用户支付、残疾人接口、隐私政策、安全措施、在线服务、服务种类总量、数字签名、信用卡支付、电子邮箱地址、在线论坛、自动邮件提示更新信息、个
张亚明等:电子政务绩效评估BSC-AHP模型及应用
性化站点界面、P DA接入、站点英文版;(3)指标权重:各
指标采用相同权重(100分),总分为各指标积分之和。

显而
易见,各指标采用相同权重明显降低了该评估指标体系的科
学性和可信度。

2003年12月,美国New Jersey Ne wark州立
大学电子政务协会与韩国Sungkyunk wan大学全球电子政务政
策协会联合发布了它们对全球82个国家的84座最大城市的
电子政务测评报告,该电子政务绩效评估指标体系框架主要
包含“安全/隐私、可用性、站点内容、在线服务、公众参
与”五个部分。

遗憾的是,它同布朗大学(B r own)在研究
时犯了同样的错误,简单地把这五个部分的权重等同于
20%,而没有进一步地分析、归纳其权重,因此,其科学性
和有效性还有待商榷。

T NS(Tayl or Nels on Sofres)公司,是
世界第四大市场信息咨询服务公司,公司主要从事社会和政
府方面的研究。

T NS公司连续三年来发布了三份全球电子政
务绩效评估报告,在这三份研究报告中,提供了自己的一套
电子政务绩效评估方法与指标体系。

该指标体系以问卷方式
采集原始数据,面向各国电子政务用户、网民和一般公众。

此外,其指标权重的测评结果都按照各国人口权重进行校正,
在其指标权重的确定方面做出了新的尝试。

对联合国UN、Accenture公司、美国B r own大学、T NS公
司、Ne w Jersey Ne wark大学/Sungkyunk wan大学提供的电子政
务绩效评估指标体系进行比较得出表1。

表1　全球电子政务绩效评估五大指标体系的比较
体系评价范围不同点共同点
UN全球全球突出测评“社会信息化水平”栏目
Accenture发达国家单列出“CR M”测评栏目
Brown全球以电子政务的“标志性特征”为基点,对政务网站进行特征分累计
T NS发达国家以“公众反馈数据”、“市场资料”为基础,以“公众需求导向”为出发点
NewJersey
Newark /Sungkyun /kwan 各国主
要城市
在电子政务“标志性特征”基点分累计的基础上,提
出电子政务评价的5分体系(安全/隐私、可用性、站
点内容、在线服务、公众参与)
1)突出信息服务和交易服务;
2)重视电子参与和在线论坛;
3)关注电子安全和隐私问题;
4)重视电子政务发展规划;
6)强调以“公众”为核心;
7)采用多指标综合评价体系;
8)基本上都按五个层次描述
政务服务的深度。

112　国内研究综述
国内对电子政务评估体系的研究分为评估指标的研究和评估方法的研究两大类。

评估指标方面的研究主要集中在高校的专家学者中进行,其评估指标具有如下特征:一是层次性,都是设立少数的几个一级指标,多个二级指标和若干三级指标形式;二对网站、网络的评估;三对投入产出的效益评估。

评估方法方面的研究主要是在非线性评估和模糊评估为主[6]。

主要的研究成果有:张成福和唐钧提出的从产出、结果、影响等三个层次分析电子政务的绩效评估指标体系,杨云飞、白华庆的“电子政务绩效评估五大板块三级指标体系”,刘腾红、刘荣辉、赵鹏研究的“电子政务绩效评估指标体系系统评价方法”等。

学者张成福、唐钧把电子政务的绩效划分为三个层次,即产出(Out put)层次、结果(Outco me)层次和影响(I m2 pact)层次。

他们将电子政务绩效评估指标体系的研究上升到实质分析的高度,从而认为电子政务绩效评估指标体系应当从三个层次进行更为深入的探讨。

他们还认为完善的电子政务绩效评估应该综合“产出”、“结果”和“影响”三个层次,在电子政务绩效评估方面也要打破“G DP崇拜”,不能片面应用“产出”层次的指标来衡量整体的社会效应。

学者杨云飞、白华庆提出了“电子政务绩效评估五大板块(集中、安全、管理、服务、决策)三级指标体系”,基本特征可以概括为:“顶端为政务基本架构;中间为信息技术与政务的有机结合;底层为众多的标志性特征”。

其中,一级指标采用复数规则合成,二级指标按照AHP法则确定加权权重,三级指标按照标志性特征数量累计得分,由此得到电子政务绩效评估体系的指标结构总表。

而且,杨云飞、白庆华认为,电子政务绩效评估结果得到的是一些定量化分数,这些分数必须转化成定性化描述,才有实际参考意义。

该评估体系具有系统完整、内容丰富和简洁明了的特点,不仅为电子政务提供了清晰的总体框架,而且析出了崭新的性能特征———方向倾角;在测评国家电子政务得分方面,该体系采用“点面”结合的方法,把各省会城市的“点”得分,与各省市G DP和城市化率的“面”得分进行折合,从而得到比较客观的反映一国(地区)电子政务发展水平的综合得分[7]。

因此,相对于目前全球其他各种电子政务绩效评估指标体系而言,该电子政务绩效评估指标体系具有更全面、更系统、更优秀的特征。

学者刘腾红、刘荣辉等提出从服务和应用的角度出发,从电子政务的对象和职能方面把评估分为内部和外部两个部分,内部主要是各级政府之间、政府的各部门之间以及各公务员之间的互动,承担政府的决策和管理职能;外部主要是政府与企业、政府与公众之间的互动,承担政府对外服务和监管职能。

根据电子政务的服务对象和职能,将电子政务绩效评估指标体系划分为内部和外部两大指标体系、6个子系统。

虽然国内很多研究机构和学者都对电子政务绩效评估进行了较为深入的研究,但是还没有一种方法能将指标的代表性和全面性完美地结合起来,以准确达到指标的有效性。

如前所述的学者刘腾红在对其提出的内部和外部指标体系进行分析时,通过层次分析法确定指标体系的权重系数,采用近似匹配法评价电子政务系统,采用专家评审法、网上调查法、用户调查法作为电子政务绩效评估指标体系的数据采集方法,对模拟的三个网站进行了评估,初步验证了该评估方法的实用性,但是没有将财务测评指标和业务测评指标结合在一起进行绩效评估;国家信息中心信息化研究部的于施洋建议把广泛应用于企业的绩效管理工具%%平衡记分卡作为构建新的评估体系的有效工具[8]。

平衡记分卡的精髓与电子政务绩效评估的价值取向之间有着内在切合性,根据电子政务绩效战略目标对平衡记分卡进行修正和整合,可以为构建科学合理的电子政务绩效评估指标体系提供框架支撑;但是他在指标权重大小的研究方面还存在欠缺,因此其指标的有效性和准确性还有待提高。

结合平衡计分卡和层次分析法来建构指标体系不失为一种好的绩效评估方法,加拿大的Kishot Vaidya等人曾采用该方法对其政府的电子采购进行了绩效评估,他们给出了影响电子采购绩效的因素(金钱、顾客或供应商的满意、系统之间的互操作和整合、变革管理、业务过程的质量和透明性、管理信息),最后针对每个因素对绩效产生的影响进行了评估,并取得了一定的成果[9]。

但是,他们只对电子政府采购绩效做了评估,因此还不能说是全面意义上的电子政务绩效评估。

2　BSC-AHP模型的构建
上述分析可见,定性与定量手段相结合是电子政务绩效
341
张亚明等:电子政务绩效评估BSC -AHP 模型及应用
评估最理想的评估方式。

本文尝试结合平衡计分卡和层次分
析法来建构指标体系,即利用平衡计分卡构建电子政务绩效评估的指标体系,在充分考虑财务测评指标的基础上,应用层次分析法构造判断矩阵,对各级层次指标进行权重计算,确定各指标因素相对于总指标的相对权重,以减少指标的随机性和不确定性,从而保证评估结果的有效性和准确性。

平衡计分卡(Balanced Scorecard,简称BSC )是一种目标制定和绩效评估的方法,
它将组织战略目标逐层分解转化为财务、客户、内部流程、学习与成长四个方面的绩效考核指标体系。

该方法克服了传统绩效评估的不足,将财务测评指标和业务测评指标结合在一起使用,能够同时从几个角度对绩效进行快速而全面的考察[10]。

但是在运用平衡记分卡的过程中,该方法没有给出计算各指标相对权重的方法。

因此,有必要结合一种可以判断这些指标相对权重的方法以弥补其不足。

层次分析法(Analytic H ierarchy Pr ocess,简称AHP )是一种定性分析和定量分析相结合的系统分析方法。

AHP 将所研究的问题按其性质,把各种选择指标、方案进行分类,并划分为若干层次,使问题转化为各指标方案相对重要的排序问题,通过构造判断矩阵,计算出某一层次因子相对于上一层次各个因素的单排序结构和相对于上一层次的总排序权重,得到最底层(方案层)(总目标)的相对重要性次序的组合权值,以此为决策选择提供依据。

它不仅简化了系统分析与计算工作,而且有助于决策者保持其思维过程和决策原则的一致性,因而是一种理想的决策方法。

由此可见,AHP 的层次结构模型非常适合多层次、多指标的平衡计分卡的评价体系。

它能够改进专家群决策中定性分析无法排序和不能量化的缺陷,不仅可以降低工作难度,提高指标权重的精确度和科学性,而且通过采取对判断矩阵进行一致性检验等措施,有利于提高权重确定的信度和效度,可以使绩效测评更加准确。

因此,结合BSC 和AHP 优势可以建立一套行之有效的电子政务绩效评估BS C -AHP 模型,具体步骤如下:
(1)选取评估样本,并按照平衡计分卡的财务、内部流程、客户、学习与成长四个维度对其编制各级评估指标。

笔者根据电子政务绩效评估的现状,在经过经验选择、专家访谈、问卷调查基础上,提出了一个可以借鉴的、指标更具代表性的电子政务绩效评估指标体系,并按照财务、内部流程、客户、学习与成长四个维度编制了平衡计分卡指标体系,如图1:
图1　电子政务绩效指标的层次结构
(2)构造指标的权重判断矩阵。

判断矩阵表示针对上
一层因素而言,本层次与之有关的各因素之间的相对重要性。

假定A 层次中因素Ak 与下一层中因素B 1,B 2,……B n 有联系,则可构造如下的判断矩阵,如图表2所示:
表2　准则层指标的权重判断矩阵
Ak B 1B 2……B n N W B 1b 11b 12……b 1n N 1W 1B 2
b 21
b 22
……b 2n
N 2
W 2
……
……
……
…………
……
……
B n
b n1
b n2
……
b nn
N n
W n
上表中,bij 是相对于Ak 而言,B i 和B j 的相对重要性的数值,通常bij 表示取1,2,3,……9及其倒数。

其含义及描述见表3:
表3　AHP 标度及其含义
相对重要程度
定义解释
1同等重要目标i 和j 同样重要3略微重要目标i 和j 略微重要5相当重要目标i 和j 重要7明显重要目标i 和j 明显重要9
绝对重要
目标i 和j 绝对重要
2、4、6、8介于相邻的两种重要程度之间
用方根法计算准则层各个维度相对于目标层的相对权重:
根据公式N i =
n
∏n
j =1
b ij 分别计算判断矩阵每行所有元素的
几何平均值N 1、N 2、N 3……;再根据公式∑n i =1
N i 计算得出
W 1、W 2、W 3……;然后通过公式C I =(λmax -n )/(n -1)和公式CR =C I/R 计算出矩阵的一致性指标。

为了检验判断矩阵是否具有满意的一致性,需要将C I 与平均随机一致性指标R I 进行比较。

R I 的取值见下表4:
表4　平均随机一致性指标R I
N 12345678910R I
0100
0100
0158
0190
1112
1124
1132
1141
1145
1149
当随机一致性比率C =C I/R I <0时,则认为判断矩阵的一致性可以接受,权重向量W 可以接受。

若一致性满足要求,则停止计算,否则需重新调整判断矩阵的取值。

(3)按照上述步骤计算“财务维度各指标的权重”(二级指标包括网络建设投入、系统维护投入和电子政务机会成本),分别计算出其W 1、W 2、W 3和该矩阵的C I,并进行一致性检验。

(4)按照同样的方法可以计算出“内部流程维度各指标的权重判断矩阵”(二级指标包括政务公开、网上办公度、网上采购率和内部信息公开)、“顾客维度各指标的权重判断矩阵”(二级指标包括在线服务、效率提高程度、公开透明度及公众满意度)和“学习与成长维度各指标的权重判断矩阵”(二级指标包括网络安全、技术标准及业务信息化程度)中的各个指标权重,分别记为W 4、W 5、W 6、W 7;W 8、W 9、W 10、W 11;W 12、W 13、W 14,并进行一致性检验。

(5)若每个指标的评估结果为:R 1、R 2、R 3、R 4、R 5、R 6、R 7、R 8、R 9、R 10、R 11、R 12、R 13、R 14,则财务维度的最终评估值为:U 1=(R 1,R 2,R 3,R 4)×(W 1,W 2,
W 3,W 4)T
;内部流程维度最终评估值:U 2=(R 4,R 5,R 6,
R 7)×(W 4,W 5,W 6,W 7)T
;顾客维度评估值:U 3=
4
41
张亚明等:电子政务绩效评估BSC-AHP模型及应用
(R
8
,R9,R10,R11)×(W8,W9,W10,W11)T;学习与成
长最终评估值:U
1
=(R12,R13,R14)×(W12,W13,
W14)T。

最终计算出绩效的总评估值:U1=(R1,R2,R3,
R4)×(W1,W2,W3,W4)T。

(6)根据上步骤的计算结果,分析选定样本的财务、内
部流程、客户、学习与成长四个维度的各项得分及总得分,
得出结论。

3　BSC-AHP模型的应用实例
为了验证上述评估模型的有效性,笔者选取了某市电子
政务网作为样本,并对其绩效进行评估。

评估采用百分制,
得分设为五个档次,60以下为不合格。

通过对该市电子政务网实际情况的调研,并在广泛研究
相关文献和征求专家意见的基础上,笔者对各指标相对重要
性作出判断矩阵,计算出其特征向量和最大特征根,然后进
行了一致性检验并修正了其中的不符合项,最后得出该市电
子政务网平衡计分卡各项指标得分,结果如表5:
表5　该市电子政务网平衡计分卡各项指标得分
模块指标权重得分总得分综合得分
财务绩效
内部流程绩效
客户绩效
学习与成长绩效
网络建设投入010********
系统维护投入010*******
电子政务机会成本010*******
政务公开010*******
网上办公度0110171126
网上采购率010*******
内部信息公布010*******
在线服务010*******
效率提高程度010*******
公开透明度010*******
公众满意度010*******
网络安全010*******
技术标准010*******
业务信息化程度010*******
61121
241556
121975
171284
701936
上述计算表明,该市电子政务绩效平衡计分卡的总得分为701936,其电子政务建设总体情况处于一般水平。

进一步分析可知,该市电子政务建设在政务公开化和信息化方面做得较好,也较注重自身业务的提高和内部流程的改进,但在公众满意度方面较差,这说明该市的电子政务为公众服务的意识还比较薄弱,还没有走出为政府服务的误区。

此外,该市的财务绩效较低,还有待进一步提高。

由此可见,该市应把其以后电子政务建设的侧重点放在改进客户绩效和财务绩效方面,注重顾客满意度和投入产出比的提高,从而更好的为社会公众服务。

综上所述,本文将BSC法与AHP法相结合,针对电子政务绩效评估这一热点问题构建了BSC-AHP模型,并以某市电子政务网站为例进行了有效验证。

相比其他模型,BSC-AHP模型更能准确地对电子政务绩效进行评估,根据评价结果,及时发现问题、解决问题,从而为电子政务的发展提供信息源泉和导向,为我国的电子政务绩效评估工作的进一步完善提供参考,进而促进我国电子政务建设的良性发展。

参考文献:
[1]互联网实验室1中国电子政务效果评测研究报告[R].2002:9
-101
[2]Accenture1E-Government Leadershi p Rhet oric vs Reality-Cl osing
the Gap[Z],htt p://www1accenture1com,Ap ril20011 [3]Gartner Cor porati on1The Gartner Frame work for e-government Strat2
egy A ssess ment1Strategy Analysis Report12002:51
[4]United Nati ons1World public sect or report2003:e-government at
the cr ossr oad12003:12-141
[5]张小明1电子政务绩效评估指标体系标准化研究(一)[J].术
语标准化与信息技术,2005(2):441
[6]张新香1基于三角模糊数的中部地区电子政务绩效评估1[J]
情报杂志,2008(6):91-921
[7]杨云飞,白庆华1电子政务评价指标体系[J].计算机应用与软
件,2004(8):61-631
[8]于施洋,杨道玲1对电子政务绩效评估的再认识:国内视角
[J].电子政务,2007(7):191
[9]王立华,覃正,韩刚1电子政务绩效评估的研究综述[J].情
报学报,2005(10):6071
[10]K AP LAN R S,NORT ON D P1The Balanced Scorecard:Measures
that drive Perf or mance[J].Harvard Business Revie w,2006:71-
791
作者简介:张亚明(1962-),男,山东莱州人,教授,博士生导师,研究方向为电子政务与政府改革;刘海鸥(1981-),男,山东济南人,行政管理硕士研究生。

(本文责编:熊　俊)
541。