信息系统评价指标体系及方法的研究

1 信息系统指标体系设计原则
指标体系的设计是为了正确地对信息系统进行综 合评价 , 为企业或有关部门提供数据支持, 使信息系统 更加完善, 产生更大的经济效益。为此, 指标体系设计 应遵循以下原则: ( 1) 指标体系科学性和先进性原则。它应有效地 反映信息系统的基本特征; ( 2) 系统性原则。指标体系应能全面地反映被评 价对象的综合情况 , 从中抓住主要因素, 既能反映直接 效果, 又能反映间接效果, 以保证综合评价的全面性和 可信度 ; ( 3) 可测性原则。 指标涵义明确 , 数据资料收集方 便 , 计算简单 , 易于掌握 ;
n
3. 2 人工神经网络评价方法 3. 2. 1 评价网络的建立 根据信息系统评价的特点, 采用误差反向传播 BP 算法, 它是一种典型的误差修正方法。 设 BP 网络如图 2 所示 , 第一层为输入层 , 节点数为 h , 第二层为中间层 ( 隐含层 ) , 节点数为 s, 第三层为输出层, 节点数为 q 。 X = { x i ûi = 1, 2, … , h } 表示输入向量, 即评价因 素值; Y = { y i ûi= 1, 2, …, q } 表示期望输出向量; ( t) Y ( t) = { y i ûi = 1, 2, …, s ( 或 q ) ; t = 1, 2, 3} 表示 第 t 层的输出向量; C = { Ci ûi = 1, 2, … , q } 表示网络输出向量 , 即输 出评价分值; W k 表示连接第 t 层节点到第 t+ 1 层节点 k 的权 向量; Y = X 。 根据 BP 神经元计算原理, 中间层输出由式 ( 7 ) 计算, 输出层输出由式 ( 8 ) 计算。
Step1: 据结构模型设计调查表 , 向专家组中领域 专家发放调查表 , 请各位专家对该信息系统产品评价 指标体系各层次指标间的相互重要程度给出判定。 Step 2: 构造判断矩阵 AHP 用两两比较法构造判断矩阵 , 采用 1 ～9 比 例标度[ 3] 来反映人的判断能力。设 A 表示目标, U 表 示评价指标集, ui 表示评价指标, ui ∈ U ( i = 1, 2, … , n) 。 u ij 表示 u i 对 u j 的相对重要性数值( j = 1, 2, …, n ) 。 Step3: 计算单一准则重要性排序 采用几何平均法求出矩阵 U 的最大特征根 K max 所 对应的特征向量, 并正规化处理 , 所求特征向量即为各 评价指标重要性排序, 也就是权数分配[ 3] 。其公式为
n n i= 1 n ij T j= 1
Wi =
∏u
j= 1
1/ n
ij
∑ ∏u
1/ n
( 1)
式中 , i , j = 1, 2, … , n , 则 W= ( W 1 , W 2 , … , W n ) 即为 所求特征向量 ( 也就是权数分配 ) 。 Step4: 一致性检验 定义: 设 U 为 n 阶矩阵, u ij 为 U 中元素 , 若对任意 1 ≤i ≤n , 1 ≤j ≤n , 矩阵 U 的元素具有传递性 , 即满足 等式 : u ij × uj k = u ik , 则称 U 为一致性矩阵。一致性检验 采用如下公式 [ 3] CR = CI / RI ( 2)
信息系统评价指标体系及方法的研究
闵文杰, 陈建明, 张仲义
( 北方交通大学 自动化系统 研究所 , 北京 100044) 摘 要 : 根据系统评价的原则 , 提出了信息系统评价的指标 体系结构模型 , 并用模糊综合评 价方法和人工神经 网络 方法进行了研究 , 最后用一实例进行了说明。 关键词 : 信息系统评价 ; 指标体系 ; 模糊综合评价方法 ; 人工神经网络方法 中图分类号 : T P 14; T N 911 文献标识码 : A
Study on the evaluation index system and methods for information systems
M IN Wen-jie, CHEN Jian-ming, ZHANG Zhong-y i
( Institute o f A ut omatic Sy stem , N o rt her n Jiaoto ng U niver sity , Beijing 100044, China)
h ( 1) ( t)
PW =
Step5: 计算综合权重排序 由 St ep 3 算出的是准则层和方案层各指标的权重 分配, 而方案层、 准则层相对于总目标层的权重分配计 算为
p
Y (k 2) = W (k 1) X - H k =
∑W
j= 2 s
( 1) kj
xj - H k ( 7)
W =
∑W B
影响和环境等方面去综合考虑。信息系统由于其应用 的广泛性, 种类繁多, 指标体系的设计不能用一个固定 的模式 , 在实际操作中 , 信息系统的指标体系视具体情 况而定。 据此确定指标体系设计原则 , 评价指标体系一 般结构模型如图 1 所示 , 包括系统技术水平、 性能、 效 益、 科技投入水平、 价值及操作等 6 个准则 , 即为准则 层。
38
铁 道 学 报
第 22 卷
( 4) 定性分析与定量分析结合原则。为了进行综 合评价 , 必须将部分反映信息系统基本特点的定性指 标定量化、 规范化 , 为采用定量评价方法打下基础; ( 5) 指标要有层次性。这为衡量信息系统的效果 和确定指标权重提供方便; ( 6) 指标之间应尽可能避免显见的包含关系。对 隐含的相关关系, 要在模型中以适当的方法消除。
收稿日期 : 2000-01-10; 修回日期 : 2000-06-23 作者简介 : 闵文杰 ( 1972— ) , 男 , 湖南衡东人 , 博士。
[ 2]
( 指信息系统开发过程中对各阶段的实施情况与各阶 段的目标、 性能等进行跟踪评估) 和“ 后评价” ( 指信息 系统开发完成投入运行后对其工作质量、 所带来的经 济效益、 对组织内各部分的影响和对资源的利用程度 等进行分析和评估 , 并提出改进意见与建议 ) 。本文主 要对信息系统开发完成后进行系统评价。
第 22 卷第 5 期 2 0 0 0 年 10 月Baidu Nhomakorabea
铁 道 学 报 JOU RN AL O F T HE CHIN A RA IL W AY SO CI ET Y
V ol. 22 N o. 5 O ctober 2000
文章编号 : 10018360( 2000) 05-003705
Abstract: Based o n t he principle of syst em evaluat io n, t he st ruct ur al m odel of inf orm ation sy st em evaluat ion index sy st em has been pr opo sed. T he f uzzy co mpr ehensive evaluat ion m et hod and neur al net w orks evaluat ion met ho d ar e reseached. In t he end, an inf ormat ion syst em as an ex ample is evaluat e. Keywords: infor mat io n sy st em evaluat io n ; index sy st em ; fuzzy com prehensive ev aluat ion ; ar fif icial neural net w orks method 随着计算机技术、 通讯技术的飞速发展 , 信息系统 在企业生产和管理中日显重要 , 信息系统的好坏直接 关系到企业的命运。 因而, 对信息系统的评价成了人们 日益关注的热点。 所谓评价 , 一般是指按照明确目标测定对象的属 性 , 并把它变成主观效用( 满足主体要求的程度) 的行 为 , 即明确价值的过程 [ 1] 。评价必须有目的 , 但评价本 身并不是目的 , 评价的最终目标是为了决策。 对系统进 行评价的目的主要包括以下几个方面 : ( 1) 检查系统 的目标、 功能及各项指标是否达到设计要求 ; ( 2) 检查 系统的质量; ( 3) 检查系统使用效果; ( 4) 检查评审和分 析的结果, 找出系统的薄弱环节 , 提出改进意见。 因此 , 系统评价是对一个信息系统的性能进行全面估计、 检 查、 测试、 分析和评审 , 包括用实际指标与计划指标进 行比较 , 以求确定系统目标的实现程度, 同时对系统建 成后产生的效果进行全面评估。 信息系统的评价一般分“ 前评价” ( 指信息系统开 发前, 对方案的评审 , 包括对技术上的先进性、 经济上 的合理性和实施上的可行性等进行评估) 、 “ 中评价”
j= 1
j
õ W C ij , p ∈ { 1, 2, 3, 4, 5, 6} ( 5 )
y (k 2) = f ( Y k( 2) ) k = 1, 2, … , s Y (k 3) = W (k 2) Y ( 2) - C k =
W B j 为 B j 相对于 A 的重要性权值 , W C ij 为 C ij 相 对于 B j 的重要性权值; 当 B j 与 C ij 没有联系时, WC ij = 0。 ( 3) 确定指标的隶属度 一个信息系统产品 , 对其进行评价时 , 领域专家、 高层管理人员 ( 决策者 ) 和用户一起根据所确定的评语 集对其评价指标进行评价, 评价结果用隶属度矩阵 R 表示 R = ( r ij ) m ×l 在矩阵 R 中 r ij 表示在第 i 个评价指标上 , 对它第 j 等级评定的 人数占全部专 家组人数的百 分比, 即 : r ij = d ij / D , d ij 表示第 i 个评价指标上 , 对它作出第 j 等 级评定的人数 , D 表示全部专家组人数。m 为指标数 , l 为评定等级数。 ( 4) 计算评价值 在隶属度矩阵 R 获得后, 下面计算信息系统产品 的综合评价向量 S, 为了在模糊综合评价中, 能适当兼 顾各因素, 并保留单因素评价中的全部信息 , 采用综合 评判的加权平均型—— M ( . , + ) 模型 , 可以获得较好 的效果 , 即 S= Wa cR 式中: W a c 为方案层指标 C 对目标层目标 A 的综合权 重。若对评语集量化, 则综合评价值为 P = V õ ST ( 6) 由式 ( 6) 求出的评价值可确定某一信息系统产品 的等级值, 因而实现对信息系统的评价。
第5 期
信息系统评价指标体系及方法的研究
39
式中, CR 称为判断矩阵的随机一致性比率 ; CI 称为判 断矩阵的一般一致性指标 ; RI 称为判断矩阵的平均随 机一致性指标 [ 3] , CI 由式 ( 3 ) 给出 m ax - n) / ( n - 1) CI = ( K ( 3) 式中, n 为判断矩阵的阶数。 当 CR < 0. 10 时 , 即认为判断矩阵具有满意的一 致性, 说明权数分配是合理的 ; 否则需调整判断矩阵 , 直到达到满意的一致性为止。 计算 CR 必须先求出 K max ( PW ) i 1 K m ax = n∑ Wi i= 1 (PW)1 (PW)2 = (PW)n u11 u21 un1 u 12 u 22 u n2 … … … u1n W1 2 n u W2 õ unn Wn ( 4)
2 指标体系结构设计
一般来讲 , 对系统进行评价需从技术、 经济、 社会
图 1 信息系统评价指标体系结构模型
3 评价方法研究
图 1 给出的模型中 , 对于不同的信息系统产品选 定常用指标和选用指标 , 构成评价因素集, 并构造评价 系统层次结构图( 如图 1) 。在信息系统评价指标体系 研究的基础上 , 根据评价工作的系统性、 科学性、 动态 性、 可操作性和定性分析与定量分析相结合的原则, 分 别选用模糊综合评价方法和人工神经网络方法对信息 系统产品评价进行研究。 3. 1 模糊评价方法 ( 1) 建立评价专家组 由于信息系统产品的多样性 , 对于不同类型的信 息系统采用不同的专家组。为了能准确地反映专家的 意见, 专家组一般由领域专家、 高层管理人员和用户组 成。 专家组组成后, 根据实际需要确定评语集。 假设对 信息系统进行五级划分 , “ 一级” 最高 , “ 五级” 最低。则 其评语集为 一级” ,“ 二级” ,“ 三级” ,“ 四级” ,“ 五级” )= V = (“ ( v 1 , v 2 , v 3 , v 4 , v 5) 。 ( 2) 确定指标权重 指标权重的计算可采用 AHP 方法 , 其步骤如下: