信息系统开发评价方法

●社会效益：
该指标考核由于系统运行给企业带来的社会效 益，如实现现代化管理、增加企业知名度、改 善工作环境等。
●管理科学性： 该指标考核由于系统运行对企业管理水平、管 理方法、管理规范带来的变化，同时促进人员 素质的提高等。
●用户满意度
：该指标主要考核用户对系统的功能的完备性 及性能的达标率，如：人机界面的友好程度、 操作的方便性、系统的容错能力、系统的灵 活性等。
●信息的实时性：该指标表示系统功能对企业数据处理的实时能 力，该指标对于实时性要求较高的系统，十分 重要。
●操作的友好性：该指标反映系统各功能对用户操作中的系统系 统提供的操作流的合理性。
⑶ 系统性能评价指标
●系统的可靠性：该指标是对系统软硬件、网络平台的综合评价， 可利用系统测试及试运行结果数据综合分析其 公式为：可靠性=MTBF/（MTBF+MTTR）
逻辑设计评估： 总体结构的先进性和合理性；
（系统分析） 系统功能对用户需求的满足程度；
数据流图、数据结构等的规范性、完整性。
物理设计评估： 系统硬件配置方案设计；
（详细设计） 系统软件平台（系统软件、工具软件）方案设计；
数据库和文件系统设计；
I/O、网络通信方案设计；
算法、处理逻辑设计。
系统实施评估： 硬件系统的测试及评估；
常用的绩效指标有：系统投资回收期、系统收 益与系统费用比率、内部收益率、系统使用率、功 能应用率等。
第二节 信息系统评价的指标体系
系统评价指标体系
系统建设评价指标
•规划目标实现程度 •先进性 •经济性 •资源利用率 •开发方法与效率 •管理模式的科学性 •系统建设的规范性 •……
系统功能评价指标
•功能的完整性 •系统容错能力 •信息的准确性 •信息的一致性 •信息的实时性 •操作的友好性 •……
●系统的安全保密性：该指标考核系统运行中出现意外事件， 系统的抵御能力及恢复能力，保密性是指系 统对数据在存储、加工、使用、传输中的保 密处理能力。
⑷ 系统应用评价指标
●经济效益：
该指标考核由于系统运行而带来的直接、间接 效益，如控制进货渠道、合理库存、节省人力、 提高企业竞争力、增加市场占有率等所获得的 经济效益。
用户单位
评价机构
开发部门：促使开发单位对系统建设全过程加强管理和控制。 上级部门：可对系统的投资目标完成情况做出准确的判断，以便
于对后期系统建设进行决策。 用户单位：通过评价，可对系统功能、性能情况有较深入了解，
以利于系统后期的运行、扩展、改进。
3 系统开发不同阶段的评价活动
1) 事先评估
这是一种预测性评价，通常与项目的可行性论证、系统招标评审等 活动结合在一起。 可行性研究是通过了解和掌握系统所处的环境、约束等条件，分析 新系统开发和运行的投入，以及可能产生的效益，达到研究建立信 息系统的必要性、可行性和收益性的目的。 步骤： △ 对现有系统进行分析，了解基本情况及不足之处，提出建立新系
市场效应。 系统的产品化（独立开发、合作开发方式）后的市场收益。
……
④ 现金流量表与净现值
净现值NPV（Net Present Value）财务指标可用于考核一个系统 在未来几年的价值， NPV参数与时间有关的关键因素是折现率 r。r可 以用银行贷款利率来确定，也可以用行业的投资平均回报率来给定。 目前通常做法是采用国家规定的银行贴现率来确定。
●功能应用程度：该指标评价系统在企业实际运行的情况，其 方法可以将各系统功能分解为若干功能点， 再分析各功能点在企业运行中的使用率，将 功能点使用率进行加权统计而获得。
第三节 信息系统的评价方法
评估技术
以定性为主的方法
拟定量方法
以定量为主的方法
…
因 素
分
解
法
逻 辑 方 法
历 史 比 较 法
专 家 评 议 法
交
德… 尔 菲 法
叉 影 响 分 析
法
关 联 树 法
内 容 分 析 法
层 次 分 析 法
成
本 效
…
益
分
析
回 归 模 型
因 子 分 析 法
法
聚 类 分 析 法
引 文 分 析 法
主机 成 助… 分信 分息 析分 法析
图 评估分析方法的总框架
目前我国对信息系统进行评价时，常用采用的方法主要有：专家评议 法、成本效益分析法、层次分析法（AHP）。 ⑴ 专家评议法
●系统可扩充性：该指标主要考核系统对新增设备及新增功能 的能力，其反映了系统结构、软硬件平台及 网络平台设计的合理性。
●系统可移植性：该指标评价系统的软硬件配置特性、平台的 通用性及系统设计的合理程度。
●系统可恢复性：该指标评价系统对系统出现故障时，系统的 恢复能力（包括自动、人工恢复），反映系 统设计的合理性。
这些构成了新系统开发的基本评估的量化数据，也是今后评估的主要依 据。如果是外包项目，可行性研究中的主要内容和数据应构成经济技术合同 书的重要组成部分。
2) 中期评估 中期评估也称为工作阶段的评估。目的是将已实现的部分开发工
作与计划目标相比较,及时找出差距，纠正偏差，将错误消除在早期。 同时阶段评估又含有阶段考核、评审的重要意义。具体可分为：
P=C/F或P=1/R
P为系统回收期（以年为计量单位） 例：
150（万元）/25 （万元）= 6 （年）
一般信息系统的P值应≤五年，因此简单收益率R应≥20%。
上述公式中净收益（F）中的年收益值的估算：
信息系统的收益估算是一个复杂的问题，通常以下列几个方面 进行考虑： 信息系统的运行节省的人员。 系统弥补了企业漏洞，避免的损失。 减少库存资金占有，使企业获得更高的利润。 系统支持企业快速、准确的决策信息带来的效益。 系统促进企业管理的规范化，使企业加强了市场竞争力。带来
⑵ 成本—效益分析法
成本-效益分析法是面向经济的拟定量分析方法。评价过 程中的量纲主要是货币单位。评价的目的通过分析信息系统 经济性从而判断系统的得失和可取性，最终作出结论。该方 法关心的问题是：在信息系统建成的若干年内或生命周期内， 收益率的情况。
①信息系统项目的成本构成:
Ct = Cd + Cr
人设耗 能
员备材 源
工折支 、
资 费
旧出 费费
通 信
费
间
系设
接
统备
费
正利
用
常用
率
运系
行数
时
数
③ 简单收益率和系统回收期指标
简单收益率R又称为投资效果系数，其计算公式如下：
R=F/C
公式中F为：标准年度的净收益，其值为年收益与系统年运行成本 之差
既：F = 年收益 - 年运行成本 公式中C为：系统的先期投入 系统回收期指标P是考核信息系统效益的重要参数，计算公式如下：
据，主要评估的量化数据有：
系统建设费用：
总经费和分期费用，付款方式
开发交付期：
系统开发的总工期及工期推算表
后期技术服务：
服务方式，服务内容和服务费用
主要功能指标：
可以用附则的方式讲述
开发单位资质：
公司概况、工程范例和经验
项目组织保证： 双方领导的和谐与重视，开发组织者的行政权力
工程质量保证： 工程质量保证措施和验收标准、验收方式等等
专家评议法是一种以定性分析法为主的评价方法，该方法通常由下面 步骤组成： ▲ 项目评审准备 ：项目评审申请、审批、材料准备等。 ▲ 建立评议专家组 :由计算机专业和涉及行业专家两方面人员构成。 ▲ 制定系统评价方案：由专家组制定评议方法、步骤、评价指标或标
准，指标可以是定性的，也可以是定量的。 ▲ 现场考察 ：专家对系统进行系统现场考察如：听取系统开发报
系统性能评价指标
系统应用评价指标
•系统的可靠性 •系统效率性 •系统可维护性 •系统可扩充性 •系统可移植性 •系统可恢复性 •系统的安全保密性 •……
•经济效益 •社会效益 •管理科学性 •用户满意度 •系 统 功 能 应 用 程 度 •……
⑴ 系统建设评价指标
●目标实现程度：评价系统的规划目标与用户的期望目标的差异 度，该指标通常由专家、用户、同行等根据 系统规划的目标树进行打分，经加权统计得 到。
●开发效率
：开发效率与开发者的经验、开发方法、资 金投入、用户支持度及项目管理水平等因 素密切相关，该指标可用软件功能点方法 或代码行法等计算。
●管理模式科学性：该指标通常使用组织机构健全情况、系统 人员的配备情况、各种规章制度的完备与 执行情况等。
●系统建设规范性：该指标考核系统开发过程是否遵循国际标 准、国家标准、规范程度及文档的标准化、 齐全度。
告、现场系统演示、测试等，对系统进行分项打分， 再进行加权统计。 ▲ 专家评议 ：由专家组给出系统的定性的系统评价分析报告。
项目评审准备 建立评议专家组 制定系统评价方案
现场考察 专家评议
评议申请报告
议程、指标 考察过程记录 评议结果报告
专家评议法的主要优点是操作简单、省时，评价结果具有一定 的权威性和可信性。 主要缺点是理论依据不足，评价结果受人为的影响太大。
•性能度评估：性能度评估是对系统运行质量的考核，其主要包含:系统 运行的稳定性、数据的精确性、安全保密性、共享性、使用的灵活方 便性、系统的可扩充性、可维护性、经济性等。
•绩效评估： 信息系统的绩效可以定义为：信息系统对企
业目标实现的贡献度，绩效是信息系统对企业价值 的综合表现。为了评价企业信息系统绩效，必须设 立绩效指标，利用绩效指标来监控信息系统的开发 过程和行为，从而优化系统的绩效指标。
●先进性
：评价系统从总体设计、开发方法、系统结构、 软硬件配置、算法设计、网络通信技术等， 该指标通常由专家组进行综合评议。
●经济性
：该指标根据实际系统的性能、功能与系统投资 比及系统运行所产生的收益加以分析而获得。
●资源利用率 ：该指标主要考核系统设备使用率用状况。
信息系统评价方法
第一节 系统评价概述 第二节 信息系统评价指标体系 第三节 信息系统评价方法 第四节 层次分析法（AHP）
第一节 系统评价概述
1 系统评价的定义
使用某种方法和相关指标体系对一个 系统或系统建设的某一周期进行全面的估 计、检查、测试分析和评审的过程。
2 评价的目的
上级部门
开发部门
系统评价
用 用用 入 用
系
系
统
统
设
实
计
施
成
成
本
本
系人消固 技 统员耗定 术 通费材资 资 信用料产 料 费 费折 获
用旧 取
系 统 运 行 成 本
硬软系二 件件统次 维维版开 护护本发 费费升费 用用级用
系 统 维 护 成 本
② 信息系统项目的机时成本计算:
Cp= ( s + d + m + p )*( 1 + h % )/t * k
其中: Cd : 系统开发建设成本 Cr : 系统运行维护成本
信息系统成本构成示意图：
信息系统成本
开发成本
运行维护成本
分析、设计费 系统实施费 管理费用 系统运行费用 行政管理费用 维护费用
系系系 统统统 规分设 划析计
编 硬 系网 数 人 程 件 统络 据 员 与 平 软施 整 培 调 台 件工 理 训 试 费 费费 录 费
（编程）
应用软件的测试与质量评估。
3) 事后评估
根据新系统所产生的一系列设计规格说明书，对照实际开发和运 行的情况，对系统进行全面、综合的测试、分析、检查和评估，往往 需要组织一支专门的队伍，用专门的时间进行细致的考核，或称鉴定， 或称验收。
•功能度评估：功能度评估是对系统能力的评价，主要包含：对企业业 务覆盖情况、辅助企业管理的能力、辅助企业决策的能力，系统功能 的质量如何，所蕴含的管理思想是否合理等。
统的设想，明确建立新系统的必要性；
△ 从新系统可能采取的新技术和运行模式出发，对技术、运行内外 环境、资源条件等进行分析，明确建立新系统的可行性； △ 对信息系统的经济效益做出预测，明确建立新系统的收益性。
可行性研究经常与招投标过程相结合，在可行性研究报告中，除包含必 要性、可行性和收益性分析外，还要阐述系统开发、系统运行的基本保障数
⑵ 系统功能评价指标
●功能的完整性：该指标表示系统覆盖企业业务的情况，通常用 系统已包含业务总和与企业业务总和之比。
●系统容错能力：该指标反映系统各功能对用户误操作后的系统 处理能力。
●信息的准确性：该指标反映系统各功能对数据的处理的正确程 度，该指标是考核系统功能的重要指标。
●信息的一致性：该指标反映系统各功能对数据的处理的一致性 程度，该指标是考核系统功能的重要指标。
MTBF：平均故障间隔时间 MTTR：平均修复时间
●系统效率
：该指标通常用系统的周转时间（对批处理作业 的速度）、响应时间（对交互操作的应答速 度）、吞吐量（单位时间系统完成作业数）。
通常响应时间对一般交互操作应大于0.5秒小于3秒。
●系统可维护性：该指标根据实际系统模块结构的合理程度、模 块内聚性、模块的重用性及技术文档的齐备程 度和提供维护工具的功能完备程度等，考核系 统可维护性。