信息系统开发评价方法

●信息的实时性：该指标表示系统功能对企业数据处理的实时能 信息的实时性： 力，该指标对于实时性要求较高的系统，十分 该指标对于实时性要求较高的系统， 重要。 重要。 ●操作的友好性：该指标反映系统各功能对用户操作中的系统系 操作的友好性： 统提供的操作流的合理性。 统提供的操作流的合理性。
⑶ 系统性能评价指标
系统可维护性：该指标根据实际系统模块结构的合理程度、 ●系统可维护性：该指标根据实际系统模块结构的合理程度、模 块内聚性、 块内聚性、模块的重用性及技术文档的齐备程 度和提供维护工具的功能完备程度等， 度和提供维护工具的功能完备程度等，考核系 统可维护性。 统可维护性。
系统性能评价指标 •系统的可靠性 系统的可靠性 •系统效率性 系统效率性 •系统可维护性 系统可维护性 •系统可扩充性 系统可扩充性 •系统可移植性 系统可移植性 •系统可恢复性 系统可恢复性 •系统的安全保密性 系统的安全保密性 •……
系统应用评价指标 •经济效益 经济效益 •社会效益 社会效益 •管理科学性 管理科学性 •用户满意度 用户满意度 •系 统 功 能 应 用 程 系 度 •……
用户单位
3
系统开发不同阶段的评价活动
预测性评价， 这是一种预测性评价 通常与项目的可行性论证、 这是一种 预测性评价 ， 通常与项目的可行性论证 、 系统招标评审等 活动结合在一起。 活动结合在一起。 可行性研究是通过了解和掌握系统所处的环境、 约束等条件， 可行性研究 是通过了解和掌握系统所处的环境、约束等条件 ， 分析 是通过了解和掌握系统所处的环境 新系统开发和运行的投入，以及可能产生的效益， 新系统开发和运行的投入 ， 以及可能产生的效益 ， 达到研究建立信 息系统的必要性、可行性和收益性的目的。 息系统的必要性、可行性和收益性的目的。 步骤： 步骤： 对现有系统进行分析，了解基本情况及不足之处， △ 对现有系统进行分析，了解基本情况及不足之处，提出建立新系 统的设想，明确建立新系统的必要性； 统的设想， 从新系统可能采取的新技术和运行模式出发，对技术、 △ 从新系统可能采取的新技术和运行模式出发，对技术、运行内外 环境、资源条件等进行分析，明确建立新系统的可行性； 环境、资源条件等进行分析，明确建立新系统的可行性； 可行性 对信息系统的经济效益做出预测，明确建立新系统的收益性 收益性。 △ 对信息系统的经济效益做出预测，明确建立新系统的收益性。
3) 事后评估 根据新系统所产生的一系列设计规格说明书， 根据新系统所产生的一系列设计规格说明书 ， 对照实际开发和运 行的情况，对系统进行全面、综合的测试、分析、检查和评估， 行的情况 ，对系统进行全面、综合的测试、 分析 、检查和评估，往往 需要组织一支专门的队伍，用专门的时间进行细致的考核，或称鉴定， 需要组织一支专门的队伍，用专门的时间进行细致的考核 ，或称鉴定 ， 或称验收。 •功能度评估：功能度评估是对系统能力的评价，主要包含：对企业业 功能度评估 功能度评估是对系统能力的评价，主要包含： 评估是对系统能力的评价 功能度评估： 务覆盖情况、辅助企业管理的能力、辅助企Leabharlann Baidu决策的能力， 务覆盖情况 、 辅助企业管理的能力 、 辅助企业决策的能力 ， 系统功能 的质量如何，所蕴含的管理思想是否合理等。 的质量如何，所蕴含的管理思想是否合理等。 •性能度评估：性能度评估是对系统运行质量的考核，其主要包含:系统 性能度评估：性能度评估是对系统运行质量的考核 其主要包含: 评估是对系统运行质量的考核， 性能度评估 运行的稳定性、数据的精确性、安全保密性、共享性、 运行的稳定性 、 数据的精确性 、 安全保密性 、 共享性 、 使用的灵活方 便性、系统的可扩充性、可维护性、经济性等。 便性、系统的可扩充性、可维护性、经济性等。
作与计划目标相比较,及时找出差距，纠正偏差，将错误消除在早期。 作与计划目标相比较 , 及时找出差距 ， 纠正偏差 ， 将错误消除在早期 。 同时阶段评估又含有阶段考核、评审的重要意义。具体可分为： 同时阶段评估又含有阶段考核、评审的重要意义。具体可分为： 逻辑设计评估： 逻辑设计评估： （系统分析） 系统分析） 总体结构的先进性和合理性； 总体结构的先进性和合理性； 系统功能对用户需求的满足程度； 系统功能对用户需求的满足程度； 数据流图、数据结构等的规范性、完整性。 数据流图、数据结构等的规范性、完整性。 物理设计评估： 系统硬件配置方案设计； 物理设计评估 ： 系统硬件配置方案设计； （详细设计） 详细设计） 系统软件平台（系统软件、工具软件）方案设计； 系统软件平台（系统软件、工具软件）方案设计； 数据库和文件系统设计； 数据库和文件系统设计； I/O、网络通信方案设计； I/O、网络通信方案设计； 算法、处理逻辑设计。 算法、处理逻辑设计。 系 统 实 施 评 估 ： 硬件系统的测试及评估； 硬件系统的测试及评估； （编程） 编程） 应用软件的测试与质量评估。 应用软件的测试与质量评估。
1) 事先评估
可行性研究经常与招投标过程相结合，在可行性研究报告中， 可行性研究经常与招投标过程相结合，在可行性研究报告中，除包含必 要性、可行性和收益性分析外，还要阐述系统开发、 要性、可行性和收益性分析外，还要阐述系统开发、系统运行的基本保障数 据，主要评估的量化数据有：
统 设 用 系 建 费 ： 发 付 ： 开 交 期 期 术 务 后 技 服 ： 主 功 指 ： 要 能 标 发 位 质 开 单 资 ： 目 织 证 项 组 保 ： 程 量 证 工 质 保 ： 经 和 期 用 付 方 总 费 分 费 ， 款 式 统 发 总 期 工 推 表 系 开 的 工 及 期 算 务 式 服 内 和 务 用 服 方 ， 务 容 服 费 可 用 则 方 讲 以 附 的 式 述 司 况 工 范 和 验 公 概 、 程 例 经 方 导 和 与 视 开 组 者 行 权 双 领 的 谐 重 ， 发 织 的 政 力 程 量 证 施 验 标 、 收 式 等 工 质 保 措 和 收 准 验 方 等
●经济性 ●资源利用率
●开发效率
开发效率与开发者的经验、开发方法、 ：开发效率与开发者的经验、开发方法、资 金投入、 金投入、用户支持度及项目管理水平等因 素密切相关， 素密切相关，该指标可用软件功能点方法 或代码行法等计算。 或代码行法等计算。
管理模式科学性：该指标通常使用组织机构健全情况、 ●管理模式科学性：该指标通常使用组织机构健全情况、系统 人员的配备情况、 人员的配备情况、各种规章制度的完备与 执行情况等。 执行情况等。 系统建设规范性： ●系统建设规范性：该指标考核系统开发过程是否遵循国际标 国家标准、规范程度及文档的标准化、 准、国家标准、规范程度及文档的标准化、 齐全度。 齐全度。
信息系统评价方法 信息系统评价方法 系统
第一节 第二节 第三节 第四节 节 系统评价概述 信息系统评价指标体系 信息系统评价方法 层次分析法（AHP） 层次分析法（AHP）
第一节
系统评价概述
1 系统评价的定义 使用某种方法和相关指标体系对一个 系统或系统建设的某一周期进行全面的估 计、检查、测试分析和评审的过程。 检查、测试分析和评审的过程。
2 评价的目的
上级部门 开发部门 系统评价 评价机构
开发部门：促使开发单位对系统建设全过程加强管理和控制。 开发部门：促使开发单位对系统建设全过程加强管理和控制。 上级部门：可对系统的投资目标完成情况做出准确的判断， 上级部门：可对系统的投资目标完成情况做出准确的判断，以便 于对后期系统建设进行决策。 于对后期系统建设进行决策。 用户单位：通过评价，可对系统功能、性能情况有较深入了解， 用户单位：通过评价，可对系统功能、性能情况有较深入了解， 以利于系统后期的运行、扩展、改进。 以利于系统后期的运行、扩展、改进。
⑴ 系统建设评价指标
●目标实现程度：评价系统的规划目标与用户的期望目标的差异 目标实现程度： 该指标通常由专家、 用户、 度 ， 该指标通常由专家 、 用户 、 同行等根据 系统规划的目标树进行打分， 系统规划的目标树进行打分 ， 经加权统计得 到。 ●先进性 ：评价系统从总体设计、开发方法、系统结构、 评价系统从总体设计、开发方法、系统结构、 软硬件配置、 算法设计、 网络通信技术等， 软硬件配置 、 算法设计 、 网络通信技术等 ， 该指标通常由专家组进行综合评议。 该指标通常由专家组进行综合评议。 ：该指标根据实际系统的性能、功能与系统投资 该指标根据实际系统的性能、 比及系统运行所产生的收益加以分析而获得。 比及系统运行所产生的收益加以分析而获得 。 ：该指标主要考核系统设备使用率、数据使用率、 该指标主要考核系统设备使用率、数据使用率、 应用模块的使用率等， 应用模块的使用率等 ， 目的为考核系统的使 用状况。 用状况。
第二节 信息系统评价的指标体系
系统评价指标体系
系统建设评价指标 •规划目标实现程度 规划目标实现程度 •先进性 先进性 •经济性 经济性 •资源利用率 资源利用率 •开发方法与效率 开发方法与效率 •管理模式的科学性 管理模式的科学性 •系统建设的规范性 系统建设的规范性 •……
系统功能评价指标 •功能的完整性 功能的完整性 •系统容错能力 系统容错能力 •信息的准确性 信息的准确性 •信息的一致性 信息的一致性 •信息的实时性 信息的实时性 •操作的友好性 操作的友好性 •……
系统的可靠性：该指标是对系统软硬件、网络平台的综合评价， ●系统的可靠性：该指标是对系统软硬件、网络平台的综合评价， 可利用系统测试及试运行结果数据综合分析其 公式为：可靠性=MTBF/ MTBF+MTTR） =MTBF/（ 公式为：可靠性=MTBF/（MTBF+MTTR）
MTBF： MTBF：平均故障间隔时间 MTTR： MTTR：平均修复时间
⑵ 系统功能评价指标
●功能的完整性：该指标表示系统覆盖企业业务的情况，通常用 功能的完整性：该指标表示系统覆盖企业业务的情况， 系统已包含业务总和与企业业务总和之比。 系统已包含业务总和与企业业务总和之比。 系统容错能力： ●系统容错能力：该指标反映系统各功能对用户误操作后的系统 处理能力。 处理能力。 ●信息的准确性：该指标反映系统各功能对数据的处理的正确程 信息的准确性： 度，该指标是考核系统功能的重要指标。 该指标是考核系统功能的重要指标。 信息的一致性： ●信息的一致性：该指标反映系统各功能对数据的处理的一致性 程度，该指标是考核系统功能的重要指标。 程度，该指标是考核系统功能的重要指标。
●系统效率
该指标通常用系统的周转时间（ ：该指标通常用系统的周转时间（对批处理作业 的速度） 响应时间（ 的速度 ） 、 响应时间 （ 对交互操作的应答速 吞吐量（单位时间系统完成作业数） 度）、吞吐量（单位时间系统完成作业数）。
通常响应时间对一般交互操作应大于0.5 秒小于3秒。 通常响应时间对一般交互操作应大于0 秒小于3 应大于
•绩效评估： 绩效评估： 绩效评估 信息系统的绩效可以定义为： 信息系统的绩效可以定义为 ： 信息系统对企 业目标实现的贡献度， 业目标实现的贡献度，绩效是信息系统对企业价值 的综合表现。为了评价企业信息系统绩效， 的综合表现。为了评价企业信息系统绩效，必须设 立绩效指标，利用绩效指标来监控信息系统的开发 立绩效指标， 过程和行为，从而优化系统的绩效指标。 过程和行为，从而优化系统的绩效指标。 常用的绩效指标有：系统投资回收期、 常用的绩效指标有：系统投资回收期、系统收 绩效指标有 益与系统费用比率、内部收益率、系统使用率、 益与系统费用比率、内部收益率、系统使用率、功 能应用率等。 能应用率等。
这些构成了新系统开发的基本评估的量化数据， 这些构成了新系统开发的基本评估的量化数据，也是今后评估的主要依 如果是外包项目， 据。如果是外包项目，可行性研究中的主要内容和数据应构成经济技术合同 书的重要组成部分。 书的重要组成部分。
2)
中期评估 也称为工作阶段的评估 工作阶段的评估。 中期评估 也称为 工作阶段的评估 。 目的是将已实现的部分开发工