软件产品度量与评估探讨040418
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Page 9
2、度量与评估的过程
相关国际、国家标准 度量与评估模型 度量与评估流程 评测方要做的准备工作
Page 10
2.1 相关国际、国家标准
GB/T16260-1996 信息技术 软件产品评价 质量特性及使 用指南（idt ISO/IEC 9126: 1991） GB/T17544-1998 信息技术－软件包－质量要求和测试 （idt ISO/IEC 12119-1994） GB/T18905 -2002 软件工程 产品评价（idt ISO/IEC 14598：1998） GB/T 16680-1996 软件文档管理指南（neq ISO/IEC TR 9294:1990）
各系统组件的性能目标 是否分别满足设计
最终测试
系统整体性能 是否满足用户需求
验证内容
–网络性能 –中间件性能 –操作系统性能 –数据库性能 –数据调用方式 –数据统计方式 –数据展现方式 –…………
系统性能需求
Page 21
3.2 时间特性的度量
系统平均响应时间 系统最大响应时间 系统最大错误处理时间 系统平均传输时间 系统最大传输时间 系统平均交易处理时间 系统最大交易处理时间
…
问题率
问题严重 …… 度量元1 … 度量元L
程度
……
Page 14
2.3 度量与评估流程
确定 软件评测需求
投标书、软件评测需求
评审与签定 软件评测合同
软件评测合同
顾客需求
编写 软件评测计划
软件评测计划
顾客输入
产品描述
编写 评测规格说明
评测规格说明
度量与评件测试说明
Page 11
2.1 相关国际、国家标准（续1）
软件质量
功能性 可靠性 易用性 效率
维护性 移植性
适合性 准确性 互操作性 安全保密性 依从性
成熟性 容错性 易恢复性 依从性
易理解性 易操作性 易学性 吸引性 依从性
时间特性 资源利用率 依从性
易分析性 易改变性 稳定性 易测试性 依从性
适应性 易安装性 共存性 易替换性 依从性
测试结束了，软件质量究竟如何？
——这是用户常问的问题。
用户希望 测试是全 面质量保 证，甚至 是全面业 务保证。
责任！
用户关心 的是整体 评价，而 不是某个 测试类型 的结果。
结论！
对测试需 求的定义 是否全面 ，让用户 心中有数 。
目标！
√
用户对测 试过程的 了解、参 与比较少 。
沟通！
√
测试结果 的分析、 整理、量 化需要提 高。
企业必须有自己的度量与评价标准（积累与提高） 度量与评价标准的制订有一定难度（考虑可操作性和易用性） 度量与评价标准的完善需要过程（“与时俱进”） 度量与评价标准最好先粗（评级），再细（评分）
Page 17
2.4 评测方要做的准备工作（续2）
测试方法、测试理论、测试技术的积累
知识库的建立（体系化） 操作规程的建立（专业化） 理论与实践结合（实用化）
软件测试说明
测试工具 产品部件
实施 软件评测
评测 记录
编写 评价报告
评价 报告
软件评测过程模型
Page 15
2.4 评测方要做的准备工作
定义企业度量与评价规范 测试方法、测试理论、测试技术的积累 熟练掌握测试工具 测试队伍建设（角色划分….）
Page 16
2.4 评测方要做的准备工作（续1）
定义企业度量与评价规范
Page 6
1.2 有利于找到测试分析的重点
每个系统的特征不同（大数据量？实时系统？大并发量？交易系统 ？查询系统？可靠性要求高？）
度量则必须定义特性优先级 可依此定义测试分析重点（系统结构？数据库设计？并发交易处 理？资源泄露？系统软件构架？） 任何测试分析都要与功能紧密结合（对业务有何影响，这是 用户最关心的）
量化！
√
Page 5
1.1 软件整体评价（续）
策略1——保护自己：
告诉用户测试的目的是尽可能多的发现问题，但并 不保证软件的质量。
策略2——提高服务：
在测试开始前，就与用户就软件质量评估的标准达 成共识。（目标问题、沟通问题） 测试过程是为质量评估服务。（沟通问题） 质量评估是测试结果量化的开始。（量化问题）
Page 7
1.3 测试结果的分析
测试结果是为评价服务的
• 单个结果 汇总分析 • 定性 定量
对单个测试结果的分析应尽可能深入
• 最优服务用户 • 提升测试的价值 • 提高测试队伍的水平
Page 8
1.3 从思路上指导测试工作
测试只是第一步 测试是服务，要不断提升用户满意度 测试应该为评价服务 测试应该有整体观念 测试有和开发类似的过程（需求—>概要设计—> 详细 设计—> 实施—> 评价）
GB/T16260-1996定义
Page 12
2.2 相关国际、国家标准（续2）
理想与现实的差距：
特性、子特性定义完备，度量元定义缺乏 度量与测试的有效结合问题
Page 13
2.2 度量与评估模型
分级度量与评估
软件质量
功能性
…………
质量特性n
适合性 …… 子特性n
子特性1 ….. 子特性m
功能点 覆盖率
单纯对 某个方 面的评 估是不 全面的
体项目 ，确定 各个特 性的权
重
Page 2
内容
1、引入软件度量与评估的优点 2、度量与评估的流程 3、效率的度量
Page 3
1、引入软件度量与评估的优点
软件整体评价 有利于找到测试分析的重点 测试结果的分析 从思路上指导测试工作
Page 4
1.1 软件整体评价
软件产品度量与评估探讨
Echo_chen
Page 1
定义
产品度量：定义产品特性定量分析的标准，并按照此标准对测试 结果进行量化。
精细 量化 （95
，
80..)
粗略 分级
（优 、良 、中
通用标准 （行业、 系统平台 、开发结
构..)
具体项目 的度量标
准
产品评估：根据产品度..量) 的结果，对整个软件产根品据进具行评价。
Page 22
3.3 资源利用率的度量
主要针对UNIX系统度量
网络带宽（最大值，平均值，错误出现情况） 系统I/O （最大值，平均值，错误出现情况） 磁盘I/O （最大值，平均值，错误出现情况） CPU （最大值，平均值，错误出现情况） 内存 （最大值，平均值，错误出现情况）
Page 23
谢谢
Page 24
Page 18
2.4 评测方要做的准备工作（续3）
熟练掌握测试工具
测试价值的体现（能发现系统级的错误） 。。。。
Page 19
3、效率的度量
性能测试过程 时间特性的度量 资源利用率的度量
Page 20
3.1 性能测试过程
阶段
验证要求
设计审核 早期验证
各系统组件的性能目标 是否进行了量化设计
回归
2、度量与评估的过程
相关国际、国家标准 度量与评估模型 度量与评估流程 评测方要做的准备工作
Page 10
2.1 相关国际、国家标准
GB/T16260-1996 信息技术 软件产品评价 质量特性及使 用指南（idt ISO/IEC 9126: 1991） GB/T17544-1998 信息技术－软件包－质量要求和测试 （idt ISO/IEC 12119-1994） GB/T18905 -2002 软件工程 产品评价（idt ISO/IEC 14598：1998） GB/T 16680-1996 软件文档管理指南（neq ISO/IEC TR 9294:1990）
各系统组件的性能目标 是否分别满足设计
最终测试
系统整体性能 是否满足用户需求
验证内容
–网络性能 –中间件性能 –操作系统性能 –数据库性能 –数据调用方式 –数据统计方式 –数据展现方式 –…………
系统性能需求
Page 21
3.2 时间特性的度量
系统平均响应时间 系统最大响应时间 系统最大错误处理时间 系统平均传输时间 系统最大传输时间 系统平均交易处理时间 系统最大交易处理时间
…
问题率
问题严重 …… 度量元1 … 度量元L
程度
……
Page 14
2.3 度量与评估流程
确定 软件评测需求
投标书、软件评测需求
评审与签定 软件评测合同
软件评测合同
顾客需求
编写 软件评测计划
软件评测计划
顾客输入
产品描述
编写 评测规格说明
评测规格说明
度量与评件测试说明
Page 11
2.1 相关国际、国家标准（续1）
软件质量
功能性 可靠性 易用性 效率
维护性 移植性
适合性 准确性 互操作性 安全保密性 依从性
成熟性 容错性 易恢复性 依从性
易理解性 易操作性 易学性 吸引性 依从性
时间特性 资源利用率 依从性
易分析性 易改变性 稳定性 易测试性 依从性
适应性 易安装性 共存性 易替换性 依从性
测试结束了，软件质量究竟如何？
——这是用户常问的问题。
用户希望 测试是全 面质量保 证，甚至 是全面业 务保证。
责任！
用户关心 的是整体 评价，而 不是某个 测试类型 的结果。
结论！
对测试需 求的定义 是否全面 ，让用户 心中有数 。
目标！
√
用户对测 试过程的 了解、参 与比较少 。
沟通！
√
测试结果 的分析、 整理、量 化需要提 高。
企业必须有自己的度量与评价标准（积累与提高） 度量与评价标准的制订有一定难度（考虑可操作性和易用性） 度量与评价标准的完善需要过程（“与时俱进”） 度量与评价标准最好先粗（评级），再细（评分）
Page 17
2.4 评测方要做的准备工作（续2）
测试方法、测试理论、测试技术的积累
知识库的建立（体系化） 操作规程的建立（专业化） 理论与实践结合（实用化）
软件测试说明
测试工具 产品部件
实施 软件评测
评测 记录
编写 评价报告
评价 报告
软件评测过程模型
Page 15
2.4 评测方要做的准备工作
定义企业度量与评价规范 测试方法、测试理论、测试技术的积累 熟练掌握测试工具 测试队伍建设（角色划分….）
Page 16
2.4 评测方要做的准备工作（续1）
定义企业度量与评价规范
Page 6
1.2 有利于找到测试分析的重点
每个系统的特征不同（大数据量？实时系统？大并发量？交易系统 ？查询系统？可靠性要求高？）
度量则必须定义特性优先级 可依此定义测试分析重点（系统结构？数据库设计？并发交易处 理？资源泄露？系统软件构架？） 任何测试分析都要与功能紧密结合（对业务有何影响，这是 用户最关心的）
量化！
√
Page 5
1.1 软件整体评价（续）
策略1——保护自己：
告诉用户测试的目的是尽可能多的发现问题，但并 不保证软件的质量。
策略2——提高服务：
在测试开始前，就与用户就软件质量评估的标准达 成共识。（目标问题、沟通问题） 测试过程是为质量评估服务。（沟通问题） 质量评估是测试结果量化的开始。（量化问题）
Page 7
1.3 测试结果的分析
测试结果是为评价服务的
• 单个结果 汇总分析 • 定性 定量
对单个测试结果的分析应尽可能深入
• 最优服务用户 • 提升测试的价值 • 提高测试队伍的水平
Page 8
1.3 从思路上指导测试工作
测试只是第一步 测试是服务，要不断提升用户满意度 测试应该为评价服务 测试应该有整体观念 测试有和开发类似的过程（需求—>概要设计—> 详细 设计—> 实施—> 评价）
GB/T16260-1996定义
Page 12
2.2 相关国际、国家标准（续2）
理想与现实的差距：
特性、子特性定义完备，度量元定义缺乏 度量与测试的有效结合问题
Page 13
2.2 度量与评估模型
分级度量与评估
软件质量
功能性
…………
质量特性n
适合性 …… 子特性n
子特性1 ….. 子特性m
功能点 覆盖率
单纯对 某个方 面的评 估是不 全面的
体项目 ，确定 各个特 性的权
重
Page 2
内容
1、引入软件度量与评估的优点 2、度量与评估的流程 3、效率的度量
Page 3
1、引入软件度量与评估的优点
软件整体评价 有利于找到测试分析的重点 测试结果的分析 从思路上指导测试工作
Page 4
1.1 软件整体评价
软件产品度量与评估探讨
Echo_chen
Page 1
定义
产品度量：定义产品特性定量分析的标准，并按照此标准对测试 结果进行量化。
精细 量化 （95
，
80..)
粗略 分级
（优 、良 、中
通用标准 （行业、 系统平台 、开发结
构..)
具体项目 的度量标
准
产品评估：根据产品度..量) 的结果，对整个软件产根品据进具行评价。
Page 22
3.3 资源利用率的度量
主要针对UNIX系统度量
网络带宽（最大值，平均值，错误出现情况） 系统I/O （最大值，平均值，错误出现情况） 磁盘I/O （最大值，平均值，错误出现情况） CPU （最大值，平均值，错误出现情况） 内存 （最大值，平均值，错误出现情况）
Page 23
谢谢
Page 24
Page 18
2.4 评测方要做的准备工作（续3）
熟练掌握测试工具
测试价值的体现（能发现系统级的错误） 。。。。
Page 19
3、效率的度量
性能测试过程 时间特性的度量 资源利用率的度量
Page 20
3.1 性能测试过程
阶段
验证要求
设计审核 早期验证
各系统组件的性能目标 是否进行了量化设计
回归