测试度量
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ቤተ መጻሕፍቲ ባይዱ
4.2/千行 0.18/千行
讨论
• 目前我们实际工作中有哪些测试度量指标？ • 度量操作中存在什么问题，怎么改进？ • 最希望获得哪些度量指标？
测试度量的作用（ 测试度量的作用（三）
• 提高测试流程可控性 • 提高测试效率和质量 • 提高测试人员的成就感
谢谢
测试过程中的度量
2004-9-3
• 一个项目开始了 一个项目开始了……
一个项目开始了…… 一个项目开始了
客户
我们的需求今天 是…明天是… 这是个重 点工程
项目经理
项目工 期紧， 多长时 间能测 完？
我该怎么 办呢？
高级管理人员
测试项目 需要多少 成本？ 什么时候发 布版本呢？
测试部经理
可得测好点， 不然我就惨 了
在测试的哪个阶段做度量
• 测试用例设计阶段 • 测试执行阶段 • FOA阶段（First Official Application）
在测试的哪个阶段做度量
• • • • • • • 产品概念阶段 测试计划阶段 测试用例设计阶段 测试执行阶段 FOA阶段（First Official Application） 现场实施阶段 验收阶段
测试负责人
头，要出 差多久？
实施人员
测试员
质量管 理人员
有据可查、心中有数、制定切实可行的计划
信口开河、盲目跟从、一拍脑袋就来
测试度量的作用（ 测试度量的作用（一）
• 制定计划时提供依据
需要多长时间 需要多少人，什么素质的人 在规定的时间内能完成到什么程度 哪些模块需要重点关注 测试工作量占整个项目的比例 测试结束后我们能达到什么样的目标 ……
FOA阶段的度量 阶段的度量
• 发布文档数量 • 发布文档缺陷数量、级别 • • • • • • • 现场发现的BUG数量 回归测试现场BUG的工作量 版本发布过程中的验证周期 版本发布过程中的验证工作量 测试用例覆盖率 功能的用户关注度 需求变化程度
项目度量
测试度量的作用（ 测试度量的作用（一）
谁来做度量
数据记录
测试人员
执行
项目进行过程中
测试度量数据统计
测试负责人
根据测试状态， 根据测试状态， 制定措施
项目度量数据统计
QA人员 QA人员
数据分析
数据分析
MG
谁来做度量
计算项目度量结果
QA
得出项目质量报告 得出
和目标值比对 项目结束后
MG
总结、 总结、分析
计算测试度量结果
测试负责人
和目标值比对
测试度量的内容
• 两种度量类型： 项目度量：规模、测试工作量、测试进度、测试生产率 质量度量：缺陷率（阶段）、缺陷排除率、可靠性等 • 四个基本度量项 规模 工作量 进度 缺陷
测试用例设计阶段的度量
规模：测试方案数量 测试用例数量 规模 测试工具设计数量 测试用例/人月 工作量：文档的草稿编写工作量、评审前阅读工作量、评审工作量 、 工作量 修改工作量 进度：每件具体工作的计划开始结束时间、实际开始结束时间、计划工时数、 进度 实际工时数、计划完成率 缺陷：评审过程中出现的错误数量、缺陷数量，级别 缺陷
• • • •
A、B公司的度量数据 、 公司的度量数据
A项目 时间进度 工作量投入 生产率 100% 97% 22用例/千行 B项目 120% 88.4% 设计：7.14 用例/人天 27用例/千行 执行：4.17 用例/人天 14.8/千行 0.36/千行 40.66% 14.27%
缺陷密度 发布后缺陷密度 COQ COPQ
度量测试的充分性
测试度量的作用（ 测试度量的作用（二）
• 测试为产品质量贡献的度量 度量项 问题遗 漏率 COQ COPQ 含义 发布后市场反馈问题数 /产品问题总数目 目的/意义 衡量内部测试质量 为提升测试质量所付出的工 作量 为不好的质量付出的代价
谁来做度量
提供测试预估数据
测试人员
项目测试参与人员
• 制定计划时提供依据
需要多长时间 需要多少人，什么素质的人 在规定的时间内能完成到什么程度 哪些模块需要重点关注 测试结束后我们能达到什么样的目标 ……
测试度量的作用（ 测试度量的作用（二）
• 测试的度量为项目实施做的贡献
度量项 测试生产率 工作量变化率 测试进度变化 率 工作量 含义 单位时间所测试的代码量、或者单 位时间执行测试用例的数量 实际花费工作量相对于估计工作量 的偏差百分比 项目实际测试进度相对于计划进度 的偏差百分比 测试所做的工作小时数 目的/意义 一个团队的测试能力 提高估计技能 、避免过 载分配任务 监控项目以便适时采取 纠正措施 测试为整个项目贡献的 工作量
测试度量的作用（ 测试度量的作用（二）
• 测试为产品质量贡献的度量 度量项 缺陷密度 测试问题 的严重性 测试用例 的问题发 现效率 测试用例 覆盖率 含义 千行代码发现的缺陷数， 千个功能发现的缺陷数 测试发现问题的严重性分 布 单个测试用例发现问题的 数量 需求覆盖率、功能点覆盖 率、代码覆盖率等 目的/意义 用于度量被测试系统的可靠性 用于确定目前被测试系统的可 靠性 用于度量测试用例的有效性
提供测试度量数据预估
测试计划 度量部分
项目测试负责人
项目初始
测试负责人
对测试预估数据做核定
MG
项目计划 测试度量 部分
产品经理、项目经理、 产品经理、项目经理、 测试经理
QA人员 QA人员
质量计划 测试度量 部分
QA人员 人员 产品经理、项目经理、 （产品经理、项目经理、 测试经理制定目标） 测试经理制定目标）
测试度量 分析报告
测试人员
测试度量 原始数据
怎么做度量
• PDCA方法：
PLAN DO CHECK ACTION 计划、设置标竿 执行 检查和标竿有什么差距 改进过程
怎么做度量
PLAN 计划－－制定我们想要达到的目标 日报－－记录数据 周报－－汇总数据，给出度量结果DO 周例会－－针对度量结果，作出下一步 工作建议 CHECK • 阶段总结－－子系统、集成、系统测试 等各测试阶段结束后做度量评估，为后 ACTION 续工作做出指导
项 目 度 量 测 试 度 量
测试执行阶段的度量
• • • • • • • • • • • • 测试用例执行率 测试用例通过率 测试用例问题发现率 BUG数量 BUG级别统计 BUG分布统计（模块） BUG分布统计（阶段） BUG密度 BUG关闭率 人均BUG发现效率 测试用例执行工作量 回归测试执行工作量 项目 度量
4.2/千行 0.18/千行
讨论
• 目前我们实际工作中有哪些测试度量指标？ • 度量操作中存在什么问题，怎么改进？ • 最希望获得哪些度量指标？
测试度量的作用（ 测试度量的作用（三）
• 提高测试流程可控性 • 提高测试效率和质量 • 提高测试人员的成就感
谢谢
测试过程中的度量
2004-9-3
• 一个项目开始了 一个项目开始了……
一个项目开始了…… 一个项目开始了
客户
我们的需求今天 是…明天是… 这是个重 点工程
项目经理
项目工 期紧， 多长时 间能测 完？
我该怎么 办呢？
高级管理人员
测试项目 需要多少 成本？ 什么时候发 布版本呢？
测试部经理
可得测好点， 不然我就惨 了
在测试的哪个阶段做度量
• 测试用例设计阶段 • 测试执行阶段 • FOA阶段（First Official Application）
在测试的哪个阶段做度量
• • • • • • • 产品概念阶段 测试计划阶段 测试用例设计阶段 测试执行阶段 FOA阶段（First Official Application） 现场实施阶段 验收阶段
测试负责人
头，要出 差多久？
实施人员
测试员
质量管 理人员
有据可查、心中有数、制定切实可行的计划
信口开河、盲目跟从、一拍脑袋就来
测试度量的作用（ 测试度量的作用（一）
• 制定计划时提供依据
需要多长时间 需要多少人，什么素质的人 在规定的时间内能完成到什么程度 哪些模块需要重点关注 测试工作量占整个项目的比例 测试结束后我们能达到什么样的目标 ……
FOA阶段的度量 阶段的度量
• 发布文档数量 • 发布文档缺陷数量、级别 • • • • • • • 现场发现的BUG数量 回归测试现场BUG的工作量 版本发布过程中的验证周期 版本发布过程中的验证工作量 测试用例覆盖率 功能的用户关注度 需求变化程度
项目度量
测试度量的作用（ 测试度量的作用（一）
谁来做度量
数据记录
测试人员
执行
项目进行过程中
测试度量数据统计
测试负责人
根据测试状态， 根据测试状态， 制定措施
项目度量数据统计
QA人员 QA人员
数据分析
数据分析
MG
谁来做度量
计算项目度量结果
QA
得出项目质量报告 得出
和目标值比对 项目结束后
MG
总结、 总结、分析
计算测试度量结果
测试负责人
和目标值比对
测试度量的内容
• 两种度量类型： 项目度量：规模、测试工作量、测试进度、测试生产率 质量度量：缺陷率（阶段）、缺陷排除率、可靠性等 • 四个基本度量项 规模 工作量 进度 缺陷
测试用例设计阶段的度量
规模：测试方案数量 测试用例数量 规模 测试工具设计数量 测试用例/人月 工作量：文档的草稿编写工作量、评审前阅读工作量、评审工作量 、 工作量 修改工作量 进度：每件具体工作的计划开始结束时间、实际开始结束时间、计划工时数、 进度 实际工时数、计划完成率 缺陷：评审过程中出现的错误数量、缺陷数量，级别 缺陷
• • • •
A、B公司的度量数据 、 公司的度量数据
A项目 时间进度 工作量投入 生产率 100% 97% 22用例/千行 B项目 120% 88.4% 设计：7.14 用例/人天 27用例/千行 执行：4.17 用例/人天 14.8/千行 0.36/千行 40.66% 14.27%
缺陷密度 发布后缺陷密度 COQ COPQ
度量测试的充分性
测试度量的作用（ 测试度量的作用（二）
• 测试为产品质量贡献的度量 度量项 问题遗 漏率 COQ COPQ 含义 发布后市场反馈问题数 /产品问题总数目 目的/意义 衡量内部测试质量 为提升测试质量所付出的工 作量 为不好的质量付出的代价
谁来做度量
提供测试预估数据
测试人员
项目测试参与人员
• 制定计划时提供依据
需要多长时间 需要多少人，什么素质的人 在规定的时间内能完成到什么程度 哪些模块需要重点关注 测试结束后我们能达到什么样的目标 ……
测试度量的作用（ 测试度量的作用（二）
• 测试的度量为项目实施做的贡献
度量项 测试生产率 工作量变化率 测试进度变化 率 工作量 含义 单位时间所测试的代码量、或者单 位时间执行测试用例的数量 实际花费工作量相对于估计工作量 的偏差百分比 项目实际测试进度相对于计划进度 的偏差百分比 测试所做的工作小时数 目的/意义 一个团队的测试能力 提高估计技能 、避免过 载分配任务 监控项目以便适时采取 纠正措施 测试为整个项目贡献的 工作量
测试度量的作用（ 测试度量的作用（二）
• 测试为产品质量贡献的度量 度量项 缺陷密度 测试问题 的严重性 测试用例 的问题发 现效率 测试用例 覆盖率 含义 千行代码发现的缺陷数， 千个功能发现的缺陷数 测试发现问题的严重性分 布 单个测试用例发现问题的 数量 需求覆盖率、功能点覆盖 率、代码覆盖率等 目的/意义 用于度量被测试系统的可靠性 用于确定目前被测试系统的可 靠性 用于度量测试用例的有效性
提供测试度量数据预估
测试计划 度量部分
项目测试负责人
项目初始
测试负责人
对测试预估数据做核定
MG
项目计划 测试度量 部分
产品经理、项目经理、 产品经理、项目经理、 测试经理
QA人员 QA人员
质量计划 测试度量 部分
QA人员 人员 产品经理、项目经理、 （产品经理、项目经理、 测试经理制定目标） 测试经理制定目标）
测试度量 分析报告
测试人员
测试度量 原始数据
怎么做度量
• PDCA方法：
PLAN DO CHECK ACTION 计划、设置标竿 执行 检查和标竿有什么差距 改进过程
怎么做度量
PLAN 计划－－制定我们想要达到的目标 日报－－记录数据 周报－－汇总数据，给出度量结果DO 周例会－－针对度量结果，作出下一步 工作建议 CHECK • 阶段总结－－子系统、集成、系统测试 等各测试阶段结束后做度量评估，为后 ACTION 续工作做出指导
项 目 度 量 测 试 度 量
测试执行阶段的度量
• • • • • • • • • • • • 测试用例执行率 测试用例通过率 测试用例问题发现率 BUG数量 BUG级别统计 BUG分布统计（模块） BUG分布统计（阶段） BUG密度 BUG关闭率 人均BUG发现效率 测试用例执行工作量 回归测试执行工作量 项目 度量