TPI Next度量指标
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
度量指标 缺陷探测率 (DDP) 指标计算方法样例
发现于单一测试级别的缺陷数量 各测试级别发现的缺陷总数 释放后一段时间内缺陷数量
说明 DDP 度量指标显示了某一测试级别发现缺陷的 有效性，通常表现为百分比的形式。此度量指 标可用于优化测试策略和/或测试用例设计。 计算 DDP 中的释放后缺陷数量时，一般是对释 放后 1-3 个月的缺陷数量进行统计。
东软集团股份有限公司
2012-12-4
Page 4 of 4
此度量提供了 （局部） 测试对象的质量和解决最重 要缺陷的进度。 此度量显示了测试的有效性。 此度量用于检查余下的测试预算是否能够满足已 计划测试活动中余下的活动。 此度量指标使用以往的项目中收集的数据， 用于合 理估算当前各测试阶段的资源分配。 此度量指标显示了整个测试项目时间段中， 非活动 （等待空闲） 时间所占比例。 可参照等待时间比率 为后续项目规划更实际的时间进度。 此度量显示了满足可以开始下一测试级别或可释 放的质量准则
度量指标 测试依据稳定性
指标计算方法样例
测试件质量
测试用例的新增数量: 测试用例的更新数量: 测试用例的删除数量 误发现缺陷数量 缺陷总数量
（百分比）
说明 此度量显示了测试依据的质量和稳定性。如果测试依 据比较稳定，则测试用例设计可以在第一时间完成， 从而提高测试过程的效率。 此度量可以帮助你深入了解测试执行的效率，特别是 针对测试对象的某一部分或者某一个测试团队进行细 分时。 此度量为估算测试在整个项目中的成本投入提供了估 算的依据。 可借鉴的比例标准是设计：开发：测试=2：5：3。这 个比例在不同组织，甚至是不同项目中都是不同的， 因此需要依据实际情况进行调整。 此度量显示了测试被测对象的某一部分需要的测试次 数和再测试次数。 测试的次数取决于被测产品的特性、测试的精细度或 测试对象的历史。 此度量用于发现缺陷解决过程中的瓶颈。例如：通过 检查缺陷大量堆积的状态，可以发现瓶颈是在修复缺 陷（由开发人员负责）还是在再测试（由测试人员负 责）。
预算比例
=（测试成本与其他开发成本 之间的比例）设计成本：开发 成本：测试成本
测试百度文库再测试次数
测试次数； 再测试次数
缺陷解决瓶颈
每个缺陷状态的缺陷数量 （新 建、打开、再测试等）
优化级
达到优化级意味着有机会“持续适应日新月异的环境”。当已经使用正确的方法解决正确的 事情后，关注点就转移到确保未来也走在正轨上。优化级度量指标的设置服务于通过分析当 前过程来发现问题和制定后续改善措施。 适用于优化级的一些度量指标的例子如下：
初始级
东软集团股份有限公司
2012-12-4
Page 1 of 4
初始级的特点是“无序的活动”，是唯一不包含任何具体期望，测试过程可自然实现的成熟 度等级。处于这一级别的测试过程不需要具体的度量标准。对项目或测试过程的比较主要基 于主观看法。
可控级
处于可控级的一个重要标识是记录和存储必要的信息。这个成熟度等级的特点是“做正确的 事情”。测试过程的有效性体现在能够对质量进行更早和更深入的洞察，能够及时提供纠正 措施，能够降低由于产品质量不足所造成延误的几率。在本成熟度等级中，度量指标的定义 和使用都服务于估算和控制测试项目。以下度量指标适用于可控级： 度量指标
测试覆盖率
指标计算方法样例
已执行的测试针对特定的覆盖类型 的覆盖百分比（笼统的表述达到 xx%覆盖是没有任何意义的）
说明
此度量指标显示了测试依据的测试程度。
测试设计比率 测试执行率
已完成测试用例数量 计划测试用例数量 已执行测试用例数量 已设计的测试用例总数
此度量用于监控测试用例设计的进度。 此度量用于监控测试执行的进度， 从而调整测试执 行阶段的总体时间。 测试执行阶段的时间越少占用 测试项目关键路径的时间则越好。 此度量提供了需要（再）测试的用例数量。
东软集团股份有限公司
2012-12-4
Page 3 of 4
度量指标 指标计算方法样例 缺陷引入率（DIR） 缺陷数量
或者
新增代码行数 缺陷数量 修改代码行数
测试设计工作量
测试用例设计总时间 测试用例数量
等待时间（每个问 题）
单个问题导致的空闲或停滞时间 测试项目总体时间
说明 此度量指标显示了提交代码的质量，也有助于 估算缺陷密度。 通过度量代码变更总行数，我们可以使用 DIR 指标来估算代码变更引入的缺陷数量。这个指 标数值的计算需要一段足够长的时间（通常 6 个月左右）。 需要注意的是，DIR 并不是精准的度量指标， 其数值受到很多因素的影响，如：提交代码的 质量、测试级别、测试策略等。 此度量通过收集多个测试项目的数据来对测 试资源的估算进行优化。当测试项目中的工作 量与平均值出现显著偏差时，需要分析问题找 出原因，并制定可行的改善措施。 通过分析导致等待时间的不同原因，可以决定 在后续项目中，针对哪些原因需要采取措施来 规避等待时间。
TPI Next 度量指标
SRC 测试能力发展专项 刘宇旸
引言
在软件开发生命周期的不同阶段，度量指标都提供了及时有效的信息来帮助我们采取正确的 行动。度量指标的有效实施能够帮助我们提高软件的质量并有助于按时按期交付软件产品。 同样，在测试过程中，度量的作用也不可轻视。我们可以使用度量来预估和管理测试过程， 指导测试过程的调整，作为测试建议的依据，以及提供系统之间或者测试过程之间的对比。 从TCOE上，我们可以看到各事业部的测试部对于度量指标都有自己的规范。在TCOE上以“度 量”为关键字进行检索，可以查找到一些与软件测试的度量相关的文章：软件测试度量指南 （商用软件事业部） ，测试过程数据度量实例集（IA） ，软件测试过程中的度量（软件产品） ， 好文共享：软件测试过程质量的度量（金融事业部） 。这些文章对度量的管理过程和度量指标 已经进行了比较详细的说明。 然而，从测试过程改进的角度来看，制定度量指标并不是最终目的，在实际项目中真正应用 度量指标才有意义。另外只有当所应用的度量指标符合测试组织当前的成熟度时，才能够使 度量指标对测试过程的贡献达到最优。那么，如何确定当前使用的度量指标是否适合当前的 成熟度，如何选取最适合的度量指标？本文结合“测试能力评估模型”，介绍了不同的测试 成熟度等级所对应的度量指标。 “测试能力评估模型”中的度量关键域分为四个成熟度等级，即初始级、可控级、高效级和 优化级。接下来，将分别说明度量关键域处于不同成熟度等级时所使用的度量指标的特征并 给出了一些度量指标的例子。度量关键域的整体成熟度水平可以通过“测试能力评估模型” 中的度量关键域的检查点来确定。
测试执行的进度
缺陷严重度 漏测率 测试预算使用比例 测试阶段比率
对已执行的测试用例分别按照以下 分类进行数量统计： Passed(执行通过) Failed(执行测试用例时出现一 个或多个缺陷) Blocked(测试用例无法执行) 表现为以已解决/未解决和严重度 为维度的二维模型
释放后缺陷数量 有效缺陷总数 已使用测试预算（小时或金额） 总测试预算 = (各测试阶段的时间消耗比例)准 备阶段时间:设计阶段时间:执行阶 段时间:„„ 空间时间 测试项目总体时间
等待时间比率
出口准则
多个度量指标的集合： 例如：测试执行进度、缺陷严重度 等。
东软集团股份有限公司
2012-12-4
Page 2 of 4
高效级
高效级的特点是“做正确的事情”。在这一成熟度等级中，除了度量指标的使用要能够达到 最优的投入产出比以外，度量指标的定义和使用要服务于当前测试过程的效率。一些度量的 例子如下：
结论
在测试过程改进的过程中，对度量关键域的改进除了要建立规范的度量管理过程外，还需要 选择适当的度量指标。本文介绍了处于不同成熟度的度量过程所适合的度量指标，测试团队 可以通过评估自身度量关键域的成熟度，来选择最适合当前状况的度量指标。
（注：本文内容参考自 Sogeti, C. G. (2009). TPI® Next: business driven test process improvement, UTN Publishers.）
发现于单一测试级别的缺陷数量 各测试级别发现的缺陷总数 释放后一段时间内缺陷数量
说明 DDP 度量指标显示了某一测试级别发现缺陷的 有效性，通常表现为百分比的形式。此度量指 标可用于优化测试策略和/或测试用例设计。 计算 DDP 中的释放后缺陷数量时，一般是对释 放后 1-3 个月的缺陷数量进行统计。
东软集团股份有限公司
2012-12-4
Page 4 of 4
此度量提供了 （局部） 测试对象的质量和解决最重 要缺陷的进度。 此度量显示了测试的有效性。 此度量用于检查余下的测试预算是否能够满足已 计划测试活动中余下的活动。 此度量指标使用以往的项目中收集的数据， 用于合 理估算当前各测试阶段的资源分配。 此度量指标显示了整个测试项目时间段中， 非活动 （等待空闲） 时间所占比例。 可参照等待时间比率 为后续项目规划更实际的时间进度。 此度量显示了满足可以开始下一测试级别或可释 放的质量准则
度量指标 测试依据稳定性
指标计算方法样例
测试件质量
测试用例的新增数量: 测试用例的更新数量: 测试用例的删除数量 误发现缺陷数量 缺陷总数量
（百分比）
说明 此度量显示了测试依据的质量和稳定性。如果测试依 据比较稳定，则测试用例设计可以在第一时间完成， 从而提高测试过程的效率。 此度量可以帮助你深入了解测试执行的效率，特别是 针对测试对象的某一部分或者某一个测试团队进行细 分时。 此度量为估算测试在整个项目中的成本投入提供了估 算的依据。 可借鉴的比例标准是设计：开发：测试=2：5：3。这 个比例在不同组织，甚至是不同项目中都是不同的， 因此需要依据实际情况进行调整。 此度量显示了测试被测对象的某一部分需要的测试次 数和再测试次数。 测试的次数取决于被测产品的特性、测试的精细度或 测试对象的历史。 此度量用于发现缺陷解决过程中的瓶颈。例如：通过 检查缺陷大量堆积的状态，可以发现瓶颈是在修复缺 陷（由开发人员负责）还是在再测试（由测试人员负 责）。
预算比例
=（测试成本与其他开发成本 之间的比例）设计成本：开发 成本：测试成本
测试百度文库再测试次数
测试次数； 再测试次数
缺陷解决瓶颈
每个缺陷状态的缺陷数量 （新 建、打开、再测试等）
优化级
达到优化级意味着有机会“持续适应日新月异的环境”。当已经使用正确的方法解决正确的 事情后，关注点就转移到确保未来也走在正轨上。优化级度量指标的设置服务于通过分析当 前过程来发现问题和制定后续改善措施。 适用于优化级的一些度量指标的例子如下：
初始级
东软集团股份有限公司
2012-12-4
Page 1 of 4
初始级的特点是“无序的活动”，是唯一不包含任何具体期望，测试过程可自然实现的成熟 度等级。处于这一级别的测试过程不需要具体的度量标准。对项目或测试过程的比较主要基 于主观看法。
可控级
处于可控级的一个重要标识是记录和存储必要的信息。这个成熟度等级的特点是“做正确的 事情”。测试过程的有效性体现在能够对质量进行更早和更深入的洞察，能够及时提供纠正 措施，能够降低由于产品质量不足所造成延误的几率。在本成熟度等级中，度量指标的定义 和使用都服务于估算和控制测试项目。以下度量指标适用于可控级： 度量指标
测试覆盖率
指标计算方法样例
已执行的测试针对特定的覆盖类型 的覆盖百分比（笼统的表述达到 xx%覆盖是没有任何意义的）
说明
此度量指标显示了测试依据的测试程度。
测试设计比率 测试执行率
已完成测试用例数量 计划测试用例数量 已执行测试用例数量 已设计的测试用例总数
此度量用于监控测试用例设计的进度。 此度量用于监控测试执行的进度， 从而调整测试执 行阶段的总体时间。 测试执行阶段的时间越少占用 测试项目关键路径的时间则越好。 此度量提供了需要（再）测试的用例数量。
东软集团股份有限公司
2012-12-4
Page 3 of 4
度量指标 指标计算方法样例 缺陷引入率（DIR） 缺陷数量
或者
新增代码行数 缺陷数量 修改代码行数
测试设计工作量
测试用例设计总时间 测试用例数量
等待时间（每个问 题）
单个问题导致的空闲或停滞时间 测试项目总体时间
说明 此度量指标显示了提交代码的质量，也有助于 估算缺陷密度。 通过度量代码变更总行数，我们可以使用 DIR 指标来估算代码变更引入的缺陷数量。这个指 标数值的计算需要一段足够长的时间（通常 6 个月左右）。 需要注意的是，DIR 并不是精准的度量指标， 其数值受到很多因素的影响，如：提交代码的 质量、测试级别、测试策略等。 此度量通过收集多个测试项目的数据来对测 试资源的估算进行优化。当测试项目中的工作 量与平均值出现显著偏差时，需要分析问题找 出原因，并制定可行的改善措施。 通过分析导致等待时间的不同原因，可以决定 在后续项目中，针对哪些原因需要采取措施来 规避等待时间。
TPI Next 度量指标
SRC 测试能力发展专项 刘宇旸
引言
在软件开发生命周期的不同阶段，度量指标都提供了及时有效的信息来帮助我们采取正确的 行动。度量指标的有效实施能够帮助我们提高软件的质量并有助于按时按期交付软件产品。 同样，在测试过程中，度量的作用也不可轻视。我们可以使用度量来预估和管理测试过程， 指导测试过程的调整，作为测试建议的依据，以及提供系统之间或者测试过程之间的对比。 从TCOE上，我们可以看到各事业部的测试部对于度量指标都有自己的规范。在TCOE上以“度 量”为关键字进行检索，可以查找到一些与软件测试的度量相关的文章：软件测试度量指南 （商用软件事业部） ，测试过程数据度量实例集（IA） ，软件测试过程中的度量（软件产品） ， 好文共享：软件测试过程质量的度量（金融事业部） 。这些文章对度量的管理过程和度量指标 已经进行了比较详细的说明。 然而，从测试过程改进的角度来看，制定度量指标并不是最终目的，在实际项目中真正应用 度量指标才有意义。另外只有当所应用的度量指标符合测试组织当前的成熟度时，才能够使 度量指标对测试过程的贡献达到最优。那么，如何确定当前使用的度量指标是否适合当前的 成熟度，如何选取最适合的度量指标？本文结合“测试能力评估模型”，介绍了不同的测试 成熟度等级所对应的度量指标。 “测试能力评估模型”中的度量关键域分为四个成熟度等级，即初始级、可控级、高效级和 优化级。接下来，将分别说明度量关键域处于不同成熟度等级时所使用的度量指标的特征并 给出了一些度量指标的例子。度量关键域的整体成熟度水平可以通过“测试能力评估模型” 中的度量关键域的检查点来确定。
测试执行的进度
缺陷严重度 漏测率 测试预算使用比例 测试阶段比率
对已执行的测试用例分别按照以下 分类进行数量统计： Passed(执行通过) Failed(执行测试用例时出现一 个或多个缺陷) Blocked(测试用例无法执行) 表现为以已解决/未解决和严重度 为维度的二维模型
释放后缺陷数量 有效缺陷总数 已使用测试预算（小时或金额） 总测试预算 = (各测试阶段的时间消耗比例)准 备阶段时间:设计阶段时间:执行阶 段时间:„„ 空间时间 测试项目总体时间
等待时间比率
出口准则
多个度量指标的集合： 例如：测试执行进度、缺陷严重度 等。
东软集团股份有限公司
2012-12-4
Page 2 of 4
高效级
高效级的特点是“做正确的事情”。在这一成熟度等级中，除了度量指标的使用要能够达到 最优的投入产出比以外，度量指标的定义和使用要服务于当前测试过程的效率。一些度量的 例子如下：
结论
在测试过程改进的过程中，对度量关键域的改进除了要建立规范的度量管理过程外，还需要 选择适当的度量指标。本文介绍了处于不同成熟度的度量过程所适合的度量指标，测试团队 可以通过评估自身度量关键域的成熟度，来选择最适合当前状况的度量指标。
（注：本文内容参考自 Sogeti, C. G. (2009). TPI® Next: business driven test process improvement, UTN Publishers.）