系统测试错误等级的划分标准
缺陷等级划分
缺陷严重级别定义:o 最高级--导致运行中断(应用程序崩溃),预期的功能没有得到实现,测试工作无法继续进行等. o 紧急---事件非常重要,并且需要马上给予关注.o 高级---事件是重要的,并且应该在紧急的事件处理之后尽快得到解决.o 中级---事件是重要的,但是由于解决问题需要花费一定的时间,所以可以用较长的时间解决. o 低级---事件不重要,可以在时间和资源允许的情况下再解决.o 建议性缺陷.更为详细的划分如下:A类——严重错误,包括:o 由于程序所引起的死机,非法退出o 死循环o 导致数据库发生死锁o 数据通讯错误o 严重的数值计算错误B类——较严重错误,包括:o 功能不符o 数据流错误o 程序接口错误o 轻微的数值计算错误C类——一般性错误,包括:o 界面错误(详细文档)o 打印内容、格式错误o 简单的输入限制未放在前台进行控制o 删除操作未给出提示D类——较小错误,包括:o 辅助说明描述不清楚o 显示格式不规范o 长时间操作未给用户进度提示o 提示窗口文字未采用行业术语o 可输入区域和只读区域没有明显的区分标志o 系统处理未优化E类——测试建议(非缺陷)软件公司对软件缺陷级别的定义不尽相同,一般可以分为4种:1. 致命(fatal):致命的错误,造成系统或应用程序崩溃(crash)、死机、系统悬挂、或造成数据丢失、主要功能组完全丧失2. 严重(critical):严重错误,指功能或者特性(feature)没有实现,主要功能丧失,导致严重的问题,或致命的错误声明3. 一般的(major):不太严重的错误,这样的缺陷虽然不影响系统的基本使用,但没有很好的实现功能,没有达到预期的效果。
如次要功能丧失,提示信息不太正确,或用户界面太差,操作时间长等4. 微小的(minor):一些小问题,对功能几乎没有影响,产品及属性仍可使用,如有个别错别字、文字排列不整齐等Bug严重程度定义:致命(Critical)BUG :测试执行直接导致系统死机、蓝屏、挂起或是程序非法退出;系统的主要功能或需求没有实现。
软件缺陷分类标准
1
附录I 附录
等级 描述
系统死机 数据损坏 5-致命 功能失效 异常退出 功能缺少 功能错误 计算错误 4-非常高 精度错误 交互错误
缺陷等级定义标准
说明 测试特性
可靠性 可靠性 可靠性 可靠性 功能性 功能性 功能性 功能性 功能性
系统、环境及应用崩溃死机。 软件发生故障数据毁坏或丢失。 软件发生故障导致功能失效。 软件发生故障异常退出。 用户需求未实现。 实际提供功能与用户需求不一致。流程或接口 中,数据未做关联。 结果计算错误。 精度与用户需求不一致。 与其他软件或系统交换数据出错, 包括导出文件 后内容丢失。 未达到需求说明书中所规定的性能指标, 例如响 应时间过长。 输入未控制和未判断导致功能异常、信息缺失,
性能缺陷
效率
3-高
控制错误
或界面显示、 提示信息异常等; 如必输项、 重复、 数据约束、数据长度;删除未确认;屏蔽判定; 正常逻辑错误。 界面显示错误, 页面刷
错别字,打印内容格式错误。可修改字段与不可 修改字段中字体颜色标示未区别; 界面风格不一致,术语不统一,对话框颜色不一 致,按钮大小不统一,提示信息不一致;未使用 默认值,默认值使用不便或不正确。
易用性
易用性
1-低
建议意见
需求说明书、用户手册中未说明,但影响用户对 软件使用的方便性等。
易用性
1
附录II 验收通过标准 验收通过 通过标准 附录
验收项
缺陷数量 需求分析文档,设计文档和编码是否实现一致 验收测试工件齐全
验收通过标准
系统无 5-致命、4-非常高缺陷,3-高缺陷数量 不超过系统测试功能点数 2% 是 是
bug定义标准
BUG定义标准广东旭普空间信息技术产业发展有限公司2009-10-30文档修订记录:*说明:C――创建,A——增加,M——修改,D——删除1引言1.1目的对 BUG 概念、分类、 BUG 状态、 BUG 等级划分等内容进行定义和规范,以便进一步指导我们的测试工作。
一方面也让开发人员明白各类BUG的定义,及测试人员对其程序中各类缺陷等级划分的依据。
1.2 概念BUG :软件中存在的瑕疵,可能会导致系统失效。
简单的说就是软件系统中存在可能导致系统出错、控制失效、死机等错误或缺陷。
1.3相关名词解释1、软件错误:指在软件生存周期内出现的不希望或不可接受的人为错误。
2、软件缺陷:是存在于软件(文档、数据、程序)中偏离需求说明书的现象,其结果是软件运行于某一特定条件时会出现软件故障。
3、软件故障:是指软件运行过程中出现的一种不希望或不可接受的内部状态,比如:软件处于处理一个多余循环过程时,我们可以称软件出现故障,若此时没有适当的容错措施加以处理,就会导致软件失效。
4、软件失效:软件运行时产生的一种不希望或不可接受的外部行为结果。
1.4 参考资料1、<<测试管理—bug管理>>2、<<CMM缺陷等级划分标准>>3、51testing软件测试专业论坛2 BUG提交要求1Bug通过测试组评审,属于已确认的bug2测试人员需用清晰、简洁的文字描述bug,并能复现3 BUG分类1、功能错误以需求说明书为参照,未达到或未完成需求说明书所描述的功能即为功能错误。
具体基本上可分为:a、严重花屏b、内存泄漏c、用户数据丢失或破坏d、系统崩溃/死机/冻结e、模块无法启动或异常退出f、严重的数值计算错误g、重复的功能h、多余的功能i、遗漏的功能j、需求未实现k、功能设计与需求严重不符l、其它导致无法测试的错误2、编码错误在系统运行中出现各类系统报错以及出现死机、不能工作、没有反应的现象即为编码错误。
缺陷等级划分
缺陷严重级别定义:o最高级--导致运行中断(应用程序崩溃),预期的功能没有得到实现,测试工作无法继续进行等.o紧急---事件非常重要,并且需要马上给予关注.o高级---事件是重要的,并且应该在紧急的事件处理之后尽快得到解决.o中级---事件是重要的,但是由于解决问题需要花费一定的时间,所以可以用较长的时间解决.o低级---事件不重要,可以在时间和资源允许的情况下再解决.o建议性缺陷.更为详细的划分如下:A类——严重错误,包括:o由于程序所引起的死机,非法退出o死循环o导致数据库发生死锁o数据通讯错误o严重的数值计算错误B类——较严重错误,包括:o功能不符o数据流错误o程序接口错误o轻微的数值计算错误C类——一般性错误,包括:o界面错误(详细文档)o打印内容、格式错误o简单的输入限制未放在前台进行控制o删除操作未给出提示D类——较小错误,包括:o辅助说明描述不清楚o显示格式不规范o长时间操作未给用户进度提示o 提示窗口文字未采用行业术语o可输入区域和只读区域没有明显的区分标志o 系统处理未优化E类——测试建议(非缺陷)软件公司对软件缺陷级别的定义不尽相同,一般可以分为4种:1.致命(fatal):致命的错误,造成系统或应用程序崩溃(crash)、死机、系统悬挂、或造成数据丢失、主要功能组完全丧失2.严重(critical):严重错误,指功能或者特性(feature)没有实现,主要功能丧失,导致严重的问题,或致命的错误声明3.一般的(major):不太严重的错误,这样的缺陷虽然不影响系统的基本使用,但没有很好的实现功能,没有达到预期的效果。
如次要功能丧失,提示信息不太正确,或用户界面太差,操作时间长等4.微小的(minor):一些小问题,对功能几乎没有影响,产品及属性仍可使用,如有个别错别字、文字排列不整齐等Bug严重程度定义:致命(Critical)BUG:测试执行直接导致系统死机、蓝屏、挂起或是程序非法退出;系统的主要功能或需求没有实现。
缺陷等级划分
缺陷严重级别定义:o 最高级--导致运行中断(应用程序崩溃),预期的功能没有得到实现,测试工作无法继续进行等. o 紧急---事件非常重要,并且需要马上给予关注.o 高级---事件是重要的,并且应该在紧急的事件处理之后尽快得到解决.o 中级---事件是重要的,但是由于解决问题需要花费一定的时间,所以可以用较长的时间解决. o 低级---事件不重要,可以在时间和资源允许的情况下再解决.o 建议性缺陷.更为详细的划分如下:A类——严重错误,包括:o 由于程序所引起的死机,非法退出o 死循环o 导致发生死锁o 数据通讯错误o 严重的数值计算错误B类——较严重错误,包括:o 功能不符o 数据流错误o 程序接口错误o 轻微的数值计算错误C类——一般性错误,包括:o 界面错误(详细文档)o 打印内容、格式错误o 简单的输入限制未放在前台进行控制o 删除操作未给出提示D类——较小错误,包括:o 辅助说明描述不清楚o 显示格式不规范o 长时间操作未给用户进度提示o 提示窗口文字未采用行业术语o 可输入区域和只读区域没有明显的区分标志o 系统处理未优化E类——测试建议(非缺陷)软件公司对软件缺陷级别的定义不尽相同,一般可以分为4种:1. 致命(fatal):致命的错误,造成系统或应用程序崩溃(crash)、死机、系统悬挂、或造成数据丢失、主要功能组完全丧失2. 严重(critical):严重错误,指功能或者特性(feature)没有实现,主要功能丧失,导致严重的问题,或致命的错误声明3. 一般的(major):不太严重的错误,这样的缺陷虽然不影响系统的基本使用,但没有很好的实现功能,没有达到预期的效果。
如次要功能丧失,提示信息不太正确,或用户界面太差,操作时间长等4. 微小的(minor):一些小问题,对功能几乎没有影响,产品及属性仍可使用,如有个别错别字、文字排列不整齐等Bug严重程度定义:致命(Critical)BUG :执行直接导致系统死机、蓝屏、挂起或是程序非法退出;系统的主要功能或需求没有实现。
系统上线标准
系统上线标准明确测试工作的开始和结束标准。
二、软件测试合格标准P0级错误P1级错误P2级错误P3级错误P4级错误P5级错误无无≦2%≦8%≦40%可不进行修复以上比例为错误占总测试模块的比例。
三、缺陷修复率标准1)P0、P1级错误修复率应达到100%2)P2级错误修复率应达到98%以上3)P3级错误修复率应达到92%以上4)P4级错误修复率应达到60%以上5)P5级错误无需在本版本完成修复注:项目紧急时,P3级别错误修复率达到60%以上;P4级别错误率达到20%即可四、覆盖率标准测试需求执行覆盖率应达到100%(业务测试用例均以执行)。
五、错误级别分级等级等级说明分类说明致命问题Blocker导致整个产品无法进行测试。
修改优先级为最高,该级别需要程序员立即修复(马上解决,P0)模块无法启动或异常退出其他导致无法测试的错误Critical死机,数据丢失,主要功能完全丧失,系统悬挂等错误。
修改优先级为最高,该级别需程序员立即修复(马上解决,P1)运行过程中系统崩溃、死机、重启功能设计与需求严重不符严重花屏、严重的数值计算错误、内存泄漏影响手机语音或数据通讯等功能严重问题Major主要功能上市,导致严重的问题,或致命的错误声明。
修改优先级高,该级别需要程序员尽快修复(急需解决,P2)功能未能实现或存在错误轻微的数值计算错误系统所提供的功能或服务受明显的影响用户数据丢失或破坏一般问题Normal次要功能丧失,导致严重的问题,或致命的错误声明。
修改优先级为高,该级别需要程序员尽快修复(高度重视,P3)操作界面错误,如:数据窗口内列明定义、含义是否一致)边界条件下错误功能存在错误,但出现概率很低提示信息错误(包括未给出信息、信息提示错误等)长时间操作无进度提示,系统为优化(性能问题)Minor微小的问题,对功能几乎没有影响,产品及属性仍可使用。
修改优先级为低,该级别需要程序员修改或不修改(正常处理,P4)界面格式等不规范操作时未给用户提示文字排列不整齐等一些小问题光标跳转设置不好,光标定位错误轻微问题Trivial提示信息格式不符合要求,违背正常习俗习惯的,界面不美观,控件排列,格式不统一(正常处理,P4)辅助说明描述不清楚个别不影响产品理解的错别字可输入区域和只读区域没有明显区分标志Enhancement功能性建议,功能性使用,方便性,易用性不够(优先级低,P5)建议(公司内部人员反馈、用户反馈/投诉)六、测试环境DEV环境(开发环境,供开发人员进行开发,联调,bug复现等)QA环境(测试环境,测试人员测试需求,回归bug等)Pre环境(预发布环境,使用线上数据库测试是否通过)online环境(生产环境,测试人员进行线上验证,确认上线的功能是否ok)七、验收标准1.需求分析说明文档中定义的所有功能全部实现,性能指标全部达到要求2.在验收测试中发现的错误已经得到修复,各级缺陷修复率达到标准3.所有测试项中没有残余P0、P1级别的错误4.需求分析文档、设计文档和编码显示一致5.验收测试工作齐全(测试计划,测试用例,测试日志,测试通知单,测试报告,待验收的系统程序)八、压力测试服务器运行状况响应指标(需建立预警机制):CPU%并发期间最大使用率应不超过70~80%,如有集合并发可能允许短暂接近或达到100%,但大部分不应超过95%Memery测试期间保证内存充足可用内存不少于20%Dik监控硬盘是否有读写不超过40%性能指标:(需要业务部门提供需求指标)响应时间(不同业务/场景的并发响应时间)系统支持的用户量吞吐量事务的成功率九、各环境提交标准Dev环境–>QA环境,开发人员进行自测(如冒烟测试),有业务需求的进行内部联调,通过后提交QA环境QA环境–>Pre环境,达到“缺陷修复率标准”的标准,通过后提交Pre环境Pre环境–>Online环境,达到“缺陷修复率标准”的标准,通过后提交Online环境Online环境,进行快速回归,验证上线的需求是否正常,通过后发布上线结果。
bug等级划分标准
6. 测试bug等级划分标准:
按照jira管理工具上,bug主要分五类:
1)Blocker:阻碍开发或测试工作的问题。
(这个测试人员通常很少遇到)
2)Critical:系统无法执行、崩溃或严重资源不足、应用模块无法启动或异常退出、无法测试、造成系统不稳定。
具体基本上可分为:
○严重花屏
○内存泄漏
○用户数据丢失或破坏
○系统崩溃/死机/冻结
○模块无法启动或异常退出
○严重的数值计算错误
○功能设计与需求严重不符
○用户权限问题
○安全问题
○其它导致无法测试的错误
3)Major:影响系统功能或操作,主要功能存在严重缺陷,但不会影响到系统稳定性
具体基本上可分为:
○功能未实现
○功能错误
○系统刷新错误
○语音或数据通讯错误
○轻微的数值计算错误
○系统所提供的功能或服务受明显的影响
4)Minor:界面、性能缺陷
具体基本上可分为:
○操作界面错误(包括数据窗口内列名定义、含义是否一致)
○边界条件下错误
○提示信息错误(包括未给出信息、信息提示错误等)
○长时间操作无进度提示
○系统未优化(性能问题)
○光标跳转设置不好,鼠标(光标)定位错误
5)Trivial:易用性及建议性问题
具体基本上可分为:
○界面格式等不规范
○辅助说明描述不清楚
○操作时未给用户提示
○可输入区域和只读区域没有明显的区分标志
○个别不影响产品理解的错别字
○文字排列不整齐等一些小问题
○建议。
bug分类标准
为开发人员修改问题后所标志的状态,修改后还未测试。
再测试
测试组的负责人将bug指定给某位测试人员进行再测试,并将bug的状态设置为“再测试”
已拒绝
开发人员认为不是Bug、描述不清、重复、不能复现、不采纳所提意见建议、或虽然是个错误但还没到非改不可的地步故可忽略不计、或者测试人员提错,从而拒绝的问题。由Bug分配人或者开发人员来设置。
已关闭
为测试人员对修改问题进行验证后通过所标志的状态。由测试人员改变。
4.Bug严重级别:是指因缺陷引起的故障对软件产品的影响程度
严重级别名称
严重现象说明
致命
1.不能执行正常工作功能或重要功能。使系统崩溃或资源严重不足
2.由于程序所引起的死机 , 非法退出
3.死循环
4.数据库发生死锁
5.错误操作导致的程序中断
2.界面错误(附详细说明)
3.打印内容、格式错误
4.简单的输入限制未放在前台进行控制
5.删除操作未给出提示
6.数据输入没有边界值限定或不合理
7.错误操作没有任何提示
一般
1.使操作者不方便或遇到麻烦,但它不影响执行工作或功能实现。
2.辅助说明描述不清楚
3.显示格式不规范
4.长时间操作未给用户进度提示,类似死机
6.严重的计算错误
7.与数据库连接错误
8.数据通讯错误
严重
1.严重地影响系统要求或基本功能的实现 ,且没有办法更正。( 重新安装或重新启动该软件不属于更正办法 )
2.功能不符
3..程序接口错误
4.数据流错误
5.轻微数据计算错误
较重
1.严重地影响系统要求或基本功能的实现,但存在合理的更正办法。( 重新安装或重新启动该软件不属于更正办法 )
测试错误等级标准
测试错误等级标准1.错误等级标准依据产生错误对客户使用造成的后果严重性将抽测出的问题按三个等级划分,即:(A 类:严重错误;B类:中度错误;C类:轻度错误)2.分级方法及简要说明A类:严重问题●系统死锁、崩溃:在流程、数据或安全方面存在重大问题,导致软件不具可用性,或核心功能项无法使用;或由于设计的缺陷,导致软件使用过程中出现内存不足、死机、重起等;●由于设计的缺陷,导致软件使用中存在较明显的障碍,或者局部功能错误;B类:中度错误由于编码不够完善,使某个小功能无法使用,但可以采取其他变通的操作实现;C类:轻度错误●对特殊的操作与要求不能支持;●存在某些细微的缺陷,但不影响程序正常应用。
2.1 从软件规范化角度说明A类:严重问题严重不合理,核心功能完全违反软件规范或业务规范,可能导致用户强烈的反感。
B类:中度错误一般不合理,即使用户经过较长时间的熟练依然有错误操作的可能,或者使用者始终无法较流畅的操作,可能会导致用户的抱怨。
C类:轻度错误界面不合理,存在歧义,需要反复和用户说明,即使如此,也有可能在使用中感到不便;界面设计存在缺陷、凌乱或不友好。
2.2 从软件功能实现角度说明A类:严重问题由于需求、设计错误导致流程和流程控制存在重大错误,与现有政策法规或实务惯例的规定(约定)有明显冲突;由于设计错误严重削弱软件处理事务的能力;由于编码错误导致骨干流程不可用。
B类:中度错误局部功能无法正常使用,但不影响软件整体流程的实现;无法满足可以预料到的特殊应用;软件功能的实现过程中弹出未控制的系统错误提示,导致流程中断。
C类:轻度错误●功能虽然能够正常使用,但由于实现过程中缺乏容错性,不能对设计边界以外(甚至边界本身)的数据或操作做出正确的响应,导致程序整体不稳定;运行过程中弹出未控制的系统提示,但不影响流程继续。
●处理过程中出现的对实现功能没有影响的缺陷;经过说明,用户可以较容易理解并且不影响用户使用的;实质上与软件实现需求无关的。
测试错误类型与准入准出评定标准
.测试管理规范订正历史记录日期版本说明作者2017-2-15孙晓明测试准入和准出标准1.1.系统测试准入标准(1)开发人员编码结束,并已达成单元测试;(2)需求说明书规定的功能或该阶段版本提交的功能均已实现;(3)被测系统的基本流程能够走通,界面上的功能均实现,切合设计文档规定的功能;(4)开发人员提交被测系统的最新版本,安装测试经过;(5)开发人员向测试负责人提交测试申请。
1.2.系统测试暂停、停止标准(1)被测系统在进行功能测试时,发现程序存在重要bug( 1 级 bug 超出 2 个)或 bug 过多时( 2 级 bug 超出 4 个),测试工作没法正常进行,能够暂停测试返回开发;(2)被测项目需暂停以进行调整时,测试应随之暂停,并备份暂停点数据;(3)存在其余优先级更高的任务时,可向领导申请暂停测试;(4)被测项目在其开发生命周期内出现重要估量、进度误差,需暂停或停止时,测试应随之暂停或停止,并备份暂停或停止点数据归档;(5)被测系统经过系统测试,达到系统测试准出标准,能够停止测试。
1.3.系统测试恢复标准(1)重要 bug 被解决或程序经过从头修正;(2)优先级更高的任务已经被达成;(3)软件项目被调整后从头启动,测试任务应随之启动。
1.4.系统测试准出标准指标公式标准被测项目知足软件需求说明书的要求被测项目知足软件需求说明书的要求是测试用例评审率已评审用例 /全部测试用例100%测试计划中对于系统测试所规定的覆盖率已测试功能 /全部功能点100%功能点经过率已经过功能点 /全部功能点>=98%测试用例成功履行率成功履行的用例 /全部测试用例>=95%缺点登记率已登记缺点 /全部缺点100%一二级缺点修复率已修复一二级缺点 /全部一二级缺点100%三四级缺点修复率已修复三四级缺点 /全部三四级缺点>=90%全部遗留问题都有解决方案全部遗留问题都有解决方案有1.5.系统回归测试准出标准指标公式要求.功能点经过率已经过功能点 /全部功能点>=99%测试用例成功履行率成功履行的用例 /全部测试用例>=98%缺点登记率已登记缺点 /全部缺点100%一二级缺点修复率已修复一二级缺点 /全部一二级缺点100%三四级缺点修复率已修复三四级缺点 /全部三四级缺点>=95%全部遗留问题都有解决方案全部遗留问题都有解决方案有性能指标性能测试用例中设计的性能指标达标测试报告测试人员提交测试报告查收经过1.6. UAT 考证回归测试准出标准指标公式要求功能点经过率已经过功能点 /全部功能点>=99%测试用例成功履行率成功履行的用例 /全部测试用例>=99%缺点登记率已登记缺点 /全部缺点100%一二级缺点修复率已修复一二级缺点 /全部一二级缺点100%三四级缺点修复率已修复三四级缺点 /全部三四级缺点>=97%全部遗留问题都有解决方案全部遗留问题都有解决方案有性能指标性能测试用例中设计的性能指标达标1.7. UAT 查收测试准出标准指标公式要求功能点经过率已经过功能点 /全部功能点>=99%测试用例成功履行率成功履行的用例 /全部测试用例>=99%一二级缺点修复率已修复一二级缺点 /全部一二级缺点100%三四级缺点修复率已修复三四级缺点 /全部三四级缺点>=99% UAT 测试报告用户提交 UAT 测试报告业务署名确认1.8.上线回归测试准出标准指标公式要求功能点经过率已经过功能点 /全部功能点>=99%测试用例成功履行率成功履行的用例 /全部测试用例>=99%一二级缺点修复率已修复一二级缺点 /全部一二级缺点100%三四级缺点修复率已修复三四级缺点 /全部三四级缺点>=99%.一、系统错误种类本文只定义系统测试错误,定义以下五个级别测试错误种类。
BUG发现率及严重程度重定义
1.BUG等级划分建议:目前project上的BUG严重程度分为五个等级,按照CMM5中定义的规范,BUG严重等级可分为3-5个等级,由于我们公司的CMM水平还处于初级阶段,将BUG等级划分过细不符合我们当前的CMM水平,同时也不利于测试人员对BUG等级的精确划分。
根据我们公司的情况,同时参照其它中小公司的等级划分标准,建议将BUG等级划分四个等级,分别为致命、严重、一般、提示。
● 致命(可对应目前BUG体系中的“非常严重”):致命性问题主要为:系统无法执行、崩溃或严重资源不足、应用模块无法启动或异常退出、无法测试、造成系统不稳定。
具体基本上可分为:○ 严重花屏○ 内存泄漏○ 用户数据丢失或破坏○ 系统崩溃/死机/冻结○ 模块无法启动或异常退出○ 严重的数值计算错误○ 功能设计与需求严重不符○ 其它导致无法测试的错误● 严重(可对应目前BUG体系中的“严重”)严重性问题主要为:影响系统功能或操作,主要功能存在严重缺陷,但不会影响到系统稳定性。
具体基本上可分为:○ 功能未实现○ 功能错误○ 系统刷新错误○ 语音或数据通讯错误○ 轻微的数值计算错误○ 系统所提供的功能或服务受明显的影响● 一般(可对应于目前BUG体系中的“普通”)一般性问题主要为:界面、性能缺陷具体基本上可分为:○ 操作界面错误(包括数据窗口内列名定义、含义是否一致)○ 边界条件下错误○ 提示信息错误(包括未给出信息、信息提示错误等)○ 长时间操作无进度提示○ 系统未优化(性能问题)○ 光标跳转设置不好,鼠标(光标)定位错误● 提示(可对应于目前BUG体系中的“轻微及建议”)提示性问题主要为:易用性及建议性问题具体基本上可分为:○ 界面格式等不规范○ 辅助说明描述不清楚○ 操作时未给用户提示○ 可输入区域和只读区域没有明显的区分标志○ 个别不影响产品理解的错别字○ 文字排列不整齐等一些小问题○ 建议注意:对于结构及硬件问题,由于产品测试部仅是进行辅助测试,碰到此类问题时,均将于定位于等级“致命”,具体情况由结构及硬件部门相关人员确认。
测试等级认定标准
测试等级认定标准一、测试范围本测试等级认定标准适用于对各类产品、系统、软件等进行测试,以确保其质量、性能和安全。
二、测试内容1.功能测试:测试产品或系统的各项功能是否正常,是否符合设计要求。
2.性能测试:测试产品或系统的性能指标是否达到预期要求,是否存在性能瓶颈。
3.安全测试:测试产品或系统的安全性,包括数据传输、存储和访问控制等方面。
4.兼容性测试:测试产品或系统在不同平台、浏览器、操作系统等之间的兼容性。
5.用户界面测试:测试产品或系统的用户界面是否易用、美观,是否存在用户体验问题。
三、测试方法1.黑盒测试:测试产品或系统的外部接口和功能,不考虑内部结构和实现。
2.白盒测试:测试产品或系统的内部结构和实现,以确保代码质量和逻辑正确性。
3.压力测试:模拟大量用户或数据的场景,测试产品或系统的稳定性和性能。
4.渗透测试:模拟黑客攻击,测试产品或系统的安全性和防御能力。
四、测试时间1.单元测试:一般在开发过程中进行,确保每个模块的功能和性能达标。
2.集成测试:在单元测试基础上进行,测试模块之间的接口和协作。
3.系统测试:在集成测试基础上进行,测试整个产品或系统的功能和性能。
4.验收测试:在系统测试基础上进行,由用户进行体验和验证,确保产品或系统满足用户需求。
五、测试要求1.测试数据应具有代表性,能够反映产品或系统的实际使用情况。
2.每个测试案例应具有独立性,避免相互干扰。
3.测试过程中应保持产品或系统的稳定性,避免对测试结果产生影响。
4.对于不合格的测试结果,应进行原因分析并采取相应的改进措施。
六、测试人员1.测试人员应具备专业的知识和技能,能够独立完成测试任务。
2.测试人员应对产品或系统有深入的了解,能够理解用户需求和设计意图。
3.测试人员应具有良好的沟通能力和团队协作能力,能够与其他部门合作完成测试工作。
4.测试人员应具有责任心和耐心,对待测试工作认真负责。
七、测试设备1.硬件设备:根据产品或系统的性能要求,选择合适的硬件设备进行测试,如计算机、服务器等。
软件测试工程师考核标准
软件测试工程师考核标准在系统运行中出现错误导致应用程序崩溃的Bug。
这类Bug会影响系统的正常使用,但是可以通过重启应用程序来恢复正常。
比如,应用程序无响应、应用程序崩溃等。
考核权数:0.5Ø三级Bug(功能缺陷)在系统运行中出现的功能缺陷,影响了系统的正常使用,但是可以通过其他方式绕过或者使用其他功能来解决。
比如,某些功能无法使用、功能不完整、功能错误等。
考核权数:0.3Ø四级Bug(界面缺陷)在系统运行中出现的界面缺陷,影响了系统的美观度或者易用性,但是不影响系统的正常使用。
比如,界面样式不美观、界面操作不方便等。
考核权数:0.1所有Bug的总分=(一级Bug数量×0.8)+(二级Bug数量×0.5)+(三级Bug数量×0.3)+(四级Bug数量×0.1)4、测试执行的质量测试执行的质量是测试工程师能力的直接体现,测试执行的好坏将直接影响到测试结果的可靠性,测试执行的考核将从测试用例执行情况、测试结果的准确性、测试执行过程中的问题处理能力等方面来评价。
测试执行的考核权数为0.3测试执行总分=测试用例执行情况×0.1+测试结果的准确性×0.1+问题处理能力×0.15、个人能力的考核除了以上四个方面的考核之外,我们还将根据测试工程师的个人能力来进行考核,主要考核方面包括:研究能力、沟通能力、团队合作能力、自我驱动能力等。
个人能力的考核权数为0.1个人能力总分=研究能力×0.025+沟通能力×0.025+团队合作能力×0.025+自我驱动能力×0.025为了更科学、更合理地考核部门测试工程师,我们制定了以上几个指标,并对其进行了权重分配。
每个测试工程师的最终得分将由以上五个指标的得分相加得出。
同时,我们将对测试工程师的得分进行排名,以此来评价测试工程师的工作表现。
我们相信,通过这样的考核方式,可以更好地评价测试工程师的工作能力,提高部门测试工作的质量和效率。
系统测试错误等级的划分标准
系统测试错误等级的划分标准测试记录中错误等级按如下分级填写,软件错误等级如下:
一、第一级错误:导致用户的工作不能完成。
1. 正常操作情况下系统死机(系统崩溃或挂起)
2. 主要功能丧失,基本模块缺失
3. 业务流程错误
4. 正常或不正常操作后迫使程序中断或关闭
5. 非正常关闭后无提示
6. 花屏
二、第二级错误:在某些情况下导致用户的工作不能完成。
1. 使系统不稳定。
2. 未能满足需求中的次要、附属功能
3. 提示信息错误
4. 内容或格式错误
三、第三级问题:易用性及建设性问题,文字排练不整齐等一些小问题
1. 界面不规范
2. 辅助说明描述不清楚
3. 输入输出不规范
4. 长时间操作未给用户提示
5. 必填项与非必填项应加以区别。
(完整版)BUG 等级划分标准
BUG等级划分方法一、测试BUG等级划分标准1、Blocker(崩溃):阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。
如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试)。
2、Critical(严重):系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。
功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。
如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般):功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。
如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多,合理安排解决BUG,解决率关系版本的优化程度)4、Minor(次要):界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。
如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)二、BUG状态标准1、待处理(new):测试人员或用户发现新问题后提交的状态2、已确认(open):经测试人员及研发人员讨论后确认是BUG,提交的状态,由测试人员来设置。
3、已处理(fixed):经研发人员确认是BUG后修复的状态,修改还没有验证,由开发人员来设置。
4、已修改(closed):测试人员认为问题已经修改,通过验证,由测试人员设置。
BUG等级划分标准
BUG等级划分方法一、测试BUG等级划分标准1、Blocker(崩溃):阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。
如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试)。
2、Critical(严重):系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。
功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。
如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般):功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。
如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多,合理安排解决BUG,解决率关系版本的优化程度)4、Minor(次要):界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。
如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)二、BUG状态标准1、待处理(new):测试人员或用户发现新问题后提交的状态2、已确认(open):经测试人员及研发人员讨论后确认是BUG,提交的状态,由测试人员来设置。
3、已处理(fixed):经研发人员确认是BUG后修复的状态,修改还没有验证,由开发人员来设置。
4、已修改(closed):测试人员认为问题已经修改,通过验证,由测试人员设置。
BUG等级划分标准
B U G等级划分标准 Document number:NOCG-YUNOO-BUYTT-UU986-1986UTBUG等级划分方法一、测试BUG等级划分标准1、Blocker(崩溃):阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。
如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试)。
2、Critical(严重):系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。
功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。
如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般):功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。
如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多,合理安排解决BUG,解决率关系版本的优化程度)4、Minor(次要):界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。
如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)二、BUG状态标准1、待处理(new):测试人员或用户发现新问题后提交的状态2、已确认(open):经测试人员及研发人员讨论后确认是BUG,提交的状态,由测试人员来设置。
3、已处理(fixed):经研发人员确认是BUG后修复的状态,修改还没有验证,由开发人员来设置。
BUG 等级划分标准
BUG等级划分方法一、测试BUG等级划分标准1、Blocker(崩溃):阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。
如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试)。
2、Critical(严重):系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。
功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。
如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般):功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。
如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多,合理安排解决BUG,解决率关系版本的优化程度)4、Minor(次要):界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。
如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)二、BUG状态标准1、待处理(new):测试人员或用户发现新问题后提交的状态2、已确认(open):经测试人员及研发人员讨论后确认是BUG,提交的状态,由测试人员来设置。
3、已处理(fixed):经研发人员确认是BUG后修复的状态,修改还没有验证,由开发人员来设置。
4、已修改(closed):测试人员认为问题已经修改,通过验证,由测试人员设置。
BUG严重等级划分
提示类错误
2类
2类
遇到麻烦,但不影响
2类 2类
执行工作功能的实现
其他错误
2类
2类
2类
打印内容、格式错误 功能建议
操作建议 校验建议 说明建议 UI建议 建议性的改进要求
建议类错误
1类 1类
1类
1类 1类
总结:
5类—致命的软件缺陷(Fatal): 造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失, 主要功能完全丧失,导致本模块以及相关模块异常等问题。如代码错误,死循环,数据库发生死 锁、与数据库连接错误或数据通讯错误,未考虑异常操作,功能错误等
接口缺陷
4类 4类
重新启动软件不属更正办法)
分类范畴
缺陷等级
子项目
备注
数据库缺陷
3类
数据库设计未达到第三范式的要求 或需求规格说明的格式水平 严重的影响系统要求或基本
功能的实现,但存在合理的
操作错误
3类
因错误操作迫使程序中断
更正办法(重新安装或重新 启动软件不属于更正办法)
功能错误
3类,4类 3类,4类
主要功能丧失,严重地影响系统要求或基本功能的实现。(重新安装
4 非常高(Very High) 或重新启动该软件不属于更正办法),须尽快修正
5
紧急(Critical)
不能执行正常工作功能或重要功能,因软件原因导致系统死机、数据 丢失等须马上修正。
划分参考:
分类范畴 缺陷等级 子项目 备注
5类 5类
由于程序所引起的死机,非法退出
BUG严重等级划分
2009年11月 19号
主要内容:
一,缺陷分类
二,缺陷严重等级 三,缺陷等级划分参考
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
系统测试错误等级的划分标准测试记录中错误等级按如下分级填写,软件错误等级如下:
一、第一级错误:导致用户的工作不能完成。
1. 正常操作情况下系统死机(系统崩溃或挂起)
2. 主要功能丧失,基本模块缺失
3. 业务流程错误
4. 正常或不正常操作后迫使程序中断或关闭
5. 非正常关闭后无提示
6. 花屏
二、第二级错误:在某些情况下导致用户的工作不能完成。
1. 使系统不稳定。
2. 未能满足需求中的次要、附属功能
3. 提示信息错误
4. 内容或格式错误
三、第三级问题:易用性及建设性问题,文字排练不整齐等一些小问题
1. 界面不规范
2. 辅助说明描述不清楚
3. 输入输出不规范
4. 长时间操作未给用户提示
5. 必填项与非必填项应加以区别。