三维故障定级
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
一、三维故障定级法简介
三维故障定级法从严重程度(Severity)、故障发生概率(Occurrence)和用户识别是否是故障的概率(Detection)等3个维度进行评分,根据得分的高低分为A/B/C/D(待观察)等4个等级。
具体如下:
Defect Ranking R=(Severity)×(Occurrence)×(Detection)
R(A,B,C)根据(S)×(O)×(D)三个维度分数自动进行乘法计算:
1、Severity Level(S):用来评估故障的影响程度(严重程度),且要考
2、Occurrence Level(O):用来评估目标用户遇到某故障的概率(如:在某
二、三维故障定级法与原来使用的故障定级法的区别
1.三维故障定级法中引入了Detection维度,这个在原来故障定级法中考虑较少。
比如某些现象测试人员很容易认为是故障,但真正的用户未必这么认为。
对于测试人员来说,因具备一定的专业知识和技术能力,识别故障的能力比较强,Detection维度认为如果目标用户也很容易发现某种现象是故障,则该维度评分较高,而不仅仅通过测试人员是否发现是故障来评估。
这个维度引入的好处是避免测试人员将实际用户并不特别关注的故障定级过高。
目前我司每个项目公
司测试同事提交的故障数总是比较多,由于项目进度关系,不少产品都是带着不少故障就上市了,但真正的用户可能对这类故障反馈较少,或者并不认为是故障。
2、三维故障定级法比原来直接A/B/C定级更严谨和科学我司故障定级主要根据问题特点看是否符合A/B/C故障,主观性较强,往往几秒钟就对一个故障进行定级,而索爱故障定级法需要根据三个维度(严重程度/发生概率/用户识别故障概率)的得分再评判故障的A/B/C等级。
尽管对三个维度的评分也不可避免存在一定的主观性,但这种方法已经做到了量化,比直接A/B/C定级更严谨和科学。
三、三维故障定级的优点:
1、三维故障定级法做到了量化三维故障定级法最明显的优点是从三个维度计算故障得分来考察故障影响程度,做到了故障定级的量化。
这种方法对一个故障进行定级必须包含两个步骤:首先,对故障从Severity、Occurrence和Detection等3个维度进行评分,并将三个分数相乘,最终的乘积就是故障的得分;然后根据这个得分属于A/B/C/D哪个区间再确定到底是哪个等级。
一个故障成为严重故障的条件是每个维度得分都比较高,这种定级方法比单纯的A/B/C定级更科学和准确。
比如复现的死机重启问题在我司很多测试同事都会定为A类故障, 但按照索爱的故障定级法,R=(Severity)×(Occurrence)×(Detection),复现的死机重启只能代表严重程度(Severity)的得分为4,如果后面两项Occurrence和Detection得分都低于5分的话,则这个故障严重程度只能是B或者C。
三维故障评分可为研发人员提供故障解决优先级的信息
通过三维故障评分,每个故障都有个确定的分值,分数越高,故障越严重。
当项目中故障数较多尤其是严重故障较多时研发人员可优先解决得分较高的故障,这样比单纯的A/B/C定级对研发人员的指导意义更大。
实际上一些大型重点项目往往故障数很庞大,少则几千,多则上万,其中的A类故障数也是成百上千,这样很容易让研发人员陷入CQ故障的海洋而无法自拔,这样真正严重的故障没有第一时间解决而影响项目进度。
为给研发提供故障解决优先级的思路,某些项目采用从A类故障中筛选出A+故障或者A类的严重故障以便最严重的故障能尽快解决,三维故障评分法对这个问题应该有所帮助。
三维故障定级法更容易调整故障的定级
项目测试中,因测试人员自身技能和测试的主观性难免会存在某些故障定级不合理的情况,对于这种问题,根据三维定级法可通过每个维度去检查并适当调整不合理的维度,从而调整故障定级,这种调整比单纯的调整A/B/C定级更准确和可靠。
四、三维故障定级的缺点:
三维故障评分法各维度的取值较难把握三维故障定级法的缺点是这种评分法比较复杂,需要先对每个维度进行评分,再进行故障A/B/C定级,目前三个维度中某些取值比较难以把握。
比如严重程度(S)维度4分和3分的取值、发生概率(O)维度5分和4分的取值、用户识别故障概率(D)维度4分和3分的取值都不容易区分,需要测试人员对此方法有较好的理解和相应的实际应用经验。
五、三维故障定级在日常测试中的的运用结果:
采样P955B1100个故障作为样本,并运用三维故障定级法进行分析:
由上表可以看出,使用三维故障定级法之后,故障级别出现大幅度下降,具体表现为:
原测试样本中总故障数为100个,其中A类故障30个,B类故障30个,C 类故障30个,待观察故障10个
经过三维定级之后,变为:
A类故障10个,B类故障24个,C类故障65个,D类故障1个
其中:A类故障降为B类故障16个,降为C类故障6个
B类故障降为C类故障20个,升级为A类故障2个
C类故障降为Remark1个。
待观察故障升级为C类故障10个(全部)
总体表现为:
故障降级明显,有个别故障会有所反弹。
待观察故障全部升级为C类,总故障的降级率为43%。
其中A级故障降级为B级故障的降级率为8/15,A级故障降为C级故障的降级率为3/15。
B级故障降级为C级故障的降级率为2/3,B级故障升级为A级故障的几率为1/15,C级故障降级为Remark故障的几率为1/30,待观察故障升级为C类故障的几率为100%。
三维定级故障提交处理流程
用例:由测试中经过的一系列状态和在每个状态中必须依靠输入/输出数据满足的一对条件组成。
TE:TestExpress,存储用例及用例执行情况的一个工具。
BM:Bug Manager,其岗位职责
1)负责对项目中提交的故障采用三维故障定级方法进行审核并提交CQ;
2)负责故障的沟通和有争议故障的处理;
3)负责对重要故障的的追溯,给用例的完善提供依据;
4)负责跟踪市场问题和运营商,建立和维护售后故障库、运营商测试历史故障库;
5)负责建立争议故障的档案(列出开发、市场、售后、测试人员等意见),为下次故障定级及故障定级规范修订提供依据。