基于黑箱的自动软件测试工具的质量保障方法_王铁江

收稿日期:2002-05-30基金项目:铁道部科技研究开发计划资助项目(2001-X-005)作者简介:王铁江(1976-),男,河南郑州人,博士生.基于黑箱的自动软件测试工具的质量保障方法王铁江,郦 萌(同济大学计算机科学与工程系,上海 200092)摘要:软件测试需要合适的自动测试工具的有效支持,此时保障测试工具质量的问题显得尤其重要.介绍了两种针对基于黑箱的自动软件测试工具的质量保障方法,并详细讨论了软件故障注入方法.长期测试实践证明了这些方法对保障铁路计算机联锁软件测试评估平台的检测能力和可靠性是非常有效的.关键词:故障注入;质量保障;测试工具;软件测试中图分类号:T P 311.5 文献标识码:A 文章编号:0253-374X(2002)10-1249-04Approaches for Guaranteeing Quality of AutomaticSoftware Test Tools Based on Black BoxWANG Tie -j iang,L I Meng(Department of Computer Scien ce and Engineering,Tongji University,S hanghai 200092,Ch i na)Abstract :Softw are testing needs effective support from appropriate automatic test tools.And the problem of g uaranteeing the quality of test tools is of more importance.Tw o methods of guaranteeing the quality of auto -matic softw are test tools based on black box are introduced,and the approach for softw are fault injection is discussed in detail.These approaches prove to be very effective by long -term test practices w hen guaranteeing the testing ability and reliability of the Railway Computer Interlocking Softw are Testing and Evaluation Plat -form.Key words :fault injection;quality guarantee;test tool;softw are testing软件测试是软件质量保证的关键技术,在软件生命周期中占有重要的位置.不管专业技术人员采用多好的研发和管理技术来保证软件质量,都不能代替软件测试.测试过程是软件开发过程中一个单调、复杂和耗时的质量保障环节.激烈的商业竞争要求它必须借助于有效的自动软件测试工具代替繁重的手工测试工作来提高测试效率,缩短开发周期和减少资金投入.近几年来国内软件测试工具的开发和研究[1~4]取得了很大进展,其中,铁路计算机联锁软件测试评估平台(以下简称测试平台)是一种针对一类安全软件)))铁路车站计算机联锁软件的专业性自动测试工具.既然作为一种对安全性完善度要求最高的安全软件的自动测试工具,测试案例的自动生成、自动执行和测试结果自动判定的正确性以及工具本身的可靠性对于测试的有效性也就显得至关重要.在测试平台质量保障过程中,作者使用两种方法来保证基于黑箱的自动软件测试工具的高可用性和高可靠性:¹通过模拟被测软件,支持测试平台的开发和调试[4];º使用故障注入验证自动测试案例集的有效性.本文将简要介绍前一种方法,并详细阐述使用故障注入来验证案例集的实现原理,且通过长期的测试实践证明了故障注入在保障测试工具质量中取得的良好效果.1 基于动态判定的黑箱测试平台基于黑箱的测试平台适用于由开发商和用户以外的第三方来进行软件的可靠性、安全性评估.图1所第30卷第10期2002年10月同 济 大 学 学 报JOURNAL OF T ONGJI UN IVERSIT Y Vol.30No.10 Oct.2002图1 测试平台的框架结构Fig.1 Framework of thetesting platform 示为一种基于动态判定的黑箱测试平台的框架结构.主控机根据软件按照被测软件的需求规格说明自动生成和执行测试案例,同时对仿真机的仿真环境进行故障设置,然后主控机的动态判定系统把被测软件的输出和期望输出进行比较和判定,完成对被测软件的安全性测试,其间的测试结果由数据库机实时记录[2~4].2 质量保障方法2.1 模拟被测软件被测软件相对于测试方完全是/黑箱0,并且测试方在开发过程中很难获得大量实际被测对象,因此需要模拟被测软件支持测试平台的开发,对测试用数据和各个子系统的正确性、可用性和可靠性进行检验.模拟被测软件按照被测软件的需求规格说明实现自动测试需要检验的各种功能,并在不同的操作方式和不同的数据驱动下,保持很高的通用性,最终把黑箱测试条件转化为虚拟/白箱0测试条件,降低软件开发难度.2.2 故障注入故障注入是指按照特定的故障模型,用人为的方法有意识地产生故障并施加于运行特定工作负载的目标系统中,以加速该系统的错误和失效的发生,同时观测和回收系统对所注故障的回应信息,通过分析,对系统进行验证和评价的过程.故障注入有三种实现方法:¹硬件实现的故障注入[5];º软件实现的故障注入[6];»用重离子辐射实现的故障注入[7].其中软件实现的故障注入具有成本低、无损害、易于控制等优点.安全软件的无故障间隔时间(M TBF)相当长,所以在测试平台开发阶段,不可能根据它的实际失效来验证测试案例集的有效性.事实上,在用模拟目标软件代替实际被测软件进行开发的基础上,能够使用故障注入加速模拟目标软件失效,然后来验证测试案例集的有效性和评价其测试覆盖度.3 故障注入质量保障方法3.1 故障模式的选择故障模式的选择需要考虑试验的目的,即对哪些类别和功能的自动测试案例集进行验证.选择的故障模式越接近并尽可能覆盖系统真实运行期间所发生的故障,验证的效果就越好.一般而言,软件实现的故障注入所选用的故障模式应该包括以下几方面特性:类型、作用时刻、持续时间和位置.故障空间是这几种特性取值的笛卡儿乘积.穷尽注入故障集进行验证因耗时而无法实现,故采用一定的策略选择可能发生的和可以注入的故障的一个子集进行故障注入研究.自动验证测试案例集,关键不在于故障的原因,而在于区分各种故障原因在被测试软件上表现出的故障行为是否相同,即以不同的故障行为来建立被测软件的故障模型.基于这一思想进行的设计可以大大简化故障注入器的复杂程度.一种可行的方案是:根据软件需求规格说明和自动测试预先声明的能够检测到的故障模式,分析造成软件失效的故障特征,归纳故障行为并建立故障模式库.故障模式库提供被测软件的通用故障模式,使故障注入器能够选择不同的故障模式注入故障,对自动测试案例集的揭错能力进行验证.3.2 注入故障效果的分析注入故障的选择与验证效果关系密切,一方面要求注入故障的准确性.越接近实际运行期间所发生的故障,验证工作越有意义;另一方面要求注入故障的针对性.尽管采用自动测试代替人的繁重劳动,但不能实现所有案例的穷尽自动测试,因此故障应针对已实现的自动测试案例集来注入,选择注入的故障模式应尽可能接近测试案例集包含的故障模式.于是,注入的故障集F f 与测试平台预先声明能够自动检验出的故障集F c 存在着以下几种关系.(1)若F f X ª,F c X ª,F f H F c =ª,说明注入故障完全落在检验能力范围之外,无法自动检验出注入1250 同 济 大 学 学 报第30卷的故障,主要因为注入故障时没有考虑到当前运行的自动测试案例而导致故障注入偏离了验证目的,当然也不排除因为检验能力不足而引起的.这种情况在实际过程中出现较少.(2)若F f X ª,F c X ª,F f H F c X ª,F f ¤F c ,F c ¤F f ,说明能够检测出部分注入的故障,验证过程中经常出现这种情况.对没有被检测出来的故障存在以下两种原因需要进一步分析.主要原因是案例的自动生成和结果动态判定仍需要完善,没有检测到要求发现的软件故障;另外也可能存在着注入的故障不在自动检验范围之内的可能性.(3)若F f X ª,F c X ª,F f =F c ,这是目标结果,因为已发现的故障集合等于自动检验预先声明能够发现的故障集合,而没有被检测出的故障说明不在自动检验预先声明的能够检验到的故障集之内,并且不要求通过自动检验来发现没有被检测出的故障.如果没有被检测到的故障在F c 之外,且通过完善测试工具仍能够发现这些故障,则需要扩充F c 来提高检验能力.(4)若F f X ª,F c X ª,F f A F c ,说明注入的故障都能够被发现,不存在没有被发现的故障.这种情况主要是因为注入的故障类型太少,不能全面暴露测试案例的缺陷和不足,因而需要扩充故障模型库直至达到目标结果为止.总之,为了保证动态判定系统既不会错判也不会漏判,对测试案例集的有效性进行验证需要通过以下两个方面来保证测试案例集的揭错能力:¹对测试平台预先声明某个案例能够自动检验出的故障集F c 的验证,即当注入的故障是F c 中的故障,验证注入的故障是否能够被发现;º注入的故障在F c 之外,可以发现那些自动检验本来能够发现的故障但是由于设计缺陷没有纳入F c 中,这样可以减少漏判的可能性.3.3 使用变异算子实现故障注入首先假定模拟被测软件P 是近似正确的,即在不使用故障注入技术的情况下,测试平台的自动测试不能继续发现它的软件缺陷.此时P 在变异算子的作用下变异成含有软件缺陷的变异体P c ,并在一定输入数据驱动下表现出一种期望的故障行为,即完成了对P 的故障注入.尽管诱使程序具有一种特定的故障特征的原因可能很多,但是这里只关心表现出的故障行为是否相同,故可以选择最明显和简单的原因作为变异算子.常见的错误与变异算子有:¹引用错误的程序数据或关键参数;º使用错误的输入参数变量;»在变量状态空间内,给变量错误赋值;¼错误的布尔表达式;½把语句用T rap 语句代替,而T rap 语句使程序终止且输出一个与任何输出都不同的结果;¾激活含有错误的模块代替正常运行的模块.有时可通过后两种方式改变程序运行路径.在自动测试中,通过故障注入器的人机接口向程序P 中注入故障,包括选择故障的类型、对象、位置、时刻和持续时间等参数.程序P 和P c 在一个自动测试案例T 的输入上,动态判定对P 的计算结果产生了不同的输出判断值,说明变异体P c 被杀死了,即该测试案例能有效地发现所注入的故障,记录为1,否则记录为0.图2 故障注入提高自动检验能力的过程Fig.2 Process of improving the automatic testing ability by using fault injection 在故障注入试验中,试验者必须全面监视软件行为,详细做好试验记录.典型的系统行为包括故障是否有效注入;故障是否被激活;故障是否被检测到;软件是否成功恢复;注入故障后软件的运行轨迹等.试验者分析实验结果,并根据F f 与F c 的关系,确定故障注入验证测试案例集揭错能力的效果,评价测试案例集的测试检测率和测试覆盖度,并对测试案例集的完善提供改进建议.4 结束语在软件测试工具开发阶段,故障注入技术加速模拟目标软件失效,对基于黑箱的自动测试工具)))测试平台的检测能力进行评价是一种能反映软件的相对真实性且易于实现的一种评价方法.如图2所示,经过多次循环验证和反馈优化,故障注入在验证测试案例集的有效性的同时,提高了自动检验能力并保障测试工具质量.为了提高测试效率,将先前的手工测试案例形式化后实现其自动测试,故障注入也是对改进1251 第10期王铁江,等:基于黑箱的自动软件测试工具的质量保障方法1252同济大学学报第30卷型测试平台的测试案例集的有效性进行验证的一种有效方法.事实上,在测试平台的多次改进优化中,模拟被测软件和故障注入技术在保障测试平台的检测能力和可靠性时确实发挥了重要作用,然而也只有得到质量保障的测试工具才能取得令人满意的测试结果.自1997年以来,设在同济大学的/铁路车站计算机联锁检验站0利用自行开发的计算机联锁软件测试平台对10多个不同规模的实际车站和4个不同制式的标准站的计算机联锁软件进行安全性测试,总共测出软件缺陷550个,其中致险缺陷占30%~40%.测试平台能够使用有效的测试案例准确发现被测软件的潜在缺陷,以及测试平台在测试过程中的稳定可靠运行,都说明了保障质量方法的合理性和有效性.参考文献:[1]孙昌爱,金茂忠.基于场景的软件测试工具系列的设计与实现[J].计算机工程与应用,2001,37(12):49-53.[2]W U Fang-mei,LI M eng.Railway signaling safety testing based on dynamic decision table[A].Proceeding of the Eighth Asian Test S ym po-sium[C].Shanghai:IEE E Computer Society,1999.247-250.[3]LI Wei-w ei,XU Zhong-w ei,JIN Yan.An approach for tes ting safety-critical software[A].9th Great Lakes Sym posium on VLSI,AnnArbor[C].M ichigan:IEEE Com puter Society Press,1999.180-183.[4]王铁江,吴芳美.面向软件测试的虚拟计算机联锁软件的设计和实现[J].测试技术学报,2000,14:388-393.[5]W ang J Y,S un J Z,Li Y C,et al.T he implementation of FT T-1:A hardw are-based fault i njector[A].Proc IEEE Internati onal Workshopon Computer-Aided Design,T est and Evaluation for Dependabi lity[C].Beiji ng:IEEE Com puter Society,1996.170-174.[6]Karlsson J,Liden P,Dahlgren P,et ing heavy-lon radi ation to validate fault-handling mechanisms[J].IEEE M icro,1994,14(1):8-32.[7]Kanaw ati G A,Kanaw ati N A,Abraham J A.A flexi ble software-based fault and error injection system[J].IEEE T rans Computer,1995,44(2):248-260.#下期文章摘要预报#市场比较法及其在农地价格评估中的应用单胜道,尤建新市场比较法的应用基础是发达的土地市场和大量的交易案例.目前我国农地市场刚起步,交易案例极少,评估方法极不完善,有关农地价格数据也极不齐全,因此,在应用市场比较法时必须拓宽思路,灵活运用.通过案例分析,对市场比较法及其拓展方法的应用作了较为全面的探讨,并就市场比较法方法本身作了客观的评价.支持产品创新的分散网络化制造马淑梅阐述了产品创新对企业赢得竞争的重要性,分析了产品快速开发的支撑技术,并通过实例描述了分散网络化制造的全过程,这种网络联盟企业将对我国制造业提高产品创新能力,缩短新产品上市周期,提高产品开发质量,快速响应市场产生显著的效果.。