软件测试实验室建设的初步探索

软件测试实验室建设的初步探索

摘要作者凭借多年在软件检测实验室从事管理和技术的经验，从实验室建设目标、建设方法和建设内容三个角度论述了软件检测实验室的建设历程。以单元测试为例叙述了软件测试实验室发挥工具和技术优势提供的主要服务业务。

关键词建设目标方法内容技术服务

1 软件测试实验室建设目标

1.1 软件测试实验室要满足地方产业发展需求

近年来，国内很多地区建立软件测试公共服务平台营造软件产业发展技术环境。对产业发展起到了推动作用的公共服务平台成功经验表明：公共服务平台建设要以软件企业提高产品质量的需求为本，兼顾本地政府和企事业单位信息化建设需求，还要结合产业发展特点需求，才能建设一个既适应自身成长又能促进产业发展的技术服务机构。如信息化带动制造业飞速发展的广东地区，软件检测公共服务机构建设不能缺少嵌入式软件测试平台。该平台应包含支持主流开发语言及主要行业应用的多种主机和目标环境的技术环境。

1.2 完善科技园区的技术配套

软件产业发展依赖于软件企业的成长。公共服务平台服务宗旨应满足科技园区内软件企业的相关需求，不仅为软件企业提供开发和测试需要的硬件环境，还应结合自身财力为软件企业建设系列提高产品质量的软件服务平台，完善科技园区的技术支撑环境，同时要承担有关标准、技术咨询和人才培养等职责。政府为公共技术服务平台投入是扶持科技园区发展的最佳途径。

1.3 为政府规范产业发展提供技术支持

政府部门不仅电子政务建设依靠软件检测技术服务机构的技术咨询和验证，而且在执行国家相关政策时需要技术服务机构的帮助。如双软认证判断产品是否可以享受退税、政府委托企业承担的软件项目是否可以通过验收、软件产品是否可以确认为科技成果等决策时离不开软件检测实验室的技术服务。为此，公共服务平台建设应充分考虑满足以上业务的环境需求。

2 软件测试实验室建设方法

2.1 引入政府支持与监管机制，采用企业化运作模式

从事软件产品检测实验室的环境建设需要巨额资金投入，但提供非盈利公共服务结果将导致严重亏损。如果政府部门不加大支持力度，实验室将难以维持。政府给予资金支持同时还要加强监管，既保证资金的合理有效使用，又可以监督实验室提供非盈利公共服务。实验室的企业化运作也是十分必要的。它可以激励实验室不断提高自身的技术与管理能力，适应产业发展与市场需求。

2.2 依据国家相关标准规范建设

科学规范建设和运行实验室应依据ISO/IEC17025《检测和校准实验室能力认可准则》（以下简称17025标准）。实验室的组织管理应围绕17025标准的15条管理要求建立和实施；设施和环境不仅能够保证开展业务相关标准和技术要求，还应满足17025标准对实验室环境和设施基本要求；检测标准方法和检测流程要经过严格的确认和评审；样品、采购、服务质量、客户和文档等管理也要依据17025标准对应的要素进行规范管理。

2.3 围绕产业和企业需求进行市场定位

实验室的生存在解决了资金、场地、方法、技术和管理等要素后，更重要的是面临市场需求定位。实验室提供的服务只有顺应了产业发展和客户的需求，才能发挥技术支撑作用，同时产业发展的良好氛围和客户支持也为实验室发展提供了良好的生存空间。所以，实验室建设一定要围绕产业和客户的两个需求定位。珠海检测中心几个测试平台的建设经验就是首先展开大规模的市场需求调研，根据自身财力和需求等级确定平台建设顺序和方案。投入运行都取得了良性循环佳绩。

2.4 不断提升技术与管理能力提供高品质服务

软件测试伴随着软件开发技术日新月异。软件测试实验室作为专业测试机构，能够发现和定位软件产品或开发过程中的bug，必须保证技术人员不仅掌握测试技术，还要熟悉软件开发相关技术和知识，并且跟上不断更新知识的步伐。专业实验室应将提高技术能力作为建设重点，利用一切可利用的机会，尽其所能进行多种形式培训，提高实验室技术能力。同时，规范管理也是保证技术合理利用及提供优质服务的必要手段。

3 软件测试实验室建设内容

实验室建设是围绕管理体系和技术能力开展的。建设重点采取技术与管理两手都要抓，两手都要硬的原则。具体内容包括以下几个部分：

3.1 实验室管理体系建设

质量方针、质量目标、质量承诺和公正性说明等纲领的确定是建设软件检测实验室基础；内部和外部机构设置是实验室运作的组织保证；质量手册、程序文件和作业指导书等体系文件是管理体系运行的向导和依据；内审和管理评审是保证业务流程正常开展和规范运作的重要手段；质量监督、纠正与预防措施是提高服务质量的关键步骤。以上要素是软件检测实验室管理体系建设与运行不可获缺的重要组成部分。

3.2 实验室环境体系建设

软件产品属于逻辑产品，对于环境的依赖性较大，要求也很严格。软件测试硬件应尽可能模拟多种不同环境要求，还要支持多种软件运行，为保证测试结果的准确性还要考虑品牌机器；公共服务平台网络建设应尽量保证网宽、网速和技术加密手段的实现；支持软件

测试的操作系统、数据库、部分开发语言和杀毒软件等基础软件是必要的组成部分，支持软件测试的测试工具、测试过程管理软件也是提供服务不可缺少的。如性能测试、静态质量分析、覆盖率分析和回归测试等测试手段没有工具支持是无法开展的。另外，采用技术手段实现的保密措施也是环境建设落实的重要内容。

3.3 实验室业务流程体系建设

珠海软件检测中心建设经验证明：按照17025标准要求和软件检测业务特点建立实验室业务流程不是一件难事，难在持久运行并不断更新优化业务流程。如客观翔实记录过程带来了较大工作量，业务流程的突发事件如何遵循流程要求，新员工上岗，新业务类型开展带来的变故与挑战等等因素都会给检测流程造成偏差的可能。实验室管理部门就要仔细研究质量监督、内审和管理评审结果，客观分析原因，纠正预防不符合行为或更新业务流程，尤其针对新员工加入和新业务开展的情况，在运行中发现问题、纠正问题并更新业务流程。使管理体系的科学运行对业务开展真正起到支持规范作用。

3.4 软件实验室技术能力体系建设

技术能力是软件实验室建设的核心。支持软件检测的系列国家标准保证了软件实验室可以采用标准方法开展检测业务。软件产品测试的标准基于性能和可靠性指标，单元测试标准中的覆盖率分析等技术难度都比较大，需要专业测试工具支持。软件实验室需要为检测工程师提供学习技术的平台，持续不断的技术培训，以及大量实际项目的历练机会。所以，软件实验室建设的主要投入在于以工具为主体的技术平台建设、人才技术能力的持续积累、市场需求的服务接轨。

4 软件测试实验室业务说明

软件测试实验室开展的业务包括：软件产品的标准符合性测试、验收鉴定测试、回归测试和性能测试等；软件开发过程中的代码检查、单元测试、集成测试和系统测试等。本文通过介绍软件实验室借助于自动化测试工具完成单元测试过程进行说明。

4.1 单元测试的准备工作

单元测试依据详细设计文档，如果没有详细设计文档，客户至少提供所有被测单元的输入、输出，为设计测试用例、实施自动化测试准备必要条件；同时还应搭建测试所需环境，包括满足保密要求的所有设施和技术环境；安装调试测试程序；准备测试数据；客户配合实验室技术人员完成测试需求、通过准则和测试计划的提取与制定；测试工具的准备等。

4.2 采用自动化测试工具进行单元测试

单元测试工作量大，应采用自动化测试工具进行测试。企业缺乏开展单元测试的技术环境和人员能力，所以，单元测试将是软件检测实验室的主要业务之一。目前业界使用的单元测试工具大多能用于主机平台软件，也能用于嵌入式软件的单元测试。既能在集成开发环境下帮助测试人员建立测试用例，自动生成和执行测试脚本，验证测试结果是否与期望的结果一致，也能够进行覆盖率分析。同时，单元测试不能忽视功能、接口、边界、错误处理

能力和性能等方面的测试。

4.3 利用工具分析被测程序找出重点测试单元

由于应用程序越来越复杂，程序代码越来越大。面对数万行甚至几百万行的源代码，如果缺少详细设计文档或详细设计文档不够全面，而且测试人员测试的是程序员编写的代码，阅读和理解源代码非常困难。这种情况就应使用相关自动化测试工具对源代码进行分析，可以帮助测试人员了解程序由哪些模块组成，各模块之间的调用关系，每个模块由哪些单元或函数组成等。工具通过对软件的复杂度进行度量，产生程序的结构图，在图中使用不同的颜色标记不同质量的模块。根据Thomas J. McCabe的复杂度理论，越复杂的程序，越容易出错，对可疑模块中容易出错的代码，在时间和资源有限的情况下，可以选择作为重点测试内容。另外，工具还能自动生成单元结构的控制流图，便于技术人员分析被测单元，设计测试用例。

4.4 针对重点测试单元进行测试覆盖率分析评估测试充分性

确定需要测试的单元后，依据详细设计说明书设计测试用例，在集成开发环境中启动相关单元测试工具，生成测试脚本，再自动执行测试脚本。通过执行语句覆盖率、语句块覆盖率、判定覆盖率、条件覆盖率、调用-返回覆盖率、条件组合覆盖率、修正条件/判定覆盖率等测试，根据代码的安全性等级，合理选择覆盖率种类。选择的覆盖率级别越高，测试的粒度越细，测试越充分，但需要执行的测试用例较多，需要花费的时间相对很长。我们可以通过覆盖率分析，来判断测试是否充分。若覆盖率没有达到我们预定的值，应增加测试用例；若覆盖率到达或超过预定的值，则停止测试。

4.5 合理选择测试用例减少回归测试工作量

当程序员对一些Bug进行修改后，不仅被修改的部分，一些关联的部分都会受到影响，因此我们必须对测过的代码进行回归测试。通过分析发现，只有那些可能执行到被修改部分代码的测试用例才能测试修改带来的影响，其余的测试用例在回归测试中是没有作用的！因此，在使用相关测试工具进行回归测试时，为了减少测试工作量，可以利用前面覆盖率测试时工具生成的结果，找出覆盖被修改代码的所有测试用例，执行这些测试用例即可完成回归测试。如果我们觉得覆盖被修改代码的测试用例太多，还可以进一步减少测试用例的数量。方法是将每个测试用例的覆盖率进行排序，优先选择覆盖率高的测试用例，直到覆盖率满足预定的值为止。

5 软件测试实验室建设结论

珠海南方软件产品检测中心发展经验证明：建设软件测试实验室应符合软件产业和软件企业发展特点需要，满足科技园区技术服务需求，同时兼顾为政府和企业信息化建设提供技术支持的职能。建设的方法采取政府支持监督和企业化运作相结合的模式，按照17025标准和相关政策法规规范建设，还要围绕产业和企业需求进行市场定位，保证自身不断提升技术和管理能力，才能实现良性循环发展。实验室具体实施应保证管理体系、环境体系、服务体系、业务流程体系和技术能力体系的不断完善。

来源：检测中心侯建华