网络通信产品测试

TR5～TR6
SRT
TR6～发布阶段决策评审点
系统配套 出厂检验 装备测试
Agenda
• • • • • • 新产品开发常用管理体系 IPD与华为IPD介绍 测试基本概念 测试用例设计技术 通信设备测试 测试管理
测试基本概念
• 测试定义
–IEEE在1983年提出:“使用人工或自动手段来运行或测定 某个系统的过程，其目的在于检验它是否满足规定的 需求或是弄清预期结果与实际结果之间的差别。”
融合并优化各业务部分 的业务计划
管理业务计划 评估绩效
IPD 产品线业务计划 产品线项目组合 产品线路标 是 概念 计划 开发 验证 发布 生命 周期
组合分析 à竞争?竞争对手信息 à了解能够进入的细分市场 à分析细分市场中的市场机制 à支持产品线组合与产品的销 售预测 à收集并分析市场需求
项目任务书 否 组合管理 责任主体：产品线IPMT -à分析组合 -à制定产品线业务计划 -à制定产品线路标
–X模型
• X模型提出针对单独的程序片段进行相互分离的编码和测 试，此后通过频繁的交接，通过集成最终合成为可执行 的程序
–前置测试模型
• 前置测试模型体现了开发与测试的结合，要求对每一个 交付内容进行测试
对测试的常见误解
• 测试是保证产品质量的充分必要条件
• 测试就是发现错误 • 测试工作是没有技术含量的工作 • 测试无法发现重要的问题 • 测试能够发现100％的错误 • 测试不需要设计 • 所有测试都能够实现自动化
• 测试目标
–检验它是否满足规定的需求 –发现错误
测试基本原则
• • 所有的测试都应追溯到用户需求 应该在测试工作真正开始的前较长时间内就进行测试计划
•
Pareto原则应用于软件测试
– Pareto原则暗示着测试发现的错误中的80％很可能起源于程序模块中的20％。当然，问题在于 如何孤立这些有疑点的模块并进行彻底的测试。
• 黑盒测试
– 若了解产品的特定功能，则构造测试，以证实各功能完全可执行， 同时在各功能中寻找错误
• 灰盒测试
– 若既能够了解产品的特定功能，又了解产品的内部构造，则可以 构造测试，结合白盒和黑盒进行测试
测试用例设计技术—黑盒测试用例设计方法
• ①第一步是理解软件所表示的对象及其关系 • ②第二步是定义一组保证“所有对象与其他对象 都具有所期望的关系” 的测试序列 • 换言之，软件测试首先是创建对象及其关系图， 然后导出测试序列以检查对象及其关系，并发现 错误
华为IPD流程
集ห้องสมุดไป่ตู้产品开发IPD
生命周期阶段
概念阶段
计划阶段
开发阶段
验证阶段
发布阶段
停止销售
停止生产
停止服务 和支持
概念 DCP 重新 确定
计划 DCP
继续
可获得性 DCP
停止销售 DCP
停止生产 DCP
停止服务 与支持 DCP
中止
华为IPD流程与产品测试
TR4 TR1 TR2 TR3 TR5 TR6
• 从产品角度看 – Alpha 测试
– Beta 测试
容易混淆的概念
• 性能测试与压力测试 – 综合性能=负载指数*性能指数
– 一般对一台设备来说，综合性能是固定的
– 压力测试是为了得到性能指数最小时候（可以接受的最小指数）最大的负载指数 – 性能测试是为了得到负载指数确定下的性能指数
•
Alpha测试与Beta测试
投资组合管理 团队PMT 技 研 术 发 财 务 支 制 销 持 造 行 售 销
财务 采购 销售 行销 采购 资料 测试 PDT 开发 制造 技术 支持 概念 阶段 计划阶 段 开发阶 段 验证阶 段
GA 停止 服务 和支 持 销售 行销 采购
财务 采购 开发 PLIPMT 资料 测试 制造 技术 支持 停止 销售 停止 生产
测试用例设计技术—黑盒测试用例设计方法
• 错误推测方法
–基于经验和直觉推测程序中所有可能存在的各种错误, 从而有针对性的设计测试用例
• 设计指南
–在单元测试时曾列出的许多在模块中常见的错误 –以前产品测试中曾经发现的错误等经验的总结 –输入数据和输出数据为0的情况 –输入表格为空格或输入表格只有一行
– 都不是研发人员或者测试人员完成，由最终用户或者第三方来完成 – Alpha测试接近开发完成时所做的测试，测试后，设计可能有少许改动 – Beta测试时开发基本完成后所作的测试，在最终发布前所有发现的问题需要更正
•
兼容测试与比较测试
– 兼容测试是测试软件或者设备在用户要求的环境下的适应性 – 比较测试是与竞争伙伴的产品做比较，找出优劣势
测试过程常见模型
• H模型
•
H模型揭示了一个原理：软件测试是一个独立的流程，贯穿产品整个生命周期， 与其他流程并发地进行。H模型指出软件测试要尽早准备，尽早执行。不同的测 试活动可以是按照某个次序先后进行的，但也可能是反复的，只要某个测试达 到准备就绪点，测试执行活动就可以开展
测试过程常见模型
• 其他模型
• Bug的80-20原则
– 一般情况下，在分析、设计、实现阶段的复审和测试工作能够发 现和避免80%的Bug，而系统测试又能找出其余Bug中的80%，最后 的5%的Bug可能只有在用户的大范围、长时间使用后才会曝露出来 – 测试只能够保证尽可能多地发现错误，无法保证能够发现所有的 错误
测试分类（22种）
测试用例设计技术—黑盒测试用例设计方法
• 因果图方法
– 等价类划分方法和边界值分析方法,都是着重考虑输入条件,但未考虑输入条件之 间的联系, 相互组合 – 输入条件之间的相互组合,可能会产生一些新的情况 – 适合于描述对于多种条件的组合,相应产生多个动作的形式来考虑设计测试用例
•
一个好的测试应该是“最佳品种”
– 在一组目的相似的测试中，时间和资源的限制可能只影响其某个子集的执行，此时，应该使用 最可能找到所有错误的测试。
•
一个好的测试既不会太简单，也不会太复杂
– 每一个测试应该独立执行
– 适当的组合测试是必要的
有关测试的“金科玉律”
• 木桶原理
– 产品质量的关键因素是分析、设计和实现，测试应该是融于其中 的补充检查手段，其他管理、支持、甚至文化因素也会影响最终 产品的质量 – 测试是提高产品质量的必要条件，也是提高产品质量最直接、最 快捷的手段，但决不是一种根本手段。反过来说，如果将提高产 品质量的砝码全部押在测试上，那将是一个恐怖而漫长的灾难
– 如果输入条件是布尔式，可以定义一个有效等价类和一个无效等 价类
测试用例设计技术—黑盒测试用例设计方法
• 边界值分析方法
– 边界值分析是一种补充等价划分的测试用例设计技术 – 不是选择等价类的任意元素，而是选择等价类边界的测试用例 – 不仅注重于输入条件，而且注重输出域
• 设计指南
– 如果输入条件代表以a和b为边界的范围，测试用例应当包含a、b、略大 于a和略小于b的值 – 如果输入条件代表一组值，测试用例应当执行其中的最大值和最小值， 还应当测试略大于最小值的值和略小于最大值的值 – 指南1和2也适用于输出条件，例如，工程分析程序要求输出温度和压强 的对照表，测试用例应当能够创建包含最大值和最小值的项 – 如果程序数据结构有预定义的边界(如数组有100项)，要测试其边界的数 据项
汉柏科技
网络通信产品测试
王智民 汉柏科技有限公司
Agenda
• • • • • • 新产品开发常用管理体系 IPD与华为IPD介绍 测试基本概念 测试用例设计技术 通信设备测试 测试管理
产品开发常用管理体系
• PACE
–Product And Cycle-time Excellence，产品及周期优 化法
SIT TR4A
SVT
SRT
概念阶段
计划阶段
开发阶段
验证阶段
发布阶段
生 命 周 期 阶 段
集成产品开发IPD
华为产品测试
测试类型 对应产品开发阶段 关注点 系统功能 系统稳定性 系统鲁棒性 系统性能 系统规格 系统性能 系统易用性 文档测试
SIT
TR4～TR5
SVT
Agenda
• • • • • • 新产品开发常用管理体系 IPD与华为IPD介绍 测试基本概念 测试用例设计常用技术 通信设备测试 测试管理
测试用例设计技术
• 白盒测试
– 若了解产品的内部构造，则构造测试，以确保“所有齿轮吻合”， 即内部操作依据规约执行，而且所有的内部构件被充分利用一个 好的测试并不冗余
• IPD
–Integrated Product Development，集成产品开发
• SGS
–Stage-Gate System，门径管理系统
• PVM
–Product Value Management，产品价值管理
Agenda
• • • • • • 新产品开发常用管理体系 IPD与华为IPD介绍 测试基本概念 测试用例设计技术 通信设备测试 测试管理
测试过程常见模型
• V模型
• 缺陷：把测试作为在编码之后的一个阶段，是针对 程序进行的寻找错误的活动，而忽视了测试活动对 需求分析、系统设计等活动的验证和确认的功能
测试过程常见模型
• W模型
• 缺陷：在W模型中，需求、设计、编码等活动被视为串行的，
测试和开发也保持着一种线性前后关系，上一阶段完全结束， 才可正式开始下一阶段工作。无法支持迭代开发模型
发布阶 段
在适当的时间向市场推出适当的产品，满 足客户需求并实现业务目标
监控市场情况并管理已经发布产品的投 资组合直到生命周期终止，优化投资组 合方案以实现业务目标
华为IPD流程与MM流程
市场管理MM 市场信息 客户反馈 竞争对手信息 技术趋势 当前产品组合
了解 市场
市场 细分
组合 分析
制定业务策 略和计划
测试用例设计技术—黑盒测试用例设计方法
• 等价类划分方法
– 等价划分的测试用例设计基于输入条件的等价类评估
• 设计指南
– 如果输入条件代表一个范围，可以定义一个有效等价类和两个无 效等价类 – 如果输入条件需要特定的值，可以定义一个有效等价类和两个无 效等价类
– 如果输入条件代表集合的某个元素，可以定义一个有效等价类和 一个无效等价类
– “最佳效果”指最可能发现错误的测试(测试的主要目标)
– 创建系统的软件工程师并不是构造软件测试的最佳人选
什么是好的测试
• 一个好的测试发现错误的可能性很高
– 为了达到这个目标，测试者必须理解软件，并尝试设想软件如何才能失败
•
一个好的测试并不冗余
– 测试的时间和资源是有限的，没有必要构造一个与其他测试用途完全相同的测试，每一个测试 都应该有不同的用途(哪怕是细微的差异) – 例如，有一个模块被用来识别用户密码以决定是否启动系统，为了测试密码输入的错误，测试 者设计了一系列的输入密码测试。在不同的测试中输入有效与无效密码(四个数字)，然而，每 一个有效/无效密码将检测一种不同错误模式，例如，一个将8080作为有效密码的系统将不会 接受非法密码1234，如果接收1234，将产生错误，另一个测试输入1235，与1234的测试意图相 同，因此是冗余的，然而，非法输入8081或8180就有些细微的差异，即对与有效密码相近但并 不相同的密码该进行测试。
•
测试应从“小规模”开始，逐步转向“大规模”
– 最初的测试通常把焦点放在单个程序模块上，进一步测试的焦点则转向在集成的模块簇中寻找 错误，最后在整个系统中寻找错误。
•
穷举测试是不可能的
– 在测试中不可能运行路径的每一种组合， – 充分覆盖程序逻辑，并确保程序设计中使用的所有条件是有可能的。
•
为了达到最佳效果，应该由独立的第三方来构造测试
• 根据测试设计技术 – 黑盒测试 – 白盒测试 • 从测试完备性
– 累积综合测试 – 功能测试 – 端到端测试 – 健全测试 – 衰竭测试 – 接受测试
• 从测试过程看
– 单元测试 – 集成测试 – 系统测试
– 负载测试
– 强迫测试 – 性能测试 – 可用性测试 – 安装/卸载测试 – 恢复测试 – 安全测试 – 兼容测试 – 比较测试
IPD介绍
• 基本思想
–（1）新产品开发是一项投资决策 –（2）基于市场的开发 –（3）跨部门、跨系统的协同 –（4）异步开发模式 –（5）重用性 –（6）结构化的流程
• 适用性
–IPD适用于技术复杂度较高 –管理能力相对成熟的企业
华为IPD介绍
产品IRB/公司IPMT 公司高层 财务 营销与销 售 研发 制造 采购 产品线 · 无线 `安全 销售执行周审视例会 供需/器件承诺决策 质量评审 客户满意度委员会 财务预测 产品线IPMT 行销 大客户 行销 财务与 计划 开发 IPMT主任 制造 采购 测试 销售 服务与 支持 测试 IT 技术支持