测试前沿技术及理论课程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
测试前沿技术和理论课程
安徽科大讯飞信息科技股份有限公司 AnHui USTC iFlyTek CO., LTD. 2012年 2012年 何超
讲师介绍
• • • • 姓名： 姓名：何超 部门： 部门：技术质量部 职位： 职位：测试工程师 概述
2
范围与目标
• 本课程的培训目标 – 了解前沿测试技术，如：云计算、物联网、敏捷开发、虚拟化、测 了解前沿测试技术， 云计算、物联网、敏捷开发、虚拟化、 试可视化 – 熟悉敏捷测试流程以及探索性方法 – 运用敏捷测试思想以及探索性测试理念，能够在项目中进行应用 运用敏捷测试思想以及探索性测试理念， • 本课程将占用时间 – 90分钟 分钟
ET和ST将各自的测试结 混合ST和ET，并在不同的项目当中，采取不 • 果进行汇总； 同的混合策略来进行比较完善的测试方法的 测试负责人通过检查对 比，即时调整策略，用 策略 例以便进行后续测试；
ST&ET
20
探索性测试
ET和ST产出BUG分析
Testing approach ET Total ST Total A B Feature set A B Bug总数 44 41 85 43 39 82
敏捷测试的特点
1. 强调从客户的角度出发，即从使用系统的用户的角度，来测试系统 2. 重点关注持续迭代的测试新开发的功能，而不再强调传统测试过程中 严格的测试阶段 3. 尽早开始测试，一旦系统某个层面可测，就要开始模块层面的单元测试， 同时随着测试深入，持续进行回归测试保证之前测试过内容的正确性 4.不断修正质量指标，正确建立测试策略，确认客户的有效需求得以圆满 实现和确保整个生产的过程安全的、及时的发布最终产品
一边测试，一边探索
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
测试可视化(Test visualization)
让整个测试过程可视化
11
敏捷测试
敏捷开发
敏捷是一种思想，不是一种特定的过程 针对不同的对象，需要考虑是否采用敏捷的方式
12
敏捷测试
什么是敏捷测试
敏捷测试(Agile testing)是敏捷的一种，是遵循敏捷宣言的一种测试实践
6
前沿技术概览 前沿技术概览 虚拟化（Virtualization） 虚拟化（Virtualization）
• 指计算元件在虚拟的基础上而不是真实的基础上
• • • • • • •百度文库
运行，是一个为了简化管理，优化资源的解决 方案 处理器虚拟化 内存虚拟化 存储虚拟化 服务器虚拟化 网络虚拟化 负载虚拟化 ……
•
Confirmative 测 试就是对 build 的有效性和关 键的功能是否 正确进行验证 Investigative 测 试是对 Confirmative 测 试的补充和是 更广泛的测试 活动
15
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
• • • • • • •
• 性能大幅提升 ： 通过服务器硬件技术打通从GuestOS到 真实硬件资源的通路，避免在VMM层 的IOmapping，减少80%虚拟化应用导 致的性能损失
• 更简化的管理： 通过可扩展管理界面能满足了虚拟化管 理需求;同时对于硬件平台监控管理系 统可以满足端到端的全程管理
23
虚拟化测试平台 虚拟化测试平台
• 示例：虚拟化环境搭建
• •
统一的管理端 在任何地方管理虚拟化资源
•
多服务器统一管理调度分配
•
快捷的备份恢复功能
25
虚拟化测试平台 虚拟化测试平台
• 通过模板快速创建系统
•
镜像库功能满足各类ISO文件 统一存放管理
•
动态内存控制，对所有虚拟化 服务器按需分配内存资源
•
虚拟机性能实时监控
26
测试可视化
• •
Sprint Backlog -
编码实现及测 试
• While（用户未确认or需求变更） • { • 1.需求分析； 设计文档 • 2.完成需求开发； 测试计划 • 测试方案、用例修改； • 3.集成测试； • }
14
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
•
13
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
项目关系人， 客户
迭代计划
产品Backlog – 功能
演示与总结
Sprint 4 Week Iterations
缺陷跟踪和 质量管理
Sprint Backlog – 任务 将大需求分解为多个小需求 Tasks 不断迭代完成每个需求，直到用 户确认每日 Sync up 会议 • 迭代过程中，需要不断修改测试 方案和测试用例，确保版本频繁 功能定义 变动带来的问题
7
前沿技术概览 前沿技术概览 物联网（ Things） 物联网（Internet of Things）
• 通过装置在物体上的各种信息传感设备，
如RFID装置、红外感应器、全球定位系统、激光 扫描器等等，赋予物体智能，并通过接口与互联 网相连而形成一个物品与物品相连的巨大的分布 式协同网络
8
前沿技术概览 前沿技术概览
3
目录
• • • • • •
前沿技术概览 前沿测试技术简介 敏捷测试 探索性测试 虚拟化测试平台 测试可视化
4
前沿技术概览 前沿技术概览 敏捷开发（AgileDevelopment） 敏捷开发（AgileDevelopment）
• 一种以人为核心、迭代、循序渐进的开发方法 • 把一个大项目分为多个相互联系，但也可独立 • 运行的小项目，并分别完成 • 在此过程中软件一直处于可使用状态
Type Documentation GUI Inconsistency Missing function Performance Technical defect Usability Wrong function Total Mode 0-2 3 4 5 Total Severity Negligible Minor Normal Serious Critical Total ET 8 70 5 98 39 54 19 263 556 ET 120 327 89 20 556 ET 23 98 231 153 51 556 ST 4 49 3 96 41 66 5 239 503 ST 93 320 75 15 503 ST 14 74 203 160 52 503 ET/ST 200.00% 143.00% 167.00% 102.00% 95.00% 82.00% 380.00% 110% 111% ET/ST 129% 102% 119% 133% 111% ET/ST 164% 132% 114% 96% 98% 111% Bug总数 12 119 8 194 80 120 24 502 1059 Bug总数 213 647 164 35 1059 Bug总数 37 172 434 313 103 1059
21
虚拟化测试平台 虚拟化测试平台
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
•
应用
计算
配置
存储
虚拟化层
虚拟化软件测试平台，即 为客户打造了集高效率、 低成本等特性于一身，大 幅缩短了软件产品测试周 期，并且可以提升产品品 质，同时还能充分发挥虚 拟化的优势，减少物理工 作站的数量，和降低客户 的IT系统能耗、提高了空间 使用效率的软件工作空间
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
测试机器
构建服务器
•
发布服务器 文件服务器 数据备份服务器 搜索引擎服务器 数据库服务器
在现有硬件资源的 基础上，最大化整 合资源，迅速搭建 测试环境，备份环 境，还原环境。提 高了资源利用率和 工作效率
24
虚拟化测试平台 虚拟化测试平台
22
虚拟化测试平台 虚拟化测试平台
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
• 创造安全可靠的软件运行空间： 软件测试平台有助于提高合并服务器 的安全性和解决管理员角色分离的挑 战 • 强大的隔离能力： 软件测试平台通过灵活的内存分配、 动态的硬件添加和灵活的网络配置， 大幅提高主机服务器的物理资源的使 用率
测试可视化(Test visualization)
让整个测试过程可视化
为什么要测试可视化
测试流程难以管理 测试过程难以度量和控制 管理与测试脱节
27
测试可视化
测试可视化(Test visualization)
让整个测试过程可视化
• • • • • •
可视化测试管理平台： 1.统一管理UI； 2.用例设计管理； 3.用例评审管理； 4.用例执行管理； 5.缺陷管理；
5
前沿技术概览 前沿技术概览 云计算（ computing） 云计算（Cloud computing）
• 一种基于互联网的计算方式 • 通过这种方式，共享的软硬件资源和信息可以按
需提供给计算机和其他设备 • 云计算的核心思想，是将大量用网络连接的计算 资源统一管理和调度，构成一个计算资源池向 用户按需服务
18
ET
测试设计和执行时在同一时间 完成，而且它们不是必须要记 录下来 可以提升测试设计 自动向导，如同对话
探索性测试
优点
• 鼓励测试人员的创造性 • 增加了发现新的或者难以发现的 bug • 可以很好的应用在敏捷测试项目 • 驱使测试人员在一个很短的时间内 找到更多的bug • 可以check其他测试人员的测试工 作 • 不用花很多时间在编写那些简单和 繁琐的测试用例 • 重视产物的质量 • • • • • • • •
剧本式测试，严格按照预先定义好的测试计划、测试步骤进行测试
什么是探索性测试（ET） 什么是探索性测试（ET）
探索性测试，最简单的解释：同时设计测试和执行测试，一边测试一边探索
ST与ET对比 ST与ET对比
测试与测试用例的关系 测试与测试执行的关系 过程的交互性
ST
测试用例在之前就设计和记录 好，过后再测试执行或被其他 测试人员执行 可以控制测试执行 事前准备好材料，由之前想好 的想法引导着
9
前沿测试技术简介 前沿测试技术简介 测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
云测试(Cloud testing)
基于云计算的一种新型测试方案
物联网测试(IOT testing)
建立在物联网共性基础上的测试
10
前沿测试技术简介 前沿测试技术简介 测试
探索性测试(Exploratory testing)
测试应用的三种模式
ET Tester
ST
基于传统瀑布式开发的纯ST测试，所有的测 试执行都是基于详细的测试用例和步骤来做 的
ST Tester
Test Leader
ET
• •
• 自由式的ET，即纯ET测试，没有任何测试文 档；不需要记录任何东西（bug除外）；测 试执行之前不需要任何准备
结果对比分析
•
• •
•
对于已知bug来说，使用ET或ST方法在 发现bug总数上没有区别；但ET却可以 发现更多的未知 bug 在各种发现难度上ET发现更多的bug ET在GUI和Usability这2个类型上ET有比 较大的优势，但在Technical defect上， ST比ET要好一些 ET在严重程度较小的上面有比较大的 优势，其他无较大差别
准备做什么 正在做什么 已经完成什么 完成当前任务，迅速迭代 减少文档，增加沟通 了解他人在 做什么，尽快 告知他人自己完成了什么 增加客户参与
16
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
• •
示例： 性能测试敏捷模型
17
探索性测试
什么是剧本式测试（ST） 什么是剧本式测试（ST）
用例执行
测试执行人员 测试负责人
数据库
可视化测试管理平台
评审人员
用例设计人员 28
测试可视化
• 示例：VSTS案例
工作项管理 器
图形化迭代 用例管理工 具
VSTS
同行评审检 查表执行工 具
测试执行管 理工具
缺点
过程很难去协调和控制 与人的测试技能关系很大 测试覆盖度无法保证 测试进度不好预估 ST测试和ET测试可能存在重复 多人测试可能存在重复测试 无法评估测试人员的测试结果 它不能完全保证最重要的bug已经 被发现了 • 不合适于安全测试，性能测试，或 其他高级的有专业的测试类型
19
探索性测试
• • 从专业的角度将测试人 员分为ET和ST 两类； ET与ST的测试人员分别 进行测试； •
安徽科大讯飞信息科技股份有限公司 AnHui USTC iFlyTek CO., LTD. 2012年 2012年 何超
讲师介绍
• • • • 姓名： 姓名：何超 部门： 部门：技术质量部 职位： 职位：测试工程师 概述
2
范围与目标
• 本课程的培训目标 – 了解前沿测试技术，如：云计算、物联网、敏捷开发、虚拟化、测 了解前沿测试技术， 云计算、物联网、敏捷开发、虚拟化、 试可视化 – 熟悉敏捷测试流程以及探索性方法 – 运用敏捷测试思想以及探索性测试理念，能够在项目中进行应用 运用敏捷测试思想以及探索性测试理念， • 本课程将占用时间 – 90分钟 分钟
ET和ST将各自的测试结 混合ST和ET，并在不同的项目当中，采取不 • 果进行汇总； 同的混合策略来进行比较完善的测试方法的 测试负责人通过检查对 比，即时调整策略，用 策略 例以便进行后续测试；
ST&ET
20
探索性测试
ET和ST产出BUG分析
Testing approach ET Total ST Total A B Feature set A B Bug总数 44 41 85 43 39 82
敏捷测试的特点
1. 强调从客户的角度出发，即从使用系统的用户的角度，来测试系统 2. 重点关注持续迭代的测试新开发的功能，而不再强调传统测试过程中 严格的测试阶段 3. 尽早开始测试，一旦系统某个层面可测，就要开始模块层面的单元测试， 同时随着测试深入，持续进行回归测试保证之前测试过内容的正确性 4.不断修正质量指标，正确建立测试策略，确认客户的有效需求得以圆满 实现和确保整个生产的过程安全的、及时的发布最终产品
一边测试，一边探索
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
测试可视化(Test visualization)
让整个测试过程可视化
11
敏捷测试
敏捷开发
敏捷是一种思想，不是一种特定的过程 针对不同的对象，需要考虑是否采用敏捷的方式
12
敏捷测试
什么是敏捷测试
敏捷测试(Agile testing)是敏捷的一种，是遵循敏捷宣言的一种测试实践
6
前沿技术概览 前沿技术概览 虚拟化（Virtualization） 虚拟化（Virtualization）
• 指计算元件在虚拟的基础上而不是真实的基础上
• • • • • • •百度文库
运行，是一个为了简化管理，优化资源的解决 方案 处理器虚拟化 内存虚拟化 存储虚拟化 服务器虚拟化 网络虚拟化 负载虚拟化 ……
•
Confirmative 测 试就是对 build 的有效性和关 键的功能是否 正确进行验证 Investigative 测 试是对 Confirmative 测 试的补充和是 更广泛的测试 活动
15
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
• • • • • • •
• 性能大幅提升 ： 通过服务器硬件技术打通从GuestOS到 真实硬件资源的通路，避免在VMM层 的IOmapping，减少80%虚拟化应用导 致的性能损失
• 更简化的管理： 通过可扩展管理界面能满足了虚拟化管 理需求;同时对于硬件平台监控管理系 统可以满足端到端的全程管理
23
虚拟化测试平台 虚拟化测试平台
• 示例：虚拟化环境搭建
• •
统一的管理端 在任何地方管理虚拟化资源
•
多服务器统一管理调度分配
•
快捷的备份恢复功能
25
虚拟化测试平台 虚拟化测试平台
• 通过模板快速创建系统
•
镜像库功能满足各类ISO文件 统一存放管理
•
动态内存控制，对所有虚拟化 服务器按需分配内存资源
•
虚拟机性能实时监控
26
测试可视化
• •
Sprint Backlog -
编码实现及测 试
• While（用户未确认or需求变更） • { • 1.需求分析； 设计文档 • 2.完成需求开发； 测试计划 • 测试方案、用例修改； • 3.集成测试； • }
14
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
•
13
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
项目关系人， 客户
迭代计划
产品Backlog – 功能
演示与总结
Sprint 4 Week Iterations
缺陷跟踪和 质量管理
Sprint Backlog – 任务 将大需求分解为多个小需求 Tasks 不断迭代完成每个需求，直到用 户确认每日 Sync up 会议 • 迭代过程中，需要不断修改测试 方案和测试用例，确保版本频繁 功能定义 变动带来的问题
7
前沿技术概览 前沿技术概览 物联网（ Things） 物联网（Internet of Things）
• 通过装置在物体上的各种信息传感设备，
如RFID装置、红外感应器、全球定位系统、激光 扫描器等等，赋予物体智能，并通过接口与互联 网相连而形成一个物品与物品相连的巨大的分布 式协同网络
8
前沿技术概览 前沿技术概览
3
目录
• • • • • •
前沿技术概览 前沿测试技术简介 敏捷测试 探索性测试 虚拟化测试平台 测试可视化
4
前沿技术概览 前沿技术概览 敏捷开发（AgileDevelopment） 敏捷开发（AgileDevelopment）
• 一种以人为核心、迭代、循序渐进的开发方法 • 把一个大项目分为多个相互联系，但也可独立 • 运行的小项目，并分别完成 • 在此过程中软件一直处于可使用状态
Type Documentation GUI Inconsistency Missing function Performance Technical defect Usability Wrong function Total Mode 0-2 3 4 5 Total Severity Negligible Minor Normal Serious Critical Total ET 8 70 5 98 39 54 19 263 556 ET 120 327 89 20 556 ET 23 98 231 153 51 556 ST 4 49 3 96 41 66 5 239 503 ST 93 320 75 15 503 ST 14 74 203 160 52 503 ET/ST 200.00% 143.00% 167.00% 102.00% 95.00% 82.00% 380.00% 110% 111% ET/ST 129% 102% 119% 133% 111% ET/ST 164% 132% 114% 96% 98% 111% Bug总数 12 119 8 194 80 120 24 502 1059 Bug总数 213 647 164 35 1059 Bug总数 37 172 434 313 103 1059
21
虚拟化测试平台 虚拟化测试平台
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
•
应用
计算
配置
存储
虚拟化层
虚拟化软件测试平台，即 为客户打造了集高效率、 低成本等特性于一身，大 幅缩短了软件产品测试周 期，并且可以提升产品品 质，同时还能充分发挥虚 拟化的优势，减少物理工 作站的数量，和降低客户 的IT系统能耗、提高了空间 使用效率的软件工作空间
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
测试机器
构建服务器
•
发布服务器 文件服务器 数据备份服务器 搜索引擎服务器 数据库服务器
在现有硬件资源的 基础上，最大化整 合资源，迅速搭建 测试环境，备份环 境，还原环境。提 高了资源利用率和 工作效率
24
虚拟化测试平台 虚拟化测试平台
22
虚拟化测试平台 虚拟化测试平台
虚拟化测试平台（Vtset Platfom)
V
基于 基于虚拟化技术的测试平台
• 创造安全可靠的软件运行空间： 软件测试平台有助于提高合并服务器 的安全性和解决管理员角色分离的挑 战 • 强大的隔离能力： 软件测试平台通过灵活的内存分配、 动态的硬件添加和灵活的网络配置， 大幅提高主机服务器的物理资源的使 用率
测试可视化(Test visualization)
让整个测试过程可视化
为什么要测试可视化
测试流程难以管理 测试过程难以度量和控制 管理与测试脱节
27
测试可视化
测试可视化(Test visualization)
让整个测试过程可视化
• • • • • •
可视化测试管理平台： 1.统一管理UI； 2.用例设计管理； 3.用例评审管理； 4.用例执行管理； 5.缺陷管理；
5
前沿技术概览 前沿技术概览 云计算（ computing） 云计算（Cloud computing）
• 一种基于互联网的计算方式 • 通过这种方式，共享的软硬件资源和信息可以按
需提供给计算机和其他设备 • 云计算的核心思想，是将大量用网络连接的计算 资源统一管理和调度，构成一个计算资源池向 用户按需服务
18
ET
测试设计和执行时在同一时间 完成，而且它们不是必须要记 录下来 可以提升测试设计 自动向导，如同对话
探索性测试
优点
• 鼓励测试人员的创造性 • 增加了发现新的或者难以发现的 bug • 可以很好的应用在敏捷测试项目 • 驱使测试人员在一个很短的时间内 找到更多的bug • 可以check其他测试人员的测试工 作 • 不用花很多时间在编写那些简单和 繁琐的测试用例 • 重视产物的质量 • • • • • • • •
剧本式测试，严格按照预先定义好的测试计划、测试步骤进行测试
什么是探索性测试（ET） 什么是探索性测试（ET）
探索性测试，最简单的解释：同时设计测试和执行测试，一边测试一边探索
ST与ET对比 ST与ET对比
测试与测试用例的关系 测试与测试执行的关系 过程的交互性
ST
测试用例在之前就设计和记录 好，过后再测试执行或被其他 测试人员执行 可以控制测试执行 事前准备好材料，由之前想好 的想法引导着
9
前沿测试技术简介 前沿测试技术简介 测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
云测试(Cloud testing)
基于云计算的一种新型测试方案
物联网测试(IOT testing)
建立在物联网共性基础上的测试
10
前沿测试技术简介 前沿测试技术简介 测试
探索性测试(Exploratory testing)
测试应用的三种模式
ET Tester
ST
基于传统瀑布式开发的纯ST测试，所有的测 试执行都是基于详细的测试用例和步骤来做 的
ST Tester
Test Leader
ET
• •
• 自由式的ET，即纯ET测试，没有任何测试文 档；不需要记录任何东西（bug除外）；测 试执行之前不需要任何准备
结果对比分析
•
• •
•
对于已知bug来说，使用ET或ST方法在 发现bug总数上没有区别；但ET却可以 发现更多的未知 bug 在各种发现难度上ET发现更多的bug ET在GUI和Usability这2个类型上ET有比 较大的优势，但在Technical defect上， ST比ET要好一些 ET在严重程度较小的上面有比较大的 优势，其他无较大差别
准备做什么 正在做什么 已经完成什么 完成当前任务，迅速迭代 减少文档，增加沟通 了解他人在 做什么，尽快 告知他人自己完成了什么 增加客户参与
16
敏捷测试
敏捷测试(Agile testing)
遵循敏捷宣言的一种测试实践
• •
示例： 性能测试敏捷模型
17
探索性测试
什么是剧本式测试（ST） 什么是剧本式测试（ST）
用例执行
测试执行人员 测试负责人
数据库
可视化测试管理平台
评审人员
用例设计人员 28
测试可视化
• 示例：VSTS案例
工作项管理 器
图形化迭代 用例管理工 具
VSTS
同行评审检 查表执行工 具
测试执行管 理工具
缺点
过程很难去协调和控制 与人的测试技能关系很大 测试覆盖度无法保证 测试进度不好预估 ST测试和ET测试可能存在重复 多人测试可能存在重复测试 无法评估测试人员的测试结果 它不能完全保证最重要的bug已经 被发现了 • 不合适于安全测试，性能测试，或 其他高级的有专业的测试类型
19
探索性测试
• • 从专业的角度将测试人 员分为ET和ST 两类； ET与ST的测试人员分别 进行测试； •