第5章 系统测试

（2）并发测试 ）
并发是同时执行多个操作的行为， 并发是同时执行多个操作的行为，即在同一时间 执行多个测试线程。例如， 执行多个测试线程。例如，在同一个服务器上同 时调用许多Web服务。 时调用许多 服务。 服务
18
（3）量级增加 ）
压力测试可以重复执行一个操作， 压力测试可以重复执行一个操作，但是操作自身 也要尽量给产品增加负担。例如一个Web服务 也要尽量给产品增加负担。例如一个 服务 允许客户机输入一条消息， 允许客户机输入一条消息，测试人员可以通过模 拟输入超长消息来使操作进行高强度的使用，即 拟输入超长消息来使操作进行高强度的使用， 增加这个操作的量级。 增加这个操作的量级。
30
(3) 计划方案实施
如何实现测试目标： 如何实现测试目标： 定义性能度量的范围 定义Vuser （虚拟用户）活动 虚拟用户） 定义 选择Vuser 选择 选择测试硬件和软件
31
① 定义性能度量的范围
度量应用程序中不同点的响应时间 根据测试目标确定在哪里运行Vuser 根据测试目标确定在哪里运行 运行哪些Vuser 运行哪些
8
压力测试
压力测试是通过逐步增加系统负载， 压力测试是通过逐步增加系统负载，测试 是通过逐步增加系统负载 系统性能的变化，并最终确定在什么负载条 系统性能的变化，并最终确定在什么负载条 件下系统性能处于失效状态， 件下系统性能处于失效状态，并以此来获得 系统能提供的最大的服务级别的测试。 系统能提供的最大的服务级别的测试。 通俗地讲， 通俗地讲，压力测试是为了发现在什么条 件下系统的性能会变得不可接受。 件下系统的性能会变得不可接受。 压力测试是一种特定类型的负载测试。 压力测试是一种特定类型的负载测试。
15
压力测试与性能测试的区别
压力测试 性能测试
可以发生在各个测试阶段， 用来保证产品发布后系统能否满 可以发生在各个测试阶段， 足用户需求， 即使是在单元层， 足用户需求，关注的重点是系统 即使是在单元层，一个单独 模块的性能也可以进行评估 整体 通过确定一个系统的瓶颈， 通过确定一个系统的瓶颈，来获 得系统能提供的最大服务级别的 检测系统在一定负荷下的表 测试。 是正常能力的表现。 测试。 是极端情况下的系统能 现，是正常能力的表现。 力的表现。 力的表现。
《软件评测师教程》P 264~274, 280~286, 294~296, 300~307 软件评测师教程》
20
1. 测试计划
制定测试计划的目的： 制定测试计划的目的：
构建能够精确地模拟工作环境的测试方案。 构建能够精确地模拟工作环境的测试方案。 了解测试需要的资源。 了解测试需要的资源。 以可度量的指标定义测试成功条件。 以可度量的指标定义测试成功条件。
测试数据生成器； 测试数据生成器； 由测试小组创建的测试事务； 由测试小组创建的测试事务； 原来在系统环境中处理过的事务。 原来在系统环境中处理过的事务。
17
压力测试方法
有效的压力测试可采用以下测试手段： 有效的压力测试可采用以下测试手段： （1）重复测试 ）
重复测试就是一遍又一遍地执行某个操作或功能， 重复测试就是一遍又一遍地执行某个操作或功能， 比如重复调用一个Web服务。 服务。 比如重复调用一个 服务 重复测试往往与其它测试手段一并使用。 重复测试往往与其它测试手段一并使用。
14
压力测试方法的特点
（3）压力测试一般用于测试系统的稳定性。 ）压力测试一般用于测试系统的稳定性。
如果一个系统能够在压力环境下稳定运行一段时 间，那么该系统在普遍的运行环境下就应该可以 达到令人满意的稳定程度。 达到令人满意的稳定程度。 在压力测试中， 在压力测试中，通常会考察系统在压力下是否会 出现错误等方面的问题。 出现错误等方面的问题。
第5章 系统测试 章
本章主要内容
5.1 性能测试 5.2 压力测试 5.3 容量测试 5.4 健壮性测试 5.5 安全测试 5.6 可靠性测试 5.7 恢复性测试与备份测试 5.8 协议一致性测试 5.9 兼容性测试 5.10 安装性测试 5.11 可用性测试 5.12 配置性测试 5.13 文档测试 5.14 GUI测试 测试 5.15 验收测试 5.16 回归测试
（4）随机变化 ）
该手段是指对上述测试手段进行随机组合，以便 该手段是指对上述测试手段进行随机组合， 获得最佳的测试效果。 获得最佳的测试效果。
19
5.2.3 负载压力测试的实施
负载压力测试实施步骤
测试计划 → 测试需求分析 → 测试案例制定 → 测试环境、工具、 测试环境、工具、数据准备 → 测试脚本录制、 测试脚本录制、编写与调试 → 场景制定 → 测试执行 → 获取测试结果 → 结果评估与测试报告
16
5.2.2 压力测试方法
压力测试应该尽可能逼真的模拟系统环境。 压力测试应该尽可能逼真的模拟系统环境。 逼真的模拟系统环境 对于实时系统， 对于实时系统，测试者应该以正常和超常的 速度输入要处理的事务从而进行压力测试。 速度输入要处理的事务从而进行压力测试。 批处理的压力测试可以利用大批量的事务进 被测事务中应该包括错误条件。 行，被测事务中应该包括错误条件。 压力测试中使用的事务的获得途径： 压力测试中使用的事务的获得途径：
5
5.1.2 性能测试执行
分为三个阶段： 分为三个阶段： 1. 计划阶段
定义目标并设置期望值 收集系统和测试要求 定义工作负载 选择要收集的性能度量值 标出要运行的测试并决定什么时候运行它们 决定工具选项和生成负载 编写测试计划， 编写测试计划，设计用户场景并创建测试脚本
6
性能测试执行
2. 测试阶段
3
性能测试
性能测试包括以下几个方面 ：
评估系统的能力。 评估系统的能力。测试中得到的负荷和响应时 间等数据可以被用于验证所计划的模型的能力， 间等数据可以被用于验证所计划的模型的能力， 并帮助做出决策。 并帮助做出决策。 识别系统中的弱点。 识别系统中的弱点。受控的负荷可以被增加到 一个极端的水平并突破它， 一个极端的水平并突破它，从而识别系统的瓶 颈或薄弱的地方。 颈或薄弱的地方。 系统调优。重复运行测试， 系统调优。重复运行测试，验证调整系统的活 动能否得到预期的结果，从而改进软件性能。 动能否得到预期的结果，从而改进软件性能。
12
大数据量测试
大数据量测试的两种类型
独立的数据量测试 针对某些系统存储、传输、统计、 针对某些系统存储、传输、统计、查询等业务 进行大数据量测试 综合数据量测试 和压力性能测试、负载性能测试、 和压力性能测试、负载性能测试、并发性能测 试、疲劳性能测试相结合的综合测试方案
13
压力测试方法的特点
32
应用程序中不同点的响应时间
度量端到端的响应时间： 度量端到端的响应时间：
33
应用程序中不同点的响应时间
度量网络和服务器响应时间： 度量网络和服务器响应时间：
（1）压力测试是检查系统处于压力情况下的能力表现。 ）压力测试是检查系统处于压力情况下的能力表现。
比如，通过增加并发用户的数量， 比如，通过增加并发用户的数量，检测系统的服务能力和 水平； 水平；通过增加文件记录数来检测数据处理的能力和水平 等等。 等等。
（2）压力测试一般通过模拟方法进行。 ）压力测试一般通过模拟方法进行。
通常在系统对内存和CPU利用率上进行模拟，以获得测量 利用率上进行模拟， 通常在系统对内存和 利用率上进行模拟 结果。 结果。 除了对内存和CPU的使用率进行设定外，数据库的连接数 的使用率进行设定外， 除了对内存和 的使用率进行设定外 数据库服务器的CPU利用率等等也都可以作为压力测 量、数据库服务器的 利用率等等也都可以作为压力测 试的依据。 试的依据。
21
负载测试计划过程的四个步骤
分析应用程序 定义测试目标 计划方案实施 检查测试目标
22
(1) 分析应用程序
确定系统组件 描述系统配置 分析使用模型 任务分布
23
① 确定系统组件
客户机、网络、 客户机、网络、中间件和服务器
24
② 描述系统配置
连接到系统的用户数 应用程序客户端计算机的配置情况（硬件、内存、 应用程序客户端计算机的配置情况（硬件、内存、操作 系统、软件、开发工具等） 系统、软件、开发工具等） 使用的数据库和Web 服务器的类型（硬件、数据库类 服务器的类型（硬件、 使用的数据库和 操作系统、文件服务器等） 型、操作系统、文件服务器等） 服务器与应用程序客户端之间的通信方式 前端客户端与后端服务器之间的中间件配置和应用程序 服务器 可能影响响应时间的其他网络组件（调制解调器等） 可能影响响应时间的其他网络组件（调制解调器等） 通信设备的吞吐量以及每个设备可以处理的并发用户数
4
5.1.2 性能测试的基准
性能测试的基准主要有以下几方面： 性能测试的基准主要有以下几方面：
响应时间：从应用系统发出请求开始，到客户端 响应时间：从应用系统发出请求开始， 接收到最后一个字节数据为止所消耗的时间。 接收到最后一个字节数据为止所消耗的时间。 合理的响应时间取决于实际的用户需求。 合理的响应时间取决于实际的用户需求。 并发用户数： 并发用户数：一般是指同一时间段内访问系统的 用户数量。 用户数量。 系统用户数， 系统用户数，在线用户数 吞吐量：单位时间内系统处理的客户请求数量。 吞吐量：单位时间内系统处理的客户请求数量。 性能计数器： 性能计数器：描述服务器或操作系统性能的一些 数据指标，比如Windows系统资源管理器。 数据指标，比如 系统资源管理器。 系统资源管理器
做准备工作（如建立测试服务器或布置其他设备） 做准备工作（如建立测试服务器或布置其他设备） 运行测试 收集数据
3. 分析阶段
分析结果 改变系统以优化性能 设计新的测试
7
5.2 负载压力测试
负载测试是通过逐步增加系统负载， 负载测试是通过逐步增加系统负载，测试 是通过逐步增加系统负载 系统性能的变化，并最终确定在满足性能指 系统性能的变化，并最终确定在满足性能指 标的情况下，系统所能承受的最大负载量的 标的情况下，系统所能承受的最大负载量的 测试。 测试。