基本概念功能测试

28
4.6性能和缩放性测试
WEB系统体系结构允许在WEB、应用程序和 数据库服务器层的每一层进行缩放，这些 层可以按下面几种方式缩放：
垂直缩放 水平缩放 功能缩放
系统性能与缩放性密切相关，因此在进行 性能测试时必须考虑系统缩放性。
29
4.6.1性能测试内容
系统的性能应该包括两方面 ：
4.1基本概念 4.2系统测试层次 4.3系统测试方法 4.4系统静态测试 4.5功能测试 4.6性能和缩放性测试 4.7可用性测试 4.8安全性测试 4.9指标协议测试 4.10安装卸载测试 4.11兼容性测试 4.12本地化测试 4.13系统测试过程 4.14其他阶段测试 4.15测试案例分析
1
备选流2 备选流1 备选流1 备选流 2 备选流4
6
4.5.3业务流程测试
例子
7
4.5.3业务流程测试
提款用例的基本流和某些备用流
8
4.5.3业务流程测试
第一次迭代中，根据迭代计划，我们需要核实提 款用例已经正确地实施。此时尚未实施整个用例， 只实施了下面的事件流：
基本流 - 取预设金额（10元、20元、50元、100元） 备选流 2 - ATM 内没有现金 备选流 3 - ATM 内现金不足 备选流 4 - PIN 有误 备选流 5 - 帐户不存在/帐户类型有误 备选流 6 - 帐面金额不足
31
4.6.1.1客户端性能测试
主要是测试在多个客户并发时，系统完成 用户业务功能的响应时间。具体性能指标 参数如下：
并发客户端数 业务处理响应时间 业务处理通过率
32
4.6.1.1客户端性能测试
WEB系统为例，响应时间性能因素包括下面 几项：
请求提交：客户浏览器为了与网站进行连接并 传输用户提供的数据所需的时间。 处理时间：请求被一台或多台服务器处理以执 行用户所需功能的时间。 响应：处理请求后，将页面或者数据返回给用 户，传输这些页面或者数据所需要的时间即为 响应时间。
一方面是系统完成用户业务功能的响应时间 另一方面是系统实现用户业务功能时的资源利 用率分析
30
4.6.1性能测试内容
性能测试数据的收集
客户机：响应时间 服务器： CPU，占全部处理器时间的百分比； 内存，用字节数和每秒出现的页面错误率表示； 硬盘的I/O WEB服务器：除了上述项目外，WEB服务器还包 括最大的同时连接数目 。 数据库服务器：所有数据库服务器都应当包含 交易/秒和缓存命中率等数据 网络：监视每个服务器之间的带宽数据
在真实环境下检测系统性能，评估系统性能以 及服务等级的满足情况； 分析系统瓶颈、优化系统。
27
4.6性能和缩放性测试
系统的缩放性指的是在系统中增加计算资 源的能力。增加了计算资源后，在特定的 负载条件下，就可以获得可接受的或改进 的响应时间、稳定性和数据吞吐量。在这 里，负载指的是同一时间内系统处理客户 端业务功能数量。
主要是系统应用功能的测试。 基于用例场景设计测试用例。 用例场景是通过描述流经用例的路径来确 定的过程，这个流经过程要从用例开始到 结束遍历其中所有基本流和备选流。
4
4.5.3业务流程测试
5
4.5.3业务流程测试
遵循上图中每个经过用例的可能路径，可以确定 不同的用例场景：
场景 1 基本流 场景 2 基本流 场景 3 基本流 场景 4基本流 场景 5基本流 场景 6基本流 场景 7基本流 场景 8基本流 备选流1 备选流1 备选流3 备选流3 备选流3 备选流4 备选流3
? ? ?
? ? ? ? ? ?
? ? ? ? ? ? /? ? ? ? ? ?
? ? ? ? ? ? ?
43
4.6.3性能测试配置
在上述系统中与性能有关的测试可以使用 不同的配置元素执行
服务器硬件和服务器数量 数据库大小 测试客户机的位置 SSL与非SSL
44
4.6.4性能测试实施
20
4.6性能和缩放性测试
软件性能的几个指标—并发用户数
窗体标题
输入文本 输入文本 文本
组
输入文本 输入文本
组
组
组
组
组
21
4.6性能和缩放性测试
软件性能的几个指标—并发用户数
系统用户数 同时在线用户人数
22
4.6性能和缩放性测试
软件性能的几个指标—并发用户数
计算公式 C=nL/T X=c+3*(c)1/2
应用程序本身的优化 数据库管理系统的配置优化 中间件的配置优化
40
4.6.2性能测试类型
基准性能测试 负载测试 压力测试 数据容量测试
41
4.6.3性能测试配置
以WEB系统为例
42
? ? ?
Internet
? ? ? /? ? ? ? ? ? ? ? ? ? ?
WEB? ? ? ?
23
4.6性能和缩放性测试
软件性能的几个指标—吞吐量
单位时间内系统处理的客户请求的数量，直接 体现系统的性能承载能力 表示：请求数/秒 页面数/秒 人数/天 处理的业务数/小时 反映服务器承受的压力 协助分析系统性能瓶颈
24
4.6性能和缩放性测试
软件性能的几个指标—吞吐量
计算方式 F=N*R/T
36
4.6.1.2系统资源利用率分析 -操作系统资源利用率
操作系统资源利用率
37
4.6.1.2系统资源利用率分析 -数据库资源利用率
数据库资源利用率
38
4.6.1.2系统资源利用率分析 -中间件服务器利用率
中间件服务器利用率
39
4.6.1.3系统性能优化
硬件优化 软件优化
9
4.5.3业务流程测试
场景设计
场景描述 场景1 -成功的提款 场景2 -ATM 内没有现金 场景3 -ATM 内现金不足 场景4 -PIN 有误（还有输入机会） 场景5 -PIN 有误（不再有输入机会） 场景6 -帐户不存在/帐户类型有误 场景7 -帐户余额不足 基本流 基本流 基本流 基本流 基本流 基本流 基本流 基本流 备选流 2 备选流 3 备选流 4 备选流 4 备选流 5 备选流 6
52
4.6.4.1性能测试需求分析 -80-20原理法
全年处理业务约100万笔，其中15%的业务处理每笔业务 需对应用服务器提交7次请求；70%的业务处理每笔业务 需对应用服务器提交5次请求；其余15%的业务每笔业务 向应用服务器提交3次请求。根据以往统计结果，每年的 业务增量为15%，考虑到今后三年业务发展的需要，测试 需按现有业务量的2倍进行。
使用交易混合图应关注下面三点 数据操作有哪些 如果任务失败，那么商业风险有多少
50
4.6.4.1性能测试需求分析 -交易混合图法
交易名称 日常业务/hr 高峰期业务 /hr Web服务器负 数据库服务 载 器负载 风险 登录 开一个新帐 号 70 10 210 15 高 中等 低 中等 大 小
33
4.6.1.1客户端性能测试
响应时间=N1+N2+N3+N4+A1+A2+A3+A4
34
4.6.1.2系统资源利用率分析
网络资源利用率分析
服务器资源利用率分析
通过监测操作系统、数据库以及中间件服务器
35
4.6.1.2系统资源利用率分析 -网络资源利用率分析
对象 Network Interface 计数器 Bytes Total/sec 描述 Bytes Total/sec为发送和接收 字节的速率，包括帧字符在 内。判断网络连接速度是否 是瓶颈，可以用该计数器的 值和目前网络的带宽比较 参考值 该计数器的值与 网络带宽相除， 结果小于50％。
页 面 数 / 秒
用户数量
25
4.6性能和缩放性测试
性能测试是指在一定约束条件下测试系统 所能承受的并发用户量、运行时间、数据 量，以确定系统所能承受的最大负载压力， 保证产品发布后系统的性能能够一般观点： 找一个点（200用户）满足用户需求。
实际：一条曲线
26
4.6性能和缩放性测试
性能测试的目的可以概括以下几个方面：
Web Service
Maximum Connections
Total Connection Attempts
Maximum Connections ： “最大连接数”是和Web 服 务同时建立起的最大连接数。 Total Connection Attempts ： “连接尝试总数”是从服务 启动时利用Web 服务尝试连 接的总数。该计数器应用于 全部所列的实例
每年总的请求数量为：（100*15%*7+100*70%*5+100*15%*3） *2=300万次/年。 每天的请求数量为：300/160=1.875万次/天。 每秒的请求数量为：（18750*80%）/（8*20%*3600）=2.60次/ 秒。 正常情况下，应用服务器处理请求的能力应达到：3次/秒。
45
4.6.4.1性能测试需求分析
性能测试需求的内容要包含以下几个关键 点
性能测试需求的内容要包含以下几个关键点 测试的对象是什么，例如“被测系统中有负载 压力需求的功能点包括哪些” 测试的对象是什么，例如“被测系统中有负载 压力需求的功能点包括哪些”
46
4.6.4.1性能测试需求分析
用户对软件性能的关注
发出请求
窗体标题
输入文本 输入文本
组
请求
输入文本 输入文本
文本
用户感受 到响应
返回数据 应用服务器 DB服务器
呈现时间
系统响应时间
16
4.6性能和缩放性测试
管理人员对软件性能的关注
在多个用户并发时响应时间 系统支持多少个并发用户 系统资源利用率 系统瓶颈在什么地方 系统可扩展性 系统稳定性
分析方法
任务分布图法 交易混合图法 80—20原理法
47
4.6.4.1性能测试需求分析 -任务分布图法
使用任务分布图法应关注下面两点
有哪些交易任务 在一天的某些特定时刻系统有哪些主要操作
48
4.6.4.1性能测试需求分析 -任务分布图法
登录 记帐 22 25 10 21 15 12 21
17
4.6性能和缩放性测试
开发人员对软件性能的关注
架构设计是否合理 数据库设计是否合理 内存分配使用是否合理 线程同步方式是否合理 系统中是否存在不合理的资源竞争
18
4.6性能和缩放性测试
软件性能的几个指标
响应时间 并发用户数 吞吐量
19
4.6性能和缩放性测试
软件性能的几个指标—响应时间
生成订单
130
180
中等
中等
中
更新订单
发货
20
40
30
90
中等
中等
中等
高
大
大
51
4.6.4.1性能测试需求分析 -80-20原理法
一个新的系统在开始建设时往往很难估计 每个时刻用户并发访问数，客户只能提供 一年内会有多少笔业务需要处理，这时需 要运行80-20原理法进行分析。80-20原理 即每个工作日中80%的业务在20%的时间 内完成。例如，每年业务量集中在8个月， 每个月20个工作日，每个工作8小时即每天 80%的业务在1.6小时内完成。
10
备选流
4.5.3业务流程测试
测试用例设计
11
4.5.3业务流程测试
测试用例数据选择
12
4.1基本概念 4.2系统测试层次 4.3系统测试方法 4.4系统静态测试 4.5功能测试 4.6性能和缩放性测试 4.7可用性测试 4.8安全性测试 4.9指标协议测试 4.10安装卸载测试 4.11兼容性测试 4.12本地化测试 4.13系统测试过程 4.14测试案例分析
创建记录
数据更新 查询 批处理 生成报表 20 50 25 60 15 50
18
90 30
11
75 20
12
46 14
85
30
50
40
系统备份
11
2
8
4
12
6 8 10 12 14 16 18 20 22 24
测试执行周期
49
4.6.4.1性能测试需求分析 -交易混合图法
使用交易混合图应关注下面三点
4.5百度文库功能测试
链接或界面切换测试 业务流程测试
2
4.5.1链接(界面切换)测试
测试所有链接是否按指示的那样确实链接 到了该链接的页面； 测试所链接的页面是否存在； 保证Web应用系统上没有孤立的页面 。 界面设计文档是依据(上海交通银行,电力负 荷管理系统例子)
3
4.5.2业务流程测试
13
4.6性能和缩放性测试
性能:
性能是表明软件系统对于其及时性要求的符合 程度。 其次,性能是软件产品的一种特性,可以用时间 来进行度量。 性能的及时性用响应时间或吞吐来衡量。
14
4.6性能和缩放性测试
对软件性能的关注是多层面的
用户关注 管理人员关注 开发人员关注
15
4.6性能和缩放性测试