黑盒测试方法-正交试验法和场景法-20180525

6
2
34 1
2
8
3213 7 3 1 3 2
9
3321 8 3 2 1 ½
Step3:转换状态-因子表(后略)
状态/因子 1
2
3
4
1
1
1
1
1
2
1
2
2
2
3
1
3
3
½
4
1
4
3
-
5
2
1
2
½
6
2
2
3
1
7
2
3
1
2
8
2
4
1
-
9
ቤተ መጻሕፍቲ ባይዱ
3
1
3
2
10
3
2
1
½
11
3
3
2
1
三、场景法
• 用例场景的定义
– 用例场景用来描述流经用例的路径,从用例开始到结束 遍历这条路径上所有基本流和备选流.
4
5
2
1
2
3
4
6
2
2
1
4
3
7
2
3
4
1
2
8
2
4
3
2
1
9
3
1
3
4
2
10
3
2
4
3
1
11
3
3
1
2
4
12
3
4
2
1
3
13
4
1
4
2
3
14
4
2
3
1
4
15
4
3
2
4
1
正交试验法案例
• 以PowerPoint软件打印功能为例，假设功能 描述如下：
– 打印范围:全部,当前幻灯片,给定范围共三种情况; – 打印内容分:幻灯片,讲义,备注页,大纲视图共四种
B1C1
A1
A2
A3（好结果）
• 如得出A3结果最好，则 固定A于A3，C还是C1， 使B变化。
A3C1
B1 B2 （好结果） B3
• 得出结果以B2为最好， 则固定B于B2，A于A3， 使C变化。
A3B2
C1 C2 （好结果） C3
• 试验结果以C2最好。于 是就认为最好的工艺条 件是A3B2C2。
• 简单对比法的最大优点就是试验次数少，例如，6 因子5水平试验，在不重复时，只用5＋（6－1） ×（5－1）＝25次试验就可以了。
• 考虑兼顾以上两种方法的优点，从全面试验的点 中选择具有典型性、代表性的点，使试验点在试
验范围内分布的很均匀，能反映全面情况。但我
们又希望试验点尽量的少，为此还要具体考虑一 些问题。如上例，对应于A有A1、A2、A3三个平 面，对应于B、C也各有三个平面，共9个平面。 则这9个平面上的点都应当一样多，即对每个因子 的每个水平都要同等看待。具体来说，每个平面 上都有3行、3列，要求在每行、每列上的点一样 多。
• 如果用一个完全的组合，将是爆炸性的组合，测试工作量 将非常大。比如产品的功能测试用例为1000个，其完全 组合数是: 12 x 9 x 6 x 3 x 3 x 3 x 6 x 4 ＝ 419904
• 操作系统 – 12 • 浏览器 - 9 • 代理服务器/防火墙 - 6 • 防火墙验证方式 - 3 • 传输协议 － 3 • 客户端版本 －3 • 第3方产品集成，Lotus Notes － 6 • 本地化语言 － 选 4 种：英文(EL)、中文繁体(B5)、日文
场景如下:
• 场景1:基本流; • 场景2:基本流,备选流1; • 场景3:基本流,备选流1,备选流2; • 场景4:基本流,备选流3; • 场景5:基本流,备选流3,备选流1; • 场景6:基本流,备选流3,备选流1,备选流2; • 场景7:基本流,备选流4; • 场景8:基本流,备选流3,备选流4;
• 为什么引入用例场景
– 现在的软件几乎都是用事件触发来控制流程的,事件触 发时的情景便形成了场景,而同一事件不同的触发顺序 和处理结果就形成事件流.
– 这种在软件设计方面的思想也可引入到软件测试中,可 以比较生动地描绘出事件触发时的情景,有利于测试设 计者设计测试用例,同时使测试用例更容易理解和执行.
因子数目多，每个因子的水平数目也很多 时，试验量非常大。如选6个因子，每个因 子取5个水平时，全面试验法需56 ＝15625 次试验，这实际上是不可能实现的。如果 应用下面的方法，则只需做25次试验就行 了。而且在某种意义上讲，这25次试验就 代表了15625次试验。
简单对比法
即变化一个因素而固定其他因素，如首先固定B、 C于B1、C1，使A变化。
8
2 1 2 12 2 2 1 1 1 2
9
2 1 1 22 2 1 2 2 1 1
10
2 2 2 11 1 1 2 2 1 2
11
2 2 1 21 2 1 1 1 2 2
12
2 2 1 12 1 2 1 2 2 1
L16（45）
列号 试验号
1
2
3
4
5
1
1
1
1
1
1
2
1
2
2
2
2
3
1
3
3
3
3
4
1
4
4
4
正交试验法
9个平面中每个
平面上恰好有
3个点，而每
个平面的每行
每列都有且仅
有1个点，总
B3
共9个点。这
样的试验方案，
试验点分布均 匀，试验次数
B2
也不多。
8 6
2
9 5
37 C3
B1 1 A1
4 A2
C2 A3 C1
列号 A B C
实验
行号 1 2 3 4 号
1 1111 1 2 1222 2 3 1333 3 4 2123 4 5 2231 5 6 2312 6 7 3132 7 8 3213 8 9 3321 9
内容提纲
• 复习 • 正交试验法 • 场景法 • 错误推测法 • 黑盒测试方法选择
复习
• 内容提纲 • 等价类划分法 • 边界值分析 • 因果图法 • 决策表法
二、正交试验法
• 利用因果图来设计测试用例时,作为输入条 件的原因与输出结果之间的因果关系,有时 很难从软件需求规格说明中得到.往往因果 关系非常庞大,导致利用因果图而得到的测 试用例数目多得惊人,给软件测试带来沉重 的负担.为了有效的,合理地减少测试的工时 与费用,可利用正交试验法进行测试用例的 设计.
（JP）、德文(GE) 419904*1000-----4亿多测试用例
正交试验设计方法
• 正交试验设计方法是从大量的试验数据 中挑选适量的、有代表性的点，从而合 理地安排测试的一种科学的试验设计方 法
• 使用已经造好了的表格——正交表来安 排试验并进行数据分析。
案例分析
为提高某化工产品的转化率，选择了三个有 关因素进行条件试验，反应温度（A）， 反应时间（B），用碱量（C），并确定 了它们的试验范围如下：
都一样多。
5个3水平因子及1个2水平因子，需要哪一 种正交表？
起码的实验次数为：5*(3-1)+1*(2-1)+1=12次 即在正交表行数不小于12行，既有2水平列又有3水平列的正交表中选择， L18（2*37）适合。
L4（23 ）
列号
试验号
1
2
3
1
1
1
1
2
1
2
2
3
2
1
2
4
2
2
1
L8(27)
列号
2、ATM例子
• 测试用例:生成每个 场景的测试用例是 通过某个特定条件 来完成的,这个特定 条件将导致特定用 例场景的执行.
用例流
本用例的开始是ATM 处于准备就绪状态。
准备提款：客户将银行卡插入ATM 机的读卡机 验证银行卡：ATM 机从银行卡的磁条中读取帐户代码,并检查它是否属于可以接收的银
水平组 实验条件
合
温度 时间
A1B1C1 80 90
A1B2C2 80 120
A1B3C3 80 150
A2B1C2 85 90
A2B2C3 85 120
A2B3C1 85 150
A3B1C3 90 90
A3B2C1 90 120
A3B3C2 90 150
加碱量 5 6 7 6 7 5 7 5 6
正交试验法
• 当因子数和水平数都不太大时，尚可通过 作图的办法来选择分布很均匀的试验点。 但是，因子数和水平数多了，作图的方法 就不行了。
• 按照正交表来安排试验，既能使试验点分 布得很均匀，又能减少试验次数，而且计 算分析简单，能够清晰地阐明试验条件与 指标之间的关系。
• 用L代表正交表，常用 的有L8(27)、 L9(34)、 L16(45)、 L8(4×24)等。
行卡 输入PIN:ATM 要求客户输入PIN 码(4位)验证帐户代码和PIN, 以确定该帐户是否有效以
及输入的PIN 对该帐户来说是否正确.对于此事件流,帐户是有效的而且PIN 对此帐 户来说正确无误 基 本 ATM选项:ATM显示在本机上可用的各种选项.在此事件流中,银行客户通常选择“提款” 流 输入金额:要从ATM 中提取的金额.对于此事件流,客户需选择预设的金额(10元,20元,50 元或100 元).授权ATM通过将卡ID,PIN,金额以及帐户信息作为一笔交易发送给银行 系统来启动验证过程.对于此事件流,银行系统处于联机状态,而且对授权请求给予答 复,批准完成提款过程,并且据此更新帐户余额。
• 这种方法也有一定的效果，但缺点很多。首先这 种方法的选点代表性很差，如按上述方法进行试 验，试验点完全分布在一个角上，而在一个很大 的范围内没有选点，因此这种试验法不全面，所 选的工艺条件A3B2C2不一定是27个组合中最好 的。其次，用这种方法比较条件好坏时，是把单 个的试验数据拿来，进行数值上的简单比较，而 试验数据中必然包含着误差成分，所以单个数据 的简单比较不能剔除误差，必然造成结论的不稳 定。
方式; – 打印颜色/灰度分:颜色,灰度,黑白共三种方式; – 打印效果分:幻灯片加框和幻灯片不加框两种方式;
Step1:构造因子状态表
状态/ A打印范围 B打印内容 因子
1
A1:全部 B1:幻灯片
2
A2:当前幻 B2:讲义
灯片
3
A3:给定范 B3:备注页
围
4
B4:大纲视
图
C打印颜 色/灰度 C1:颜色
A：80℃ ~90℃ B：90分钟~150分钟 C：5%~7%
试验的目的是搞清楚因子A、B、C对转化 率有什么影响，哪些是主要的，哪些是次 要的，从而确定最适生产条件，即温度、 时间及用碱量各为多少才能使转化率最高。
在试验范围内都选了三个水平（即各因素的 不同状态），如下所示：
• A：A1=80℃ ，A2=85℃ ，A3=90℃； • B：B1=90分钟，B2= 120分钟，B3=
C2:灰度
C3:黑白
D打印效果
D1:幻灯片加 框 D2:幻灯片不 加框
Step2:选择正交表
列号
状态/ 因子
1
2
3
4
行号
1 2 3
1234 1 1 1 1 1
1111 1222
2
1
2
2
2
1 3 3 3 3 1 34 3 ½
4
2123 4 2 1 2 ½
5
2231 5 2 2 3 1
6 7
2312 3132
• L8(27) 7表示正交表的列数，2为因子的水平 数，8表示正交表的行数。
• L16(2×37),有7列是3水平的，有1列是2水平 的——做16个试验最多可以考察1个2水平 的因子和7个3水平的因子。
• 行数(即试验次数)=∑(每列水平数-1) + 1
正交表性质：
1）每一列中各数字出现的次数都一样多； 2）任何两列所构成的各有序数对出现的次数
应用举例
在测试中,特别是互联网应用,我们无法规定用户的环境,分布 在世界各地的用户,其使用的环境是各种各样的.例如：
• 操作系统：Windows Vista, Windows XP Home, Windows XP professional, Windows 2000 pro, Windows 2000 server, Windows NT, Windows 98, Linux, Solaris 9, Solaris 10, Mac OS 9, Mac OS X
3 45 6
7
8
9 10 11
1
1 1 1 11 1 1 1 1 1 1
2
1
1
1 11 2
2
2
22
2
3
1 1 2 22 1 1 1 2 2 2
4
1 2 1 22 1 2 2 1 1 2
5
1 2 2 12 2 1 2 1 2 1
6
1 2 2 21 2 2 1 2 1 1
7
2 1 2 21 1 2 2 1 2 1
– 提出这种测试思想的是Rational公司.
1、基本流和备选流
• 图中经过用例的每条路径 都用基本流和备选流来表 示.
• 直黑线表示基本流,是经过 用例的最简单的路径.
• 备选流用不同的彩色表示, 一个备选流可能从基本流 开始,在某个特定条件下执 行,然后重新加入基本流中 (如1和3);也可能起源于另 一个备选流(如2),或者终止 用例而不再重新加入到某 个流(如2和4).
试验号
1
2
3
4
5
6
7
1
1
1
1
1
1
1
1
2
1
1
1
2
2
2
2
3
1
2
2
1
1
2
2
4
1
2
2
2
2
1
1
5
2
1
2
1
2
1
2
6
2
1
2
2
1
2
1
7
2
2
1
1
2
2
1
8
2
2
1
2
1
1
2
L8(2441)
0
0
0
0
0
0
0
1
1
2
0
1
0
1
1
0
1
1
0
3
1
0
0
1
3
1
0
1
0
1
1
1
0
0
2
1
1
1
1
0
L18(3661)
L12(211)
列号
试验号 1
2
• 浏览器：IE 6.0, IE 7.0, FireFox 1.5, FireFox 2.0, 遨游、 腾讯、苹果etc。
• 代理服务器/防火墙: ISA 2000, ISA 2004, Blue Coast, Cisco PIX, Linux squid, Checkpoint, ...
• 防火墙验证方式：无口令, 口令，Script, ... • 传输协议: TCP, HTTP, SSL