系统测试

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
所做的修改达到了预期的目的,例如缺陷得到了修改,新增加的功能 得到了实现
软件的修改没有引入新的缺陷,没有影响原有的功能实现
1.回归测试的概念
※ 回归测试的目的
所做的修改达到了预定的目的,如错误得到了改正,新功能得到了实 现,能够适应新的运行环境等;
不影响软件原有功能的正确性。
2.回归测试方法
是否符合产品的需求规格 个人认为,功能测试比性能测试更重要。只要完成了功能测试,可以
说测试工作已经完成了大半。
2.目的和内容
※ 功能测试是为了发现以下错误
从用户角度来进行功能验证,以确认: ① 每个功能是否都能正常使用 ② 是否实现了产品规格说明书的要求 ③ 是否能适当地接收输入数锯而产生正确的输出结果
※ 性能测试目标
获取系统性能某些指标数据 为了验证系统是否达到用户提出的性能指标 发现系统中存在的性能瓶颈,优化系统的性能
2.性能测试的类型和方法
※ 性能测试类型
性能验证测试,验证系统是否达到事先已定义的系统性能指标、能 否满足系统的性能需求
性能基准测试,在系统标准配置下获得有关的性能指标数据,作为 将来性能改进的基准线
影响。而负载又受两个因素影响:
− 同时与服务器通信的连接(或虚拟用户)的数目 − 每个虚拟用户请求之间间隔时间的长短
与服务器通信的用户越多,负载就越大。同样,请求之间间隔时间越短, 负载也越大。这两个因素的不同组合会产生不同的服务器负载等级
随着服务器上负载的增加,吞吐量会不断攀升,直到到达一个点, 并在这 个点上稳定下来
2.性能测试的类型和方法
如何加载用户以模拟负载状态?
− 最好的方法是模拟高峰时间用户与服务器通信的状况。 − 如果用户负载状态是在一段时间内逐步达到的,选择ramp-up测试,每隔
几秒增加x个用户; − 如果所有用户是在一个非常短的时间内同时与系统通信,就应该使用flat
测试,将所有的用户同时加载到服务器
① 测试用例库的维护 ② 回归测试包的选择 ③ 回归测试的基本过程
2.回归测试的基本过程
1. 识别出软件中被修改的部分。 2. 从原基线测试用例库T中排除所有不再适用的测试用例,确定
那些对新的软件版本依然有效的测试用例,其结果是建立一个 新的基线测试用例库T0。 3. 依据一定的策略从T0中选择测试用例测试被修改的软件。 4. 生成新的测试用例集T1,用于测试T0无法充分测试的软件部 分。 5. 用T1执行修改后的软件。
(1)压力测试是检查系统处于压力情况下的能力表现。
如通过增加并发用户的数量,检测系统的服务能力和水平;通过增 加文件记录数来检测数据处理的能力和水平等等。
(2)压力测试一般通过模拟方法进行。
可以对系统内存和CPU利用率、数据库的连接数量、数据库服务器 的CPU利用率上进行模拟,以获得测量结果。 如将压力的基准设定为:内存使用率达到75%以上、CPU使用率达到75%以 上,并在此观测系统响应时间、系统有无错误产生。
※ 疲劳强度测试
通常是采用系统稳定运行情况下能够支持的最大并发用户数 或者日常运行用户数,持续执行一段时间业务,通过综合分析交易执 行指标和资源监控指标来确定系统处理最大工作量强度性能的过程。
疲劳强度测试案例制定的原则是保证系统长期不间断运行的 业务量,并且应该尽量去满足该条件。
Flat测试
2.性能测试的类型和方法
(3)压力测试一般用于测试系统的稳定性
2.性能测试的类型和方法
※ 并发性能测试
并发性能测试的过程也是一个负载测试过程,即逐渐增加并 发虚拟用户数负载,直到系统出现性能瓶颈或者崩溃为止。
破坏性压力测试,通过不断加载的手段,快速造成系统的崩溃,让 问题尽快地暴露出来 ramp-up测试
2.性能测试的类型和方法
系统测试
目录
1 功能测试 2 回归测试 3 性能测试 4 其它非功能性测试
1
功能测试
1.功能测试
※ 功能测试:是在规定的一段时间内运行软件系统的所有功能, 以验证这个软件系统有无严重错误。
是系统测试中最基本的测试 不管软件内部的实现逻辑 主要根据产品的需求规格说明书和测试需求列表验证产品的功能实现
− 在性能可以接受的前提下,测试系统可以支持的最大负载
性能测试是为了检查系统的反应、运行速度等性能指标,其前提是 要求在一定负载下(如检查一个网站在100人同时在线的情况下) 的性能指标,每个用户是否都还可以正常的完成操作等
− 在不同负载下(负载一定)时,通过一些系统参数(如响应时间等)检查 系统的运行情况
2.性能测试的类型和方法
※ 性能规划测试
性能规划类型的测试其目标是找出在特定的环境下,给定应用程序 的性能可以达到何种程度。例如,如果要以5秒或更少的响应时间 支持8,000个当前用户,需要多少个服务器?
要确定系统的容量,需要考虑几个因素: ① 用户中有多少是并发与服务器通信的。 ② 每个用户的请求间时间间隔是多少。
3.功能测试常用设计方法
功能测试用例是功能测试工作的核心,常见的设计方法有如下几 种:
① 等价类划分法 ② 边界值分析法 ③ 因果图 ④ 判定表 ⑤ 错误推测法
2
回归测试
1.回归测试的概念
※ 回归测试是在软件发生变动时保证原有功能正常运作的一种测 试策略和方法。回归测试不需要进行全面的测试,而是根据修 改的情况进行有选择性的测试。这里所说的保证软件原有功能 正常运作,或称之为软件修改的正确性,可以从两方面来理解:
2.性能测试的类型和方法
容量测试与压力测试的区别 − 压力测试主要是使系统承受速度方面的超额负载,例如一个短时间
2.性能测试的类型和方法
※ 压力测试类型
在一种需要反常(如长时间的峰值)数量、频率或资源的方 式下,执行可重复的负载测试,以检查程序对异常情况的抵抗能力, 找出性能瓶颈或其它不稳定性问题 并发性能测试(重点) 疲劳强度测试 大数据量测试
2.性能测试的类型和方法
※ 压力测试方法具有如下特点:
什么是确定容量的最好方法?
− 结合两种负载类型的优点,并运行一系列的测试 − 如:首先使用ramp-up测试确定系统支持的用户范围该范围内不同的并
发用户负载进行一系列的flat测试,更精确地确定系统的容量。
2.性能测试的类型和方法
※ 压力测试(Stress test),也称为强度测试、负载测试。压力 测试是模拟实际应用的软硬件环境及用户使用过程的系统负 荷,长时间或超大负荷地运行测试软件,来测试被测系统的 性能、可靠性、稳定性等。
※ 程序安装、启动正常,有相应的提示框、错误提示等 ※ 每项功能符合实际要求 ※ 系统的界面清晰、美观 ※ 菜单、按钮操作正常、灵活,能处理一些异常操作 ※ 能接受正确的数据输入,对异常数据的输入有提示、容错处理等 ※ 数据的输出结果准确,格式清晰,可以保存和读取 ※ 功能逻辑清楚,符合使用者习惯 ※ 系统的各种状态按照业务流程而变化,并保持稳定 ※ 支持各种应用的环境 ※ 能配合多种硬件周边设备 ※ 软件升级后,能继续支持旧版本的数据 ※ 与外部应用系统的接口有效
※ 大数据量测试
独立的数据量测试 针对某些系统存储、传输、统计、查询等业务进行大 数据量测试 综合数据量测试 和压力性能测试、负载性能测试、并发性能测试、疲劳性能测试相结 合的综合测试方案
2.性能测试的类型和方法
※ 压力测试与性能测试
压力测试是为了发现系统能支持的最大负载,其前提是要求系统性 能处在可以接受的范围内(比如经常规定的页面3秒钟内响应)
2.回归测试的基本过程
(4)再测试修改的部分 当测试者对修改的局部化有足够的信心时,可以通过相依性分析识别软 件的修改情况并分析修改的影响,将回归测试局限于被改变的模块和它 的接口上
3
性能测试
1.性能测试的基本概念
1.性能测试的基本概念
※ 性能测试(performance test)就是为了发现系统性能问题
2.性能测试的类型和方法
在某一点资上源,使执用行队列开始增长,因为服务器上所有的线程都已投入 使用,传入的请求不再被立即处理,而是放入队列中,当线程空闲时 再处理。
当系统达到饱和点,服务器吞吐量保持稳定后,就达到了给定条件 下的系统上限。但是,随着服务器负载的继续增长,响应时间也随 之延长,虽然吞吐量保持稳定。
2.性能测试的类型和方法
※ Ramp-up测试: 用户是交错上升的(每几秒增加一些新用户)。
ramp-up测试不能产生精确和可重现的平均值,这是因为由于用 户的增加是每次一部分,系统的负载在不断地变化。其优点是,可 以看出随着系统负载的改变,测量值是如何改变的据此选择要运 行的flat测试的范围。
性能规划测试,在多种特定的环境下,获得不同配置的系统的性能 指标,从而决定在系统部署时采用什么样的软、硬件配置
容量测试可以看作性能的测试一种,因为系统的容量可以看作是系 统性能指标之一
2.性能测试的类型和方法
※ 基准测试
基准测试的关键是要获得一致的、可再现的结果。 假定测试的两个指标是服务器的响应时间和吞吐量,会受到负载的
的平均值。精确地获得这些值的唯一方法是一次加载所有的用户, 然后在预定的时间段内持续运行。
虚拟用户的数量
2.性能测试的类型和方法
Flat测试 “波动”效应
Page Downloaded per Second 系统吞吐量
2.性能测试的类型和方法
Flat测试 “波动”效应
Resource Usage
队列产生
响应时间
2.性能测试的类型和方法
将系统置于相同的高负载下,将请求之间间隔时间设为零。这样服 务器会立即超载,并开始构建执行队列。如果请求(虚拟用户)数 保持一致,基准测试的结果会非常精确
flat运行是获得基准测试数据的理想模式
2.性能测试的类型和方法
※ “Flat”测试:对于一次给定的测试,应该取响应时间和吞吐量
2.性能测试的类型和方法
2.性能测试的类型和方法
在某一点上,执行队列开始增长,因为服务器上所有的线程都已投 入使用,传入的请求不再被立即处理,而是放入队列中,当线程空 闲时再处理。
当系统达到饱和点,服务器吞吐量保持稳定后,就达到了给定条件 下的系统上限。但是,随着服务器负载的继续增长,响应时间也随 之延长,虽然吞吐量保持稳定。
2.目的和内容
① 逻辑功能测试(logic function testing) ② 界面测试(UI testing) ③ 易用性测试(usability testing) ④ 安装测试(installation testing) ⑤ 兼容性测试(compatibility testing)
2.目的和内容
2.回归测试的基本过程
※ 测试用例库的维护
(1) 删除过时的测试用例 (2) 改进不受控制的测试用例 (3) 删除冗余的测试用例 (4) 增添新的测试用例
2.回归测试的基本过程
※ 回归测试包的选择
(1)再测试全部用例 比较安全的软件测试方法,但测试成本最高 (2)基于风险选择测试 运行最重要的、关键的和可疑的测试,而跳过那些非关键的、优先级别 低的或者高稳定的测试用例,这些用例即便可能测试到缺陷,这些缺陷 的严重性也仅有三级或四级 (3)基于操作剖面选择测试 操作剖面是描述用户如何使用软件的一种技术 优先选择那些针对最重要或最频繁使用功能的测试用例,以释放和缓解 最高级别的风险,但实施起来有一定的难度
或获取系统性能相关指标而进行的测试。一般在真实环境、特定负 载条件下,通过工具模拟实际软件系统的运行及其操作,同时监控 性能各项指标,最后对测试结果进行分析来确定系统的性能状况。
※ 影响性能测试的因素
响应时间 并发用户数量 吞吐量 资源利用率
1.性能测试的基本概念
1.性能测试的基本概念
− 针对一个网站进行测试,模拟10到50个用户就是在进行常规性能测试,用 户增加到1000乃至上万就变成了压力/负载测试。
2.性ቤተ መጻሕፍቲ ባይዱ测试的类型和方法
※ 容量测试
采用特定手段,检测系统能够承载处理任务的极限值所进行 的测试工作。
目的:通过测试预先分析出反映软件系统应用特征的某项指标的极 限值(如最大并发用户数、数据库记录数等),系统在其极限值状 态下还能保持主要功能正常运行。容量测试还将确定测试对象在给 定时间内能够持续处理的最大负载或工作量。
相关文档
最新文档