Android系统级白盒测试以及与自动化测试集成--核心理念、操作指南

ThreadingTest工具介绍
TT的功能点以及帮助测试人员解决的问题：
（6） 实现所有覆盖率的计算过程可视化，图形化的说明每种覆盖率的计算逻辑，使得不会代码的测试人员也 能通过图形化展示进行覆盖率测试。 （7） 双向追溯的全新技术，打破了开发和测试之间得交流鸿沟，通过代码和测试用例的双向追溯，实现了敏 捷测试支持率最大化和回归测试时间最小化。 （8） 实现9种覆盖率指标展示 如： SC0= 被执行的块个数/该段程序包含的块个数 以及美军标DO-178B MC/DC白盒结构测试技术展示，并通过累计覆盖率技术，把单元、集成、系统等多维 度测试进行累计实现100%覆盖率指标，并通过和可视化、复杂、条件、等组合，使测试质量大幅提升，测试 时间大幅减少。 （9） 简单易懂的整体每日覆盖率增长报表，让各层领导时刻把握整个测试进度。 （10）API接口的开放，使得无需改变原先的任何测试习惯（测试人员通过“点点点”）或替换任何测试工具 （包裹自动化和单元测试的对接），TT都能无缝的进行辅助，为您呈现测试状况以及管理测试数据。 （11） 支持分布式测试，多个测试人员测试产生的覆盖率，可以在统一视图中显示。使得测试经理通过TT平 台时时的对测试人员的测试数据进行量化的统一管理。


Android自动化测试之appium--环境构建到实战技巧
Android自动化测试之--电量测试+弱网测试+性能测试
更多测试资讯，请关注光荣之路微信公众号 ：
gloryroadtrain
测试过程中常见的问题
目前，所有的软件测试技术都属于非数字化的软件测试方法，传统白盒测试技 术将焦点放到单元级，无法在系统测试中推广和应用。而传统的黑盒测试在整个测试 过程中会遇见如下问题：
黑盒测试无法确认测试是否充分，并常常在回归测试中产生大量重复的测 试用例，且消耗大量的测试时间，而传统的白盒测试基于单元级，忽略整体 功能，对代码能力要求高，普通功能测试工程师无法掌握。 提交的bug描述通常只有bug场景和截图，无法追踪到代码，如遇见比较 难以重现的问题，定位工作量巨大。开发与测试交流只能通过语言和BUG描 述，无测试数据数字化交互。 常规的功能测试，对于人员技能、经验甚至身体状态要求极高，这样使得 测试负责人在把握整个测试进度时，需要花费很大的精力进行管理。
TT的功能点以及帮助测试人员解决的问题：
（1） 测试人员通过“点点点”也可以拿到每轮测试过后的量化数据，和开发人员有依据的讨论如何对覆盖率 低的补充用例，让测试人员关注更具技术含量的工作。 （2） 完美兼容任意形态android应用和游戏以及大型J2EE网站的测试。 （3） 数字化追踪每个测试步骤，排除人为干扰。支持在程序结构图、控制流程图等多种图形上显示覆盖率， 测试以及开发人员可以从多个视角清晰的看到被测程序的覆盖率情况，可以查看整体的覆盖率，也可以查看单 独某一个函数的覆盖率，甚至可以查看某一个分支的覆盖执行情况。 （4） TT示波器可以实现每秒钟从被测试程序搜集并且处理10000条执行速率的性能，并在错误和崩溃后列 出最后50条执行函数，大大提高了错误定位使得测试人员无需故障描述、重现等流程，开发人员可以实时查看 测试用例执行的程序内部细节，快速定位问题点。 且示波器采用最新的代码分离技术，让测试人员无需代码也能进行白盒测试。 （5） 对测试程序实现自动化的插装，无需人工干预，被测试应用的功能不会发生任何变化，应用性能最高不 超过5%的影响。
04
支持逐级的 子树展开和 下钻功能。
05
支持在函数 图元上显示 覆盖率与函 数相关信息 的显示
函数调用图说明
（图）主界面函数调用图中覆盖率和多个版本的 累积覆盖率以及复杂度展示
函数调用图说明
（图）主界面函数调用图中函数调用聚集图展示
控制流程图说明
其中控制流程图支持特性 01 可视化的控制流程图， 对主要的控制逻辑语句 对应有清晰的图元显示， 支持嵌套显示以及串联 显示。 04 支持缩略图的显 示，可平滑的进 行缩放以及全屏 显示。 02 点击控制流图的每个图元 可以看到对应的代码段以 及代码段的执行次数、覆 盖率情况。 03 在控制流图的代码段，当 条件语句成为选中热点后， 可以看到条件语句的各个 子条件的各种组合执行的 真假情况。
超高速、大型、互动的图形化系统
TT支持程序结构图、类继承图、函数控制流程图等多种图形的动态显
示。
其中”函数调用图”图形具有以下高级特性
01
支持百万 图元级别 的超高速 图形绘制 技术。
02
支持全屏以 及超平滑的 放大与缩小 技术、平滑 的移动技术
03
支持按照类 分组聚集布 图以及按照 函数调用关 系布图，层 次数量可自 由定义。
通过上述3种方法示意图我们可以看到： 传统的黑盒测试在70%前的阶段，查找BUG是非常迅 速的，但之后有可能几天都发现不了一个BUG。 传统白盒测试虽然稳步上升，但却因为种种因素导致其 测试时间过长。 穿线测试是系统级白盒测试技术，可以和黑盒测试优雅 对接。强调在黑盒阶段记录白盒测试数据，当超越黑盒 测试的差错瓶颈区后，通过记录的白盒测试去发现隐蔽 性强的缺陷。
传统的功能测试让“点点点”测试一族通常几年内便达到技术发展瓶颈而 无法持续提升。
问题与解决方案
针对上述常见问题，ThreadingTest提出了自己的核心理念- -“穿线测试” 并能在当今主流的移动测试中使用。 穿线测试和黑盒、白盒之间的测试方法对比示意图： 黑盒测试方法 白盒测试方法
穿线测试方法
ThreadingTest基于穿线测试对代码进行可视化展示，测试人员通过可视化的 界面来了解函数内部的以及软件各个模块的执行情况，从而达到代码 级别测试。TT 针对代码级别的编译分析和运行插桩后的程序，通过一静一 动的代码分析，TT提供了丰富的可视化界面包括函数调用图、控制流程图、 覆盖率可视化视图、累计覆盖率视图、多版本对比视图、版本测试数据报表 视图等。通过每种视图进行有针对性的信息挖掘达到问题快速定位。
控制流程图说明
(图)控制流程图展示
覆盖率可视化功能说明
ThreadingTest支持 对各种覆盖的计算的可视 化，对每种覆盖率的计算 结果给出可视化的直观结 果展示。 覆盖率可视化功能更 直观、更清晰的向用户展 示哪些块被覆盖，哪些块 没被覆盖到，让用户更有 效的进行测试补充、达到 预期覆盖。
覆盖率计算可视化专利
ThreadingTest的代码分离测试
通过示波器的数据接收ThreadingTest可以达到代码分离测试的功能，让测 试不在局限在实验室。可能软件运行现场也是我们的测试场景。
ThreadingTest的技术特性非常适合于做移动智能类产品的测试，例如对于 智驾系统。TT通过自己的专利技术，能够通过TT的示波器专利技术，测试 人员甚至可以边在行驶过程中操作智能驾驶系统的同时，通过TT的软件示 波器即时的获得测试数据和测试结果。测试人员可以在移动的车上进行测 试后，然后将一整天获得的测试数据拿到实验室或者研发中心的软件平台 中进行分析。
ThreadingTest工具介绍
什么是ThreadingTest?
ThreadingTest（简称“TT”）是一款白盒测试软件，将黑盒测试与白盒测试过程以及方法进行完美的融合， 以黑盒的测试过程及方法，产生白盒测试的数据，同时TT也是全球首款纯软件类的商用级别的移动端白盒测试 工具，可以对各种类型的移动类应用进行测试。TT是一款真正对软件测试过程和结果进行深度量化分析的智能 测试工具更是一款测试数据数字化管理工具。
穿线测试方法，不改变原有测试流程
数据分析示波器
数 据 分 析 示 波 器 专 利
ThreadingTest率先引入了测试过程软件示波器的概念并获得了专 利保护，在实际测试的过程中，测试员可以看到类似于心电图的数据 获取模式，让软件测试过程因此变得有趣、可视、精准。 TT示波器的Console模式优点： 可视化观察程序运行情况。波形可直观反应程序行为。 在Console中能看到最近的函数运行堆栈。 通过波形分析程序在各种硬件平台上的运行性能。
Leabharlann Baidu
报表说明
ThreadingTest提供了友好的图形化报表界面，充分对复杂度和覆盖率进行展示。 包括有工程的基本信息，覆盖率和复杂度统计信息，覆盖率增长统计，7种统计 信息的排行榜等，包括了几乎所有的重要信息。以柱状图，折线图，列表等直观、 友好的形式展现出来，快速的了解工程的结构和测试覆盖情况
测试用例与源码双向追溯专利
双向追溯说明
（图）基于穿线测试的双向追溯视图
可视化测试说明
软件测试中，软件测试人员对于代码逻辑不了解是导致测试人员难以发现 代码级别问题的根源，如果测试人员二次学习开发语言会有成本上的考虑， 如果对于每种测试结果又视图化的展示，这样会很直观的给测试人员一个 最直接的结果。而无需重复开发人员的工作。

Android自动化测试之Monkey--从参数讲解、脚本制作到实战技巧
Android自动化测试之MonkeyRunner--从环境构建、参数讲解、脚本制作到实战 技巧 Android自动化测试之Robotium--基础操作 Android自动化测试之Robotium--进阶操作 Android自动化测试之UiAutomator--环境构建到实战技巧
同时TT支持离线测试的方式，是对源代码的最好的保护方式，即在户外进 行测试的时候并不需要系统的源代码，而需要进行数据展示的时候，仅需 要将测试获得的数据拿回到研发实验室进行关联展示和分析即可。
无缝对接单元测试和自动化测试
TT单元测试架构
穿线测试白盒测试技术
穿线测试通过一些列专利技术，实现了所有第4代白盒测试技术， 并在此基础上做了较大的创新。
是否 可重复测试
第一代 第二代 第三代 第四代
是否 测试评估
是否 自动测试
是否 持续测试
是否 可双向追溯
否 是 是 是
否 是 是 是
否 否 是 是
否 否 否 是
否 否 否 否
穿线测试
是
是
是
是
是
双向追溯说明
穿线测试通过技术手段自动建立的 测试制品（测试用例）与开发制品（代 码逻辑）之间的双向追溯 。 正向追溯优点： 记录功能实现的代码逻辑，测试的数 据可以供辅助进行大型软件维护。 迅速定位缺陷对应的代码执行情况， 帮助开发快速修复缺陷，可追踪难复现 缺陷。 真实记录测试用例运行的情况，为数 字化软件测试提供大量原生分析性数据。 反向追溯优点： 辅助进行一致性修改 辅助进行回归测试用例自动选取
ThreadingTest工具下载
ThreadingTest 免费推出了Android和J2EE版个人版：
官方技术网站下载 www.threadingtest.com 阿里云测试工具进行下载 ThreadingTest 技术支持Q群: 339834199
ThreadingTest测试流程与自动化插桩技术
大型网站抓取数据的示波器展示
大型网站Liferay的测试示波器图，我们可以看到在测试这种大型网站的过程中，示波
器的引入，能让我们更加的了解该网站的函数信息，使以前的黑盒子测试（仅能看到功能的 反馈无法看到程序内部的反馈）进行更加透明化的分析和查看。
示波器功能体现
实时记录被测程序的运行信息：块，函数，条件，运行堆栈
Android系统级白盒测试以及与自动化测试 集成 --核心理念、操作指南
Karen
Android自动化测试第一课
微信公众号：gloryroadtrain ThreadingTest 技术支持Q群: 339834199
Android自动化测试全系列课程
Android系统级白盒测试以及与自动化测试集成--核心理念、操作指南 Android系统级白盒测试以及与自动化测试集成--测试数据分析、进阶操 作
实时记录测试用例对应的程序执行逻辑 支持源码分离的测试模式 支持分布式的实时记录被测程序的运行信息
可视化观察程序运行情况。波形可直观反应程序行为 通过波形分析程序在各种硬件平台上的运行性能。
支持真机、模拟器等各类设备的接入 支持各种自动化操作和单元测试所产生的测试数据的记录 支持USB、WIFI、蓝牙等各种设备的连接方式