系统智能测试技术TestWeaver

回归测试
1094号 命中目标！ 2985
通过之前的回归测试， 在1094号测试场景中找到的问题已得到解决 所有其它的测试场景也成功通过再次回归测试
检验控制代码覆盖率是完整的/足够高
验证系统状态覆盖率足够高
Global Crown Technology Co., Ltd.
单元，模块测试与系统测试
单元/模块测试：
系统智能测试的原理
Test Weaver
GlobalCrown Technology Co., Ltd.
测试场景生成过程
被测伺服系统实际是黑盒子，只有用TW的测试设备来确立 其和被测系统之间的连接。可以测试任意类型系统。 测试场景的生成依据DOE理论、博弈理论及分类树方法，并 且根据已生成的测试用例结果去创建新的测试场景/序列。
MiL/SiL 软件在环：
Silver
HiL 硬件在环：
GlobalCrown Technology Co., Ltd.
MIL/SIL/HIL测试的常规工作流程
步骤1 : 选定模型的测试设备及对测试进行定义
飞行海拔， 速度，方 向 环境条件 其它…
故障注入
状态显示
步骤2 : 运行测试 – 自动虚拟驾驶
配置TestWeaver
指定RTW生成的exe文件
复现Replay功能的配置
GlobalCrown Technology Co., Ltd.
TestWeaver功能特色
系统输入输出列表
测试报告集
GlobalCrown Technology Co., Ltd.
TestWeaver功能特色
系统输入输出列表
飞行海拔速度方向是否具有对抗措施testweaver在测试时相当于一个虚拟测试者的角色自由地控制靶机飞行生成大量不同的测试工况目的是躲避制导系统防止被锁定通过测试结果可以评估制导系统的优劣执行机构的响应是否迅速准确等制导系统的测试globalcrowntechnologyco
系统智能测试技术 TestWeaver
软件代码
Global Crown Technology Co., Ltd.
找到轨迹偏移的情况
1094号测试场景 飞行轨迹错误 丢失目标 2985号 测试场景 在仿真中重现此次测试场景
回归测试 再次运行测试数据库
诊断 确认问题来源
改善措施 系统升级
Global Crown Technology Co., Ltd.
执行机构模型 SimulationX, Simulink...
调试工具
Visual Studio
DLL
定制 GUI attach
Silver
Python
Testweaver 通过 Python API 和 Python 测试设备 控制Silver
TestWeaver
控制器 软件产品 封装 DLL
TestWeaverGlobal Crown Tecnology Co., Ltd.
制导系统 - 状态覆盖率报告
所有测试结果经分类归入 表格 测试统计结果 例如:
Direct hit : Proximity hit : Miss :
36% 39% 25%
代码覆盖率报告实例
在SIL环节，TestWeaver内的模 块也可提供代码覆盖率的分析 可对代码的每一行，每一个循环 及每种功能进行分析 未测试的代码会高亮显示
Test Weaver
GlobalCrown Technology Co., Ltd.
内容介绍
1. 系统智能测试介绍
2. 系统智能测试原理
3. MiL/SiL/HiL测试平台
a) MiL（Simulink） b) Silver c) HiL（Scale-RT，dSPACE„)
4. 结论
GlobalCrown Technology Co., Ltd.
Engine plant 执行机构模型 ECU 控制器
生成输入量
测试设备输出
步骤3 : 自动生成报告
测试数据 库 根据请求
测试报告 Html文档 表格, 图表…
GlobalCrown Technology Co., Ltd.
MIL-SIL-HIL 测试平台配置
MiL 模型在环：
Simulink
SiL 软件在环：
MiL / SiL / HiL测试平台
Test Weaver
GlobalCrown Technology Co., Ltd.
测试平台
智能测试工具TestWeaver可以覆盖几乎从初步设计到最终 系统集成阶段的测试工作，即TestWeaver与不同的 MiL/SiL/HiL平台都具有良好的接口 MiL 模型在环： Simulink
GlobalCrown Technology Co., Ltd.
Silver GUI (仿真, 调参及复现)
执行机构 的输入及 输出端口 列表
数据显示（仪 表显示，柱状 图，曲线… )
输入控制（按 钮，滑动块…）
控制器的 端口列表
GlobalCrown Technology Co., Ltd.
Silver的优势
• 可以集成控制器的控制代码而非模型 • 详细的物理模型 • 可暂停/单步运行仿真 …
GlobalCrown Technology Co., Ltd.
MIL-SIL-HIL 测试平台配置
MiL 模型在环：
Simulink
SiL 软件在环：
Silver
HiL 硬件在环：
GlobalCrown Technology Co., Ltd.
Silver是可和 Testweaver一起使 用的集成模块
DLL
定制GUI
Silver
Python
控制器模型 TestWeaver
Testweaver 通过 Python API 和 Python 测 试设备 控制Silver
GlobalCrown Technology Co., Ltd.
MIL-SIL-HIL 测试平台配置
GlobalCrown Technology Co., Ltd.
Simulink – TestWeaver 优势
• 完全兼容Simulink的模型 • 测试设备(Instruments)配置直观方便
• 可以使用Real Time Workshop导出成.exe文件，极大 地加快测试速度
• 在Simulink环境下复现任意测试用例
GlobalCrown Technology Co., Ltd.
智能测试技术的应用领域
测试控制器与被控对象（执行机构）形成的闭环系统性能
检查及验证控制器的控制策略 （控制器模型，控制器代码）
优化执行机构模型（以获得精确 的对象模型）
产品出现问题时的排障测试
GlobalCrown Technology Co., Ltd.
MIL-SIL-HIL 智能测试方案
Testweaver可以将实时脚 本程序通过TCP连接上传到 HIL系统
执行机构模型 SimulationX, Simulink...
API Ethernet
Python
HIL 系统
控制器
Testweaver 通过 Python API 和 Python 测试设备 控 制Silver
…
GlobalCrown Technology Co., Ltd.
雷达伺服系统
被测系统SUT
如果不在合理范围则…
系统输入
气流扰动 故障注入
报警 系统状态
伺服执行机构
参数变化
伺服控制器 或控制模型 Test Weaver
自动驱动系统到之前 未到达的状态，增大 测试覆盖率
探索系统表现不理想的测试场景 并进一步推动系统到报警状态
可以生成、储存并分析100.000次测试！
y
已测试 的状态 报警状态 离散状态空间 反馈式场景生成： 每一场景均取决于已生成 场景的记录
u
状态数 据库
Global Crown Technology Co., Ltd.
Testweaver : 测试生成树
ok
报警!
源
时间 t0
Global Crown Technology Co., Ltd.
测试/验证环节
GlobalCrown Technology Co., Ltd.
“系统”测试
控制器中的软件功能如今已经变得越来越复杂 复杂的软件意味着会有很多bugs 除了纯软件bugs还会有{被控对象 – 控制器}的“耦合”bugs 怎样有效的排除代码中此类bugs ? 怎样确保{被控对象,控制器}系统正常工作 ? 如何确认系统是可靠的 ? 怎样在复杂的嵌入式应用实例中排除此类bugs ? 不能单独测试控制软件，而是要对控制软件及被控对象构成的系统进行 测试。 要花费多大成本去做测试 ? 这又需要花掉多长时间 ? 需要智能测试软件，能够在设计流程中提供帮助
检验控制器内控制单元或控制模块的逻辑运算是否准确， 是检验控制器功能的基本且重要的测试。 系统测试： 对“控制器 + 被控对象”构成的闭环系统进行测试，通过 大量自动生成的测试用例，储存并可将测试结果分类显示， 从而对系统性能表现予以评估。
Global Crown Technology Co., Ltd.
MiL 模型在环：
Simulink
SiL 软件在环：
Silver
HiL 硬件在环：
GlobalCrown Technology Co., Ltd.
MIL-SIL-HIL 智能测试方案
控制器软件在产品代码生成后进行编译 (如通过Targetlink…)
仿真控制器在SIL环节会尽可能地 接近于真实控制器!
GlobalCrown Technology Co., Ltd.
MIL-SIL-HIL 智能测试方案
控制器为Simulink模型 在Silver的集成环境里对 Testweaver 测试设备及配置进行定义
执行机构模型 SimulationX, Simulink...
Silver为多种环境 模型建模软件如 SimulationX提供 接口
GlobalCrown Technology Co., Ltd.
雷达伺服系统
被测系统SUT 雷达的跟踪精度如何？ 跟踪速度如何？ 对伺服系统进行大量测 试，将测试覆盖率最大 化
是否有稳态误差？
控制算法是否需要改进？ … 伺服执行机构 伺服控制器 或控制模型
系统安全性，稳定性， 动态特性（跟踪特性）
测试报告集
GlobalCrown Technology Co., Ltd.
TestWeaver功能特色
测试用例中所有报警列表
统计柱状图
方便测试工程师进 行统计分析工作
GlobalCrown Technology Co., Ltd.
Replay – 测试用例复现
报警/警告 在Simulink中复现
制导系统的测试
测试目的：制导系统在不同工况下的命中率
测试平台中含有制导系统，伺服执行机构及靶机模型 靶机模型：飞行海拔，速度，方向，是否具有对抗措施
TestWeaver在测试时，相当于一个虚拟测试者的角色，自 由地控制靶机飞行（生成大量不同的测试工况），目的是 躲避制导系统，防止被锁定 通过测试结果可以评估制导系统的优劣，执行机构的响应 是否迅速，准确等
我们的目标: 混合仿真 – 测试过程
产品失效
生成上千次测试用例 生成覆盖率和测试报告
1 2
定位产品失效的原因 解释为何产生问题 3 4 测试并再次复现故障 修改设计 核实问题已得到解决 5
智能测试
Test Weaver
测试台 + 虚拟测试
验证其它元件仍正常工作
GlobalCrown Technology Co., Ltd.
Silver
HiL 硬件在环：
GlobalCrown Technology Co., Ltd.
MiL模型在环 : 智能测试方案
Simulink中搭建控制器及执行机构模型 在Simulink中Testweaver 的模块列表如下图
控制器模型
执行机构模型
为快速运行模型，需要 通过RTW生成可执行的 模型 进行智能测试，需要将 生成的可执行模型提供 给Testweaver
系统智能测试介绍
Test Weaver
GlobalCrown Technology Co., Ltd.
智能测试应用范围
控制软件循环 机械设计环 产品原型 功能说明
Test Weaver
试验台 可靠性测试
控制模型
被控对象模型 模型在环
实施 初次测试
校准
软件在环-硬件在环
C代码
软件在环 控制器
设计环节
GlobalCrown Technology Co., Ltd.
测试设备的配置
Simulink对话框设置，参数输入
通过Python接口，配置参数输入
GlobalCrown Technology Co., Ltd.
通过Real Time Workshop生成“.exe”模型
GlobalCrown Technology Co., Ltd.
我们的目标: 混合仿真 – 测试过程
产品失效
系统级别测试
1 2
定位产品失效的原因 解释为何产生问题
核实该产品失效的情况不会在 其它工作条件下出现
智能测试
3 4
测试并再次复现故障 修改设计 核实问题已得到解决 5 验证其它元件仍正常工作
Test Weaver
GlobalCrown Technology Co., Ltd.