建模与仿真的校核、验证与确认

基于动态输出数据验证的TIC方法
基于动态输出数据验证的TIC方法
动态数据（与时间有关）可用时间序列表示， 比较两个时间序列（分别来自实际系统和模型）的方法有： 标量指标法（TIC方法）、时序模型比较法、频域比较法等：
(1) 不等式系数方法（Theil Inequality Coefficient）； (2) 时序模型比较方法； (3) 谱分析比较法。
表示两个时间序列完全
不一样。μ 越接近于0，则表示两个序列越一致，而越接近于1，则两个序列越不一
致。
6.2.2 计算机程序校核
常用的有效校核方法是分块测试法： 从局部到整体校核计算机仿真程序。
（参阅p75 表6.1)
本章内容
6.1 V V A技术概述 6.2 模型与仿真的校核 6.3 模型与仿真的验证 6.4 仿真模型的确认
6.3 模型与仿真的验证（validation）
检验模型及其仿真结果是否准确的思路： 比较模型计算结果与实际系统相应实验数据的偏差。
数理统计方法
参数估计方法：最小二乘估计、极大似然估计、Bayes 方法、区间估计（置信区间方法）、点估计方法等。
参数假设检验方法：t－检验、F－检验、2－检验等。 非参数假设检验方法：秩和检验、符号检验、序贯检验
等，假设检验方法适于处理大样本情况下的静态性能数 据。
序列分析方法
将模型仿真和实际系统输出的（时间）序列分别 建模（同一类模型）； 如果两个模型在要求的置信度一致，则仿真模型 有效。
频域分析方法（谱分析方法）
计算实际系统输出与模型系统输出序列在频域中的
功率谱 f 1 和 f 2 ，若在每个频率点100(1- )%置信
区间都包括
f 1/ f 2 1
则模型与仿真有效 （参阅教科书6.3.1，p77）
动态关联方法
例如：TIC不等式系数方法、 回归分析方法、 灰色关联度方法等
适用于：多维输出数据，对数据没有独立分布 的要求。
影响建模与仿真置信度的可能因素
建模的原理、方法不正确。 建模过程中忽略了一些因素，而这些忽略在一定程度上具有危险性。 模型初始数据选取的失误：对于某些系统，模型的初始状态对仿真结果 有直接影响，初始数据的微小偏差可能会引起仿真结果大的“扰动”。 模型集合选取或参数选取有误。 在计算机仿真过程中，仿真模型的置信度会受到计算机字长、编码错误 和算法等方面的影响。 其他因素（请查阅相关文献资料）。
在实际系统实验数据无法获取的情况下：
➢ 如果实际系统的准确结果无法获得或只能部分获取，可以用参考 系统的数据取代实际系统数据进行近似的验证。 ➢ 如果参考系统数据也无法得到，只能通过主观评价决定模型是否 可用，称为主观有效性评价。
说明：
模型是否有效是相对于一定的应用目的。 同一模型在某一试验条件下有效，在另一试验条件下 可能无效。 评估时对模型和实际系统（参考系统）所进行的试验 条件（运行条件）一致。
V V A 技术的应用目的：保证仿真置信度，降低由于 系统模型和仿真的置信度水平低所引起的风险。
Leabharlann Baidu
学习分析仿真结果置信度的思路。
6.1 V V A 技术
6.1.1 V V A 基本概念
校核： Verification 证实模型从一种形式转换成另一种形式具有足够的精确度； 验证： Validation 从预期应用的角度来确定模型和仿真表达实际系统的准确程度， 根据建模和仿真的目的，考察模型是否准确地描述了实际系统； 确认： Accreditation 相信并接受某模型及其仿真的权威性决定， 表明相关的决策部门 确认该模型及其仿真适用于某一特定目的。
THEIL不等式系数法
标量指标法是一类定性分析方法，包括THEIL不等式系数法、灰色关联度法， 基本思想：通过两个序列的误差计算，可以给出某一性能指标来度量两个时间序列 一致性的程度，例如对单输出的时间序列，THEIL不等式系数定义为
当
对于所有的
成立时，
表示两个时间序列完全一样；
而当
对于所有的
成立时，
请同学们思考并举例说明以上因素对建模仿真置信度的影响
置信度评估
理论模型有效性 仿真模型、仿真软件的校核与验证 运行有效性 数据有效性 内部安全性验证
6.1.2 VVA 工作模式与过程
图6.1 VVA工作模式示意图
本章内容
6.1 V V A技术概述 6.2 模型与仿真的校核 6.3 模型与仿真的验证 6.4 仿真模型的确认
仿真方法及算法误差
例如： 数值积分法的算法引起的截断误差。 在离散相似法中：采样、重构等因素产生误差。
仿真硬件误差
计算机数字仿真的硬件主要指计算机，所涉及的误差主要 是由于计算机字长有限而引起的舍入误差。 计算机-实物仿真系统包括仿真计算机、物理仿真设备、实 物以及各部分之间的接口装置，系统可能存在的误差：时间 不匹配误差、物理仿真设备和接口误差等。
常用的模型验证方法 （ 课程扩展内容，自学 ）
主观确认法 数理统计方法 （时间）序列分析方法 频域分析方法（谱分析方法） 时频域分析法 动态关联方法
主观确认法
例如：直观有效性评价方法、事件有效性检验方法、预 测有效性方法、曲线对比法、内部有效性评价等。 优点：直观、简单。 缺点：分析结果受到分析人员主观意志的影响。
6.2 模型与仿真的校核（verification)
校核的主要内容：
1. 分析在建模和仿真中的各种误差，及其对仿真 结果精确性的影响。
2. 对仿真程序的校核。
6.2.1 系统仿真误差源的校核
系统仿真误差源主要包括： 仿真模型误差 仿真方法及算法误差 仿真硬件误差
仿真模型误差
建立数学模型时产生的误差 从数学模型转换到仿真模型过程中的各种误差 被用于建模的数据的测试及采样误差等
本章内容
6.1 V V A技术概述 6.2 模型与仿真的校核 6.3 模型与仿真的验证 6.4 仿真模型的确认
本章学习重点
建模仿真的误差及误差源分析
置信度水平。
建模与仿真的校核、验证与确认技术基本概念 （Verification，Validation and Accreditation，V V A）