神经网络估计模型误差的预测滤波算法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
_ ‘ 算法 + 模拟退火算法 + 等! ?
3 & $ , I ’ (. J & I ’ ( K & $ ( 0 ! & L ( E .1G 3 E. H E E E 其 中 下 标 E表 示 第 ’ 时 刻 为 灵 敏 度 矩 阵 , K & $ ( , E E 它们的定义 J & I ’ (为一对角阵 , H & $ , I ’ (为列向量 , E 详见文献 + M ! 利用式 & 在’ L ( E 时刻对 ’ E . 1 时刻的输出进行一 步预测 , 有 C C C C 3 & $ , I ’ (. J & I ’ ( K & $ ( 0 ! & N ( E .1) 3 E. H E E E 定义如下指标函数 7 C R Q1 C O)1 P D + 3 -@ + 3 -. E .1Q 3 E .1 E .1Q 3 E .1
用神经网络估计模型误差的预测滤波算法
李 骥 C张洪钺
北京航空航天大学 自动化科学与电气工程学院 C北京 ; > " " " @ A ? 摘 要 :针 对 时 不 变 非 线 性 系 统 C 提出一种用神经网络进行模型误差估 计 的 预 测 滤 波 算 法& 该算法用寻优的方法离
线获得与当前状态和下一步输出测量相对应的模型误差估值 C 并作为样本训练神经网络 D 实际滤波中 C 用训练好 的 神 经网络进行模型误差估计& 该方法与原预测滤波算法相比没有动态过程C 不会因为滤波器初始误差太大而振荡或发 散C 且稳态精度与计算步长无关 & 通过对一个二阶非线性系统的仿真验证了神经 < 预测滤波器的优越性 & 关键词 :预测滤波 D最优估计 D非线性系统 D神经网络 中图分类号 :E ! G ; & H ! F 文献标识码 :I
控
制
与
决
策
第 D Y卷
法取代 泰勒展 开 方 法 , 但必须克服搜索方法效率低 以满足实时滤波的需要 ! 的缺点 ,
ห้องสมุดไป่ตู้
" 预测滤波算法及性能分析
" ! # 预测滤波器算法简述 设一个非线性系统方程为 % $ & ’ () * + $ & ’ ( , ’ -. / + $ & ’ ( , ’ 0 & ’ ( , & 1 2 ( 3 & ’ () 4 + $ & ’ ( , ’ -. 5 & ’ ( ! & 1 6 ( : : 其中 7 是模型向量 是状态向量 *8 9 ; $ & ’ (8 9 ;
作者简介 :李骥 > 男> 回? 湖北武汉人 C 博士生 C 从事非线性滤波 . 信息融合研究 D 张洪钺 > 男C 江苏 ; = G @ /? C C ; = A H /? C
万方数据 苏州人 C 教授 C 博士生导师 C 从事滤波 . 故障诊断 . 容错技术和组合导航等研究 &
1 ‘ N 样步长的增大而降低 !
第! "卷 第 !期
控
制
与
决
策
! " " 5年 !月
#$ % & ! " ’$ & ! 7 8 9 &! " " 5 ( ) * + , ) -. * / 01 2 3 4 3 ) * 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 文章编号 :; " " ; < " = ! " > ! " " 5 ? " ! < " ; @ A < " B
+ 引
言
量方 程泰勒 展开 的 方 法 在 非 线 性 较 强 . 状态初始偏 差较大以及采样频率较低的情况下存在较大的误 差C 容易引起滤波的振荡或者发散 C 从而限制了滤波 器的使用 & 本文 针对时 不 变 非 线 性 系 统 C 运用离线寻优方 法确 定神经 网络 的 训 练 样 本 C 以训练好的神经网络 估计模型误差 C 避免了泰勒展开的误差 C 改善了滤波 这种方 器在大 状态 估计 误 差 条 件 下 的 滤 波 收 敛 性 & 法可称为神经 < 预测滤波算法 & 仿真结果说明在大初 始估计 误差 条件 下 C 该算法比预测滤波算法具有更 并 且滤 波精度 不 会 随 采 好 的 动态过程和 稳态 精度 C
& _ 6 (
: =< 是模型误差 /8 9 0 & ’ (8 9 是模型误差向量 ; > > 扰 动矩阵 ; 是测量向量 ; 是测量输 4 89 3 & ’ ( 89 >= > 是均值为零 ? 方差为 @8 9 的高斯 出向量 ; 5 & ’ ( 白噪声 ! 系统状态估计和输出估计的关系如下 7
C C C $& ’ () * + $ & ’ ( , ’ -. / + $ & ’ ( , ’ 0 & ’ ( , & D 2 ( C C 3 & ’ () 4 + $ & ’ ( , ’ ! & D 6 ( 将’ E . 1时刻的测量输出向量 3 E . 1在 ’ E时刻泰勒 把式 & 并 忽略高 阶项 , 利 用李 代 展开 , 1 2 (代 入其 中 ,
B 曼 滤 波, 等 其 他 非 线 性 滤 波 方 法 相 比C 预测滤波器
能 够 在 线估计出 未 知 模 型 误 差 C 并且克服了将模型 误差和系统噪声假设为高斯白噪声的局限 & 模型误差估 计 是 预 测 滤 波 算 法 的 关 键 C 基于测
收稿日期 :! " " B < " A < ! H D修回日期 :! " " B < " G < ; = & 基金项目 :国家自然科学基金重点项目 > H " ! A B " ; " ? &
J K L M N O P N Q LR N S P L K TU N P V WX M L SL K K X KL T P N WY P N X Z T[ T N Z \Z L [ K Y S Z L P U X K ] T
Ca < ^ _‘ 3 bcdeb) * f g h 1
>i Cw Cw " " " @ A C} & j k $ $ %$ l Im n $ op n q $ r i j q 8 r j 8p r s t % 8 j n u q j p %t r v q r 8 8 u q r v 8 q k p r v xr q y 8 u z q n { 8 q | q r v ; k q r p :! $z Ct < :| & } $ u u 8 z ~ $ r s 8 r n " # q op q % 8 u 8 o< % 8 8 $ k m j $ o? :I r < &I r % & T P K Y O P 8 ’p % v $ u q n k o$ l ~ u 8 s q j n q y 8l q % n 8 u zl $ u n q o8 q r y p u q p 9 % 8r $ r % q r 8 p u z { z n 8 ozq z~ u $ ~ $ z 8 s 8 m u p % r 8 n ’$ u ( C’k < C q zm z 8 sn $8 z n q op n 8n k 8o$ s 8 % 8 u u $ u q j kq zn u p q r 8 s$ l l % q r 89 {pv q y 8 rs p n pz 8 nj $ o~ $ z 8 s$ lz n p n 88 z n q op n q $ r z Cn &xr ( 8n k 8$ u q v q r p %~ u 8 s q j n q y 8l q % n 8 u k q zp % v $ u q n k os $ 8 zr $ nk p y 8s { r p oq j $ m n ~ m n zp r so$ s 8 %8 u u $ u8 z n q op n q $ r z % q &E ~ u $ j 8 z z 8 zp r sq zr $ n y q 9 u p n q r v$ us q y 8 u v 8 r n ’k q % 8q r q n q p % 8 z n q op n q $ r8 u u $ u zp u 89 q v k 8~ u 8 j q z q $ rq zk q v kp r ss $ 8 zr $ n &I z < s 8 j u 8 p z 8’q n kn k 8q r j u 8 p z 8$ l j p % j m % p n q $ rz n 8 ~ z q om % p n q $ r$ rpn ’$ s q o8 r z q $ rz { z n 8 oz k $ ’zn k 8p s y p r n p v 8$ l n k 8 < & r 8 m u $ ~ u 8 s q j n q y 8l q % n 8 u :~ D$ Dr Dr )L *U X K M T u 8 s q j n q y 8l q % n 8 u z ~ n q op % 8 z n q op n q $ r $ r % q r 8 p uz { z n 8 oz 8 m u p % r 8 n ’$ u ( z
F 数知识 + 得到 ,
B A
C C C $& ’ () * + $ & ’ ( -. / + $ & ’ ( 0 & ’ ( , & ‘ 2 ( C C 3 & ’ () 4 + a & ’ ( ! & ‘ 6 ( 神经 b 预 测 滤 波 算 法 中, 神经网络的作用就是以状 C 态 估计 $ E 和下 一 时 刻 的 测 量 输 出 3 E .1 作 为 网 络 输 C 入, 输出对应的模型误差估计 0 ! E ^ ! # 训练样本的选取 C和 C 是非线性关系 所以 根据式 & ‘ (可知 0 3 , E E .1 C 应以 式 & 对输入样本& F (为 指 标 函 数 , $ , 3 (用 非 E E .1 C 线性寻优的方法求出对应的输出样本 0 ! E 因为 系统 方程 & 所以 训练 样本可 _ (是 已知 的 , 离线地在系统的状态和输出空间 以脱离 实际系 统 , 需要做的仅仅是用某一种非线性寻优 中任 意选取 , 方法 计算 对应的 模 型 误 差 ! 需要说明的是由于函数 C C C 精确的解析形式通常难以得到 使用 & $ , 0 ( T3 , E E E .1 基于导数 的优 化 算 法 会 遇 到 相 当 的 困 难 ! 这里推荐 使用 非导 数的优 化 算 法 , 例如现在广泛应用的遗传
R 1 P D 0 W , ES0 E T UV < =< 式中 S 8 9 是加权矩阵 !
& F (
所选择的优化算法的精度直接决定了样本的 精度 , 因此必须选择精度高的寻优算法 ! 同时为了保 证神 经网 络的拟 合 精 度 和 泛 化 能 力 , 应根据先验知 识确定状态 ? 输出以及模型误差可能的变化范围 , 构 成输出 b 状态 b 模型误差空间的某个子集 ! 样本则应 以足够的密度分布于该子集中 ! ^ ! " 神经网络训练 + g 由于径向基函数网络 & 具有较强的函 c d e f( 数 近 似 能 力, 并 且 相 对 hi j P d j网 络 来 说 训 练 容 对于大样本训练时间较短 , 所以本文选用 c 易, d e f 网络来进行函数近似 ! C 将遍布由& $ , 3 (所 有 可 能 取 值 构 成 的 子 空 E E .1 间的 点作为 样本 输 入 , 以用优化算法求得的对应的 C 模型 误 差 估 计 0 离线训练神经网 E 作 为 样 本 输 出, 络, 从 而使 神经 网 络 以 一 定 精 度 近 似 满 足 指 标 函 数 C C & F (的函数关系 & $ , 3 (T 0 ! E E .1 E 滤波器工作流程 ^ ! ^ 神 经 网 络 训 练 完 成 后, 用于在线模型误差估 计! 新的神经 b 预测滤波器的计算步骤如下 7 C和 1 (以 ’ ’ E时刻的状态估计 $ E E . 1时刻的输出测
<
^ 神经 Q 预测滤波算法
为简单起见 , 可将研究目标限 定为 时不变 非线 性系统 % $ & ’ () * + $ & ’ ( -. / + $ & ’ ( 0 & ’ ( , 3 & ’ () 4 + $ & ’ ( -. 5 & ’ ( ! 对应的 , 用于估计的系统方程为
B A
& _ 2 (
预测滤波方法是一种基于非线性模型的滤波方 法C 其思想来源于 ! m从系统控制的观点提出的预测
; 跟踪 方案 , 并由 } 进一 步 发 展 成 为 具 有 随 C u p z z q s q z ! C A 机测量过程的滤波估计器 , 预测滤波通过比较测 &
量 输出与预测输 出 来 估 计 对 应 的 模 型 误 差 C 从而修 正滤波器状态 C 实现对真实状态的估计 & 与扩展卡尔
3 & $ , I ’ (. J & I ’ ( K & $ ( 0 ! & L ( E .1G 3 E. H E E E 其 中 下 标 E表 示 第 ’ 时 刻 为 灵 敏 度 矩 阵 , K & $ ( , E E 它们的定义 J & I ’ (为一对角阵 , H & $ , I ’ (为列向量 , E 详见文献 + M ! 利用式 & 在’ L ( E 时刻对 ’ E . 1 时刻的输出进行一 步预测 , 有 C C C C 3 & $ , I ’ (. J & I ’ ( K & $ ( 0 ! & N ( E .1) 3 E. H E E E 定义如下指标函数 7 C R Q1 C O)1 P D + 3 -@ + 3 -. E .1Q 3 E .1 E .1Q 3 E .1
用神经网络估计模型误差的预测滤波算法
李 骥 C张洪钺
北京航空航天大学 自动化科学与电气工程学院 C北京 ; > " " " @ A ? 摘 要 :针 对 时 不 变 非 线 性 系 统 C 提出一种用神经网络进行模型误差估 计 的 预 测 滤 波 算 法& 该算法用寻优的方法离
线获得与当前状态和下一步输出测量相对应的模型误差估值 C 并作为样本训练神经网络 D 实际滤波中 C 用训练好 的 神 经网络进行模型误差估计& 该方法与原预测滤波算法相比没有动态过程C 不会因为滤波器初始误差太大而振荡或发 散C 且稳态精度与计算步长无关 & 通过对一个二阶非线性系统的仿真验证了神经 < 预测滤波器的优越性 & 关键词 :预测滤波 D最优估计 D非线性系统 D神经网络 中图分类号 :E ! G ; & H ! F 文献标识码 :I
控
制
与
决
策
第 D Y卷
法取代 泰勒展 开 方 法 , 但必须克服搜索方法效率低 以满足实时滤波的需要 ! 的缺点 ,
ห้องสมุดไป่ตู้
" 预测滤波算法及性能分析
" ! # 预测滤波器算法简述 设一个非线性系统方程为 % $ & ’ () * + $ & ’ ( , ’ -. / + $ & ’ ( , ’ 0 & ’ ( , & 1 2 ( 3 & ’ () 4 + $ & ’ ( , ’ -. 5 & ’ ( ! & 1 6 ( : : 其中 7 是模型向量 是状态向量 *8 9 ; $ & ’ (8 9 ;
作者简介 :李骥 > 男> 回? 湖北武汉人 C 博士生 C 从事非线性滤波 . 信息融合研究 D 张洪钺 > 男C 江苏 ; = G @ /? C C ; = A H /? C
万方数据 苏州人 C 教授 C 博士生导师 C 从事滤波 . 故障诊断 . 容错技术和组合导航等研究 &
1 ‘ N 样步长的增大而降低 !
第! "卷 第 !期
控
制
与
决
策
! " " 5年 !月
#$ % & ! " ’$ & ! 7 8 9 &! " " 5 ( ) * + , ) -. * / 01 2 3 4 3 ) * 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 文章编号 :; " " ; < " = ! " > ! " " 5 ? " ! < " ; @ A < " B
+ 引
言
量方 程泰勒 展开 的 方 法 在 非 线 性 较 强 . 状态初始偏 差较大以及采样频率较低的情况下存在较大的误 差C 容易引起滤波的振荡或者发散 C 从而限制了滤波 器的使用 & 本文 针对时 不 变 非 线 性 系 统 C 运用离线寻优方 法确 定神经 网络 的 训 练 样 本 C 以训练好的神经网络 估计模型误差 C 避免了泰勒展开的误差 C 改善了滤波 这种方 器在大 状态 估计 误 差 条 件 下 的 滤 波 收 敛 性 & 法可称为神经 < 预测滤波算法 & 仿真结果说明在大初 始估计 误差 条件 下 C 该算法比预测滤波算法具有更 并 且滤 波精度 不 会 随 采 好 的 动态过程和 稳态 精度 C
& _ 6 (
: =< 是模型误差 /8 9 0 & ’ (8 9 是模型误差向量 ; > > 扰 动矩阵 ; 是测量向量 ; 是测量输 4 89 3 & ’ ( 89 >= > 是均值为零 ? 方差为 @8 9 的高斯 出向量 ; 5 & ’ ( 白噪声 ! 系统状态估计和输出估计的关系如下 7
C C C $& ’ () * + $ & ’ ( , ’ -. / + $ & ’ ( , ’ 0 & ’ ( , & D 2 ( C C 3 & ’ () 4 + $ & ’ ( , ’ ! & D 6 ( 将’ E . 1时刻的测量输出向量 3 E . 1在 ’ E时刻泰勒 把式 & 并 忽略高 阶项 , 利 用李 代 展开 , 1 2 (代 入其 中 ,
B 曼 滤 波, 等 其 他 非 线 性 滤 波 方 法 相 比C 预测滤波器
能 够 在 线估计出 未 知 模 型 误 差 C 并且克服了将模型 误差和系统噪声假设为高斯白噪声的局限 & 模型误差估 计 是 预 测 滤 波 算 法 的 关 键 C 基于测
收稿日期 :! " " B < " A < ! H D修回日期 :! " " B < " G < ; = & 基金项目 :国家自然科学基金重点项目 > H " ! A B " ; " ? &
J K L M N O P N Q LR N S P L K TU N P V WX M L SL K K X KL T P N WY P N X Z T[ T N Z \Z L [ K Y S Z L P U X K ] T
Ca < ^ _‘ 3 bcdeb) * f g h 1
>i Cw Cw " " " @ A C} & j k $ $ %$ l Im n $ op n q $ r i j q 8 r j 8p r s t % 8 j n u q j p %t r v q r 8 8 u q r v 8 q k p r v xr q y 8 u z q n { 8 q | q r v ; k q r p :! $z Ct < :| & } $ u u 8 z ~ $ r s 8 r n " # q op q % 8 u 8 o< % 8 8 $ k m j $ o? :I r < &I r % & T P K Y O P 8 ’p % v $ u q n k o$ l ~ u 8 s q j n q y 8l q % n 8 u zl $ u n q o8 q r y p u q p 9 % 8r $ r % q r 8 p u z { z n 8 ozq z~ u $ ~ $ z 8 s 8 m u p % r 8 n ’$ u ( C’k < C q zm z 8 sn $8 z n q op n 8n k 8o$ s 8 % 8 u u $ u q j kq zn u p q r 8 s$ l l % q r 89 {pv q y 8 rs p n pz 8 nj $ o~ $ z 8 s$ lz n p n 88 z n q op n q $ r z Cn &xr ( 8n k 8$ u q v q r p %~ u 8 s q j n q y 8l q % n 8 u k q zp % v $ u q n k os $ 8 zr $ nk p y 8s { r p oq j $ m n ~ m n zp r so$ s 8 %8 u u $ u8 z n q op n q $ r z % q &E ~ u $ j 8 z z 8 zp r sq zr $ n y q 9 u p n q r v$ us q y 8 u v 8 r n ’k q % 8q r q n q p % 8 z n q op n q $ r8 u u $ u zp u 89 q v k 8~ u 8 j q z q $ rq zk q v kp r ss $ 8 zr $ n &I z < s 8 j u 8 p z 8’q n kn k 8q r j u 8 p z 8$ l j p % j m % p n q $ rz n 8 ~ z q om % p n q $ r$ rpn ’$ s q o8 r z q $ rz { z n 8 oz k $ ’zn k 8p s y p r n p v 8$ l n k 8 < & r 8 m u $ ~ u 8 s q j n q y 8l q % n 8 u :~ D$ Dr Dr )L *U X K M T u 8 s q j n q y 8l q % n 8 u z ~ n q op % 8 z n q op n q $ r $ r % q r 8 p uz { z n 8 oz 8 m u p % r 8 n ’$ u ( z
F 数知识 + 得到 ,
B A
C C C $& ’ () * + $ & ’ ( -. / + $ & ’ ( 0 & ’ ( , & ‘ 2 ( C C 3 & ’ () 4 + a & ’ ( ! & ‘ 6 ( 神经 b 预 测 滤 波 算 法 中, 神经网络的作用就是以状 C 态 估计 $ E 和下 一 时 刻 的 测 量 输 出 3 E .1 作 为 网 络 输 C 入, 输出对应的模型误差估计 0 ! E ^ ! # 训练样本的选取 C和 C 是非线性关系 所以 根据式 & ‘ (可知 0 3 , E E .1 C 应以 式 & 对输入样本& F (为 指 标 函 数 , $ , 3 (用 非 E E .1 C 线性寻优的方法求出对应的输出样本 0 ! E 因为 系统 方程 & 所以 训练 样本可 _ (是 已知 的 , 离线地在系统的状态和输出空间 以脱离 实际系 统 , 需要做的仅仅是用某一种非线性寻优 中任 意选取 , 方法 计算 对应的 模 型 误 差 ! 需要说明的是由于函数 C C C 精确的解析形式通常难以得到 使用 & $ , 0 ( T3 , E E E .1 基于导数 的优 化 算 法 会 遇 到 相 当 的 困 难 ! 这里推荐 使用 非导 数的优 化 算 法 , 例如现在广泛应用的遗传
R 1 P D 0 W , ES0 E T UV < =< 式中 S 8 9 是加权矩阵 !
& F (
所选择的优化算法的精度直接决定了样本的 精度 , 因此必须选择精度高的寻优算法 ! 同时为了保 证神 经网 络的拟 合 精 度 和 泛 化 能 力 , 应根据先验知 识确定状态 ? 输出以及模型误差可能的变化范围 , 构 成输出 b 状态 b 模型误差空间的某个子集 ! 样本则应 以足够的密度分布于该子集中 ! ^ ! " 神经网络训练 + g 由于径向基函数网络 & 具有较强的函 c d e f( 数 近 似 能 力, 并 且 相 对 hi j P d j网 络 来 说 训 练 容 对于大样本训练时间较短 , 所以本文选用 c 易, d e f 网络来进行函数近似 ! C 将遍布由& $ , 3 (所 有 可 能 取 值 构 成 的 子 空 E E .1 间的 点作为 样本 输 入 , 以用优化算法求得的对应的 C 模型 误 差 估 计 0 离线训练神经网 E 作 为 样 本 输 出, 络, 从 而使 神经 网 络 以 一 定 精 度 近 似 满 足 指 标 函 数 C C & F (的函数关系 & $ , 3 (T 0 ! E E .1 E 滤波器工作流程 ^ ! ^ 神 经 网 络 训 练 完 成 后, 用于在线模型误差估 计! 新的神经 b 预测滤波器的计算步骤如下 7 C和 1 (以 ’ ’ E时刻的状态估计 $ E E . 1时刻的输出测
<
^ 神经 Q 预测滤波算法
为简单起见 , 可将研究目标限 定为 时不变 非线 性系统 % $ & ’ () * + $ & ’ ( -. / + $ & ’ ( 0 & ’ ( , 3 & ’ () 4 + $ & ’ ( -. 5 & ’ ( ! 对应的 , 用于估计的系统方程为
B A
& _ 2 (
预测滤波方法是一种基于非线性模型的滤波方 法C 其思想来源于 ! m从系统控制的观点提出的预测
; 跟踪 方案 , 并由 } 进一 步 发 展 成 为 具 有 随 C u p z z q s q z ! C A 机测量过程的滤波估计器 , 预测滤波通过比较测 &
量 输出与预测输 出 来 估 计 对 应 的 模 型 误 差 C 从而修 正滤波器状态 C 实现对真实状态的估计 & 与扩展卡尔