非线性系统的支持向量机逆模型辨识及控制_曹克强

曹克强
摘 要： 针对非线性系统逆模型建立难的问题， 提出了基于回归型支持向量机 （ support vector regression， SVR） 的非线性系统逆模型辨识建模的方法， 在此基础上， 提出了基于 SVR 的非线性系统 逆模型控制的方法。仿真试验结果表明： 采用 SVR 建立的非线性系统逆模型具有很高的建模精度 和较强的泛化能力， 基于 SVR 的逆模型控制方法的控制效果好 ， 简单易行。 关 键 词： 回归型支持向量机（ SVR） ； 非线性系统； 逆模型辨识； 逆模型控制 中图分类号： TP18 文献标识码： A 8728 （ 2011 ） 05070804 文章编号： 1003-
n n * * max： W（ α* ， α） = － ε∑ （ αi + αi ） + ∑ yi （ αi － αi ） － i =1 i =1
（ 2）
考虑到允许拟合误差情况， 引入松弛变量 ξ i ≥0
1 2
n
n
n
∑ ∑ （ α* i i =1 j =1
－ αi ） （ α* － α j ） （ x i ·x j ） j
*
710
机械科学与技术
第 30 卷
近。而且在模型中不存在反馈， 且利用了系统的输 入输出数据作为辨识信息对支持向量机进行训练 ， 因此有利于保证辨识模型的收敛性和稳定性 。 基于 SVR 的非线性系统逆模型辨识结构如图 1 u 为非线性系统的辨识信号； y 为系 所示。图 1 中， ^ 为 SVR 的建模输出； TDL 表示延迟。 统的输出； u
（ 1）
则优化目标为 1 min ‖w ‖2 2 和 ξ ≥0 ， 则式（ 1 ） 变为 y i － w ·x i － b ≤ ε + ξ i w ·x i + b － y i ≤ ε + ξ * i 则式（ 2 ） 的优化目标变为
* i
因此， 根据 Wolf 对偶的定义， 在 KKT 条件下， 得到 Lagrange 的对偶形式为
u（ k） 是逆模型控制器 f1 基于 SVR 的逆模型控制器， 。 的预测输出 在逆模型控制算法的运行过程中， 逆 f 模型控制器 1 的实际输入输出可表示为 u（ k） = f1［ r（ k + 1 ） ， r（ k） ， …， r（ k － n + 1 ） ， u（ k － 1 ） ， …， u（ k － m） ］ 式中： r 为系统的参考输入。 被控对象的实际输出 y 可表示为 y（ k + 1 ） = f［ y（ k） ， …， y（ k － n + 1 ） ， u（ k） ， …， u（ k － m） ］ （ 15 ） 将上述推导归纳总结， 完整的基于 SVR 的逆模 型控制算法如下： （ 14 ）
n
SO） 系统 y（ k + 1） = f［ y（ k） ， …， y（ k － n） ， u（ k ） ， …， u（ k － m） ］ （ 12 ） （ 5） 式中： y 为系统输出； u 为系统输入； n 为系统阶次； m 为输入延迟； f 为一非线性函数。 如果式（ 12 ） 可逆， 则逆系统可表示为 u（ k） = g［ y（ k + 1） ， …， y（ k － n） ， u（ k － 1） ， …， u（ k － m） ］ （ 13 ） 在建模过程中， 可将 SVR 的结构选择如式（ 13 ） ， SVR 一致 利用 完成对上述非线性系统映射的逼
i =1
x l ） 可采用线性核、 B样 核函数 K （ x k ， 多项式核、 RBF 核等。 条核、 2 非线性系统的 SVR 逆模型辨识建模原理 对于非线性系统， 考虑离散单输入单输出 （ SI-
1 2 * ‖w ‖ + C ∑ （ ξ i + ξ i ） － 2 i =1 + ε + y i － w ·x i － b］ －
［4 ］
。支持向量机具有良好的泛化能力， 可
以应用于非线性系统逆模型的建立 。
第5 期
曹克强等： 非线性系统的支持向量机逆模型辨识及控制
709
n
应用支持向量机理论， 提出了一种基于回归型 （ support vector regression， SVR ） 的非线 支持向量机 并进行了 性系统逆模型辨识和逆模型控制的方法， 仿真试验研究。 1 SVR 算法 SVM 是 Vapnik 等人提出的一类新型机器学习 。 算法。SVR 是 SVM 在回归学习中的应用 对于 SVR， 首先考虑用线性回 归 函 数 f （ x ） = （ w ·x） + b 估计训练样本集 D = ｛ （ x i ， yi ） ｝ ， i = 1， 2， …， n， xi ∈ Rd ， y i ∈ R 。 假设所有训练数据在精度 ε 下无误差地用线性函数拟合， 即 － w ·x － b ≤ ε {yw· x +b －y ≤ε
i =1
（ 10 ）
式中： 右边的第一项为了提高学习的泛化能力 ， 第二 常数 C ＞ 0 对两者做出折中， 表示 项则为减少误差， 对超出误差 ε 的样本的惩罚程度。根据 ε 不敏感损 失函数定义知， 当 f（ x i ） = （ w · x i ） + b 与 y i 的差别 不大于 ε 时， 不计误差， 即为零， 当大于 ε 时， 误差为 | f（ x i ） － y i | － ε， 也可以看出此时得到的最优化问题 也具有稀疏特性。 以上的数学问题是一个凸二次规划问题， 为了 求解， 构造 Lagrange 函数
（ 8）
{
i = 1， 2， …， n （ 3）
s． t．
（ αi ∑ i =1
－ α* i ） = 0， （ 9）
* 0 ≤ αi ， i = 1， 2， …， n αi ≤ C，
min 1 ‖w ‖2 + C ∑ （ ξ i + ξ * i ） 2 i =1
{
n
}
得到的回归函数为 （ 4）
n
f（ x） = （ w ·x） + b=∑ （ α * － α i ） （ x i ·x ） + b i
2011 年 第 30 卷
5月 第5 期
机械科学与技术 Mechanical Science and Technology for Aerospace Engineering
May Vol． 30
2011 No． 5
非线性系统的支持向量机逆模型辨识及控制
曹克强， 胡良谋， 李小刚， 苏新兵
（ 空军工程大学工程学院， 西安 710038 ）
* L（ w， ξi ， ξi ） = n * * αi ［ ξi ∑ i =1 n
对于非线性问题， 可通过非线性变换转化为某 即用核函数 K （ x i ·x j ） 替 个高维空间中的线性问题， 代原来的内积运算 （ x i · x j ） ， 就可以实现非线性函 数拟合
n
f（ x） = w T （ x） + b=∑ （ α * － α i ） K （ x i ·x） + b （ 11 ） i
n n i =1 i =1
（ 6）
* wk.baidu.com * L（ w， ξi ， ξi ） = － ε∑ （ αi + αi ） + ∑ yi （ αi － αi ） －
1 2
n
n
（ α* ∑ ∑ i i =1 j =1
－ αi ） （ α* － α j ） （ x i ·x j ） j
（ 7）
i = 1， 2， …， n
图1
基于 SVR 的非线性系统逆模型辨识建模结构
Abstract： Aiming at the difficult problem of system identification modeling for nonlinear system，the method of inverse model identification for nonlinear systems based on support vector regression（ SVR） is studied in detail． Then the method of inverse model control for the nonlinear system based on SVR is put forward． The simulation results show that the inverse model of SVR has high modeling precision and strong generalization． The control effect of inverse model control based on SVR is good and is very easy to be realized． Key words： support vector regression； nonlinear system； inverse model identification； inverse model control 实际的机械系统大多是非线性的， 因此研究非 线性系统的控制具有重要的实际意义 。逆模型控制 有效的设计控制器的方法， 可以广泛应 是一种简单、 用于机械系统的控制器设计。逆模型控制的基本思 想就是求解对象逆系统方程， 然后用它进行补偿， 使 复合系统在大范围内成为线性或接近线性的系统 ， 从而可以采用线性系统的理论设计出实用的大范围 ［1 ～ 3 ］ 。逆模型控制的关键在于怎样尽 稳定的控制器 可能准确地构造被控对象的逆模型。 另外， 如果系 该方法将难以奏效。 统的逆不存在时， 针对逆系统的建模难题， 目前一般采用系统辨 识的方法完成， 比如采用神经网络理论和方法。 神
Inverse Model Identificaton and Control of Support Vector Machines for a Nonlinear System
Cao Keqiang ，Hu Liangmou，Li Xiaogang ，Su Xinbing
（ The Engineering Institute，Air Force Engineering University，Xi' an 710038 ）
α i［ ξi ∑ i =1
n
+ ε － y i + （ w ·x i + b） ］ －
* i
（ξ ∑ i =1
* i
γ
+ ξi γi ）
* * i = 1， 2， …， n。 式中： α i ， α i ≥0 ， γi ， γ i ≥0 ，
b， 求解上式即对 w ， ξ i 和 ξ i 求导数， 有
0404 收稿日期： 2010基金项目： 中国博士后科学基金项目（ 20090460116 ） 和中国博士后 科学基金特别（ 201003788 ） 资助 作者简介： 曹克强（ 1960 － ） ， 教授， 硕士， 研究方向为飞机液压传动 caokeqiang@ 163． com 与控制，
比较适 经网络具有强大的逼近非线性映射的能力 ， 应于那些具有不确定性或高度非线性的控制对象 ， 然而， 利用神经网络建模还存在许多待解决的问题 ， 如存在网络结构选择的难题、 过学习以及局部极值 等问题。这是由于神经网络是建立在传统机器学习 理论的基础上的， 而传统机器学习理论与方法都是 在样本数目足够多的前提下进行研究的， 所提出的 各种方法只有在样本数趋于无穷大时其性能才有理 论上的保证。而在实际应用中， 样本数据的获得是 相当困难的， 样本数目通常都是有限的， 这时， 传统 的机器学习方法很难取得理想的效果 。 SVM ） 是 支持向 量 机 （ support vector machines， 近年来兴起的一种基于统计学习理论的新型机器学 习算法， 以结构风险最小化为原则来自动学习问题 模型的结构， 能够较好地解决小样本、 非线性和高维 数的问题
i i i i ［1 ～ 6 ］
L = 0 → w = ∑ （ α * － αi ） xi i i =1 w n L = 0 → ∑ （ α i － α * i ） = 0 b i =1 L = 0 → C － α * － γ * = 0 i i ξ * i L = 0 → C － αi － γi = 0 ξ i 将式（ 6 ） 代入式（ 5 ） ， 有