离散时间的最优控制

J i = x ( N )Q0 x ( N ) + ∑ xT (k )Qx (k ) + uT (k ) Ru(k )
T k =i
N −1
= x T ( N )Q0 x ( N ) + x T (i )Qx (i ) + uT (i ) Ru(i ) +
k = i +1
∑
N −1
x T ( k )Qx (k ) + uT (k ) Ru(k )
J = x ( N )Q0 x ( N ) + ∑ x T ( k )Qx ( k ) + uT ( k ) Ru ( k )
T
线性二次型最优控制的任务是寻求最优控制序列 u(k ) ），在把初始状态 转移到x(N) （k＝0，1，…，N－1），在把初始状态 ＝ ， ， ， － ），在把初始状态x(0) 转移到 的过程中，使性能指标函数最小。 的过程中，使性能指标函数最小。
满足上式的最优控制一定存在且是唯一的。 满足上式的最优控制一定存在且是唯一的。
利用以上公式可以逆向递推计算出S (k)和L (k)。
计算机控制系统的最优设计， 计算机控制系统的最优设计， 最经常碰到的是离散定常系统 (2)无限时间最优调节器设计 无限时间最优调节器设计 终端时间无限的最优调节器问 →∞时 设被控对象的状态方程为 题。当终端时间N→∞时，矩 将趋于某个常数， 阵S (k) 将趋于某个常数，因此 x (k + 1) = Ax (k ) + Bu(k ) 可得到定常的最优反馈增益矩 阵L，便于工程实现。 便于工程实现。 x (0) = x
T
+Q + LT ( N − 1) RL( N − 1)
依次， 依次，可求的 u( N − 2) 、u( N − 3) 、…、 u(0) 。 、
公式归纳： 计算 u(k )公式归纳：
u ( k ) = − L( k ) x ( k )
L(k ) = R + B S (k + 1) B BT S (k + 1) A
= J i +1 + x T (i )Qx (i ) + uT (i ) Ru(i )
其中： ＝ － 、 － 、 、 。 其中：i＝N－1、N－2、…、0。
下面从最末一级往前逐级求解最优控制序列。 下面从最末一级往前逐级求解最优控制序列。 从最末一级往前逐级求解最优控制序列
由上式和连续被控对象的离散化状态方程， 由上式和连续被控对象的离散化状态方程，有
求解二次型最优控制问题可采用变分法、 求解二次型最优控制问题可采用变分法、动态规划法等 方法。这里采用离散动态规划法来进行求解。 方法。这里采用离散动态规划法来进行求解。 动态规划法的基本思想是： 动态规划法的基本思想是：将一个多级决策过程转变 为求解多个单级决策优化问题， 为求解多个单级决策优化问题，这里需要决策的是控制变 ）。令二次型性能指标函数 量 u(k) （k＝0，1，…，N－1）。令二次型性能指标函数 ＝ ， ， ， － ）。
S (k ) = AT S (k + 1) − S (k + 1) B ( R + BT S (k + 1) B −1 BT S (k + 1) A + Q S ( N ) = Q0
或：
的解， 的解，那么对于任何非负定对称阵 Q0 ，有
S = lim S ( k , N ) = lim S (k , N )
Output value y=x1
0
5
10 Time(sec)
15
20
0
0
5
10 Time(sec)
15
20
(a) 权矩阵 Q 较小的情况
(b) 权矩阵 Q较大的情况
解 选 Q = diag ([10 1 1 1 1]) ， Q = 10 和 Q = 1 。 通过MATLAB仿真，可解得两种情况下的最优反馈增益矩阵为： 通过MATLAB仿真，可解得两种情况下的最优反馈增益矩阵为： MATLAB仿真
N →∞ N → −∞
存在， 无关的常数阵。 存在，且是与 Q0 无关的常数阵。
② S是如下的黎卡堤代数方程
L = ( R + B T SB ) −1 BT SA T T S = ( A − BL( k ) S ( A − BL) + L RL + Q
或：
S = AT S − SB ( R + BT SB ) −1 BT S A + Q
最优控制器也是由两部分组成， LQG 最优控制器也是由两部分组成，一部分是状 态最优估计器；另一部分是最优控制规律。 态最优估计器；另一部分是最优控制规律。 其设计也可分为两个独立的部分：一是将系统看 其设计也可分为两个独立的部分： 作确定性系统； 作确定性系统；二是考虑随机的过程干扰 v 和量测 噪声w，设计状态最优估计器。 噪声 ，设计状态最优估计器。
dJ N −1 = 2BT Q0 AT x( N − 1) + 2BT Q0 AT u( N − 1) + 2 Ru( N − 1) du( N − 1)
进一步求得最优的控制决策为
u( N − 1) = − R + B Q0 B ) BT Q0 Ax ( N − 1)
T −1
= − L( N − 1) x ( N − 1)
0
→∞时 当N→∞时，其性能指标函数简化为
J = ∑ x T (k )Qx (k ) + uT (k ) Ru(k )
k =0 ∞
是非负定对称阵， 是正定对称阵。假定［ ， ］ 其中 Q 是非负定对称阵， R 是正定对称阵。假定［A，B］是 能控的， 为能使D ＝ 成立 能控的，且［A，B］是能观的，其中 为能使 TD＝Q成立 ， ］是能观的，其中D为能使 的任何矩阵。 的任何矩阵。
B = [ 0 0 0 13600 974.6667]
C = [1 0 0 0 0]
D = [0]
设计最优控制器，使性能指标： 设计最优控制器，使性能指标： 最小。 最小。
1 ∞ J = ∑ x T ( k )Qx ( k ) + uT ( k ) Ru(k ) 2 k =0
解 选 Q = diag ([10 1 1 1 1]) 和 Q = diag ([100 1 1 1 1]) ，R = 1 。 通过MATLAB仿真，可解得两种情况下的最优反馈增益矩阵为： 通过MATLAB仿真，可解得两种情况下的最优反馈增益矩阵为： MATLAB仿真
J N = x T ( N )Q 0 x ( N )
J N −1 = J N + x T ( N − 1)Qx ( N − 1) + uT ( N − 1) Ru( N − 1)
= x T ( N )Q0 x ( N ) + x T ( N − 1)Qx ( N − 1) + uT ( N − 1) Ru( N − 1)
可以证明有以下几点结论： 可以证明有以下几点结论：
是如下的黎卡堤（Riccati） ①设S (k)是如下的黎卡堤（Riccati）方程
L(k ) = R + BT S (k + 1) B −1 BT S (k + 1) A T S (k ) = [ A − BL(k ) ] S (k + 1) [ A − BL(k )] + Q + LT (k ) RL(k ) S(N ) = Q 0
v(t )
ω (t )
y (t )
ˆ xΒιβλιοθήκη Baiduk )
T
u (k )
y (k )
T
1 最优控制规律设计 (1)有限时间最优调节器设计 有限时间最优调节器设计
设连续被控对象的离散化状态方程为
x ( k + 1) = Ax (k ) + Bu( k )
初始条件
x ( 0) = x 0
N −1 k =0
给定二次型性能指标函数
= [ Ax ( N − 1) + Bu( N − 1) ] T Q0 [ Ax ( N − 1) + Bu( N − 1) ]
+ x T ( N − 1)Qx ( N − 1) + uT ( N − 1) Ru( N − 1)
首先求解 u( N − 1) ，以使 J N −1 最小。求 J N −1对u (N－1) 最小。 － 一阶导数并令其等于零： 的一阶导数并令其等于零：
T −1
S ( k ) = [ A − BL( k ) ] S ( k + 1) [ A − BL( k ) ] + Q + LT ( k ) RL( k )
T
S ( N ) = Q0
其中
k = N − 1, N − 2, L ,0
最优性能指标为
J min = x T (0) S (0) x (0)
离散时间的最优控制
针对随机系统按最优化方法设计控制器。 针对随机系统按最优化方法设计控制器。 假定被控对象是线性的， 假定被控对象是线性的，系统性能指标是状态 和控制的二次型函数， 和控制的二次型函数，则系统的综合问题就是寻求 允许的控制信号序列，使性能指标函数最小， 允许的控制信号序列，使性能指标函数最小，这类 问题称为线性二次型（ Quadratic） 问题称为线性二次型（Linear Quadratic）控制问 如果考虑系统中随机的过程干扰和量测噪声， 题。如果考虑系统中随机的过程干扰和量测噪声， 且过程干扰和量测噪声均是具有正态分布的白噪声， 且过程干扰和量测噪声均是具有正态分布的白噪声， 这类问题称为线性二次型高斯（Linear Quadratic 这类问题称为线性二次型高斯（ Gaussian）控制问题。 Gaussian）控制问题。
该结论说明了： 该结论说明了：当满足上述结论中所给条件 时，最优的反馈控制规律是常数阵；并且使得闭 最优的反馈控制规律是常数阵； 环系统是渐近稳定的。 环系统是渐近稳定的。同时该结论也指出了计算 最优反馈控制规律的途径，它既可以通过直接黎 最优反馈控制规律的途径， 卡堤代数方程求解， 卡堤代数方程求解，也可以通过迭代法解黎卡堤 差分方程求得。同时也可以看出，结论条件“是 差分方程求得。同时也可以看出，结论条件“ 正定对称阵”可以放宽到“是非负定对称阵” 正定对称阵”可以放宽到“是非负定对称阵”。
L2 = [7.0123 − 8.5601 0.6208 0.9963 − 0.9224]
1 0.8 0.6 0.4 0.2 0
1.4 1.2 Output value y=x1 1 0.8 0.6 0.4 0.2
L1 = [0.7398 − 1.8045 0.3575 0.9961 − 0.9197]
考虑离散系统： 例 考虑离散系统：
x ( k + 1) = Ax ( k ) + Bu ( k )
y ( k ) = Cx ( k ) + Du( k )
−15.4193 −0.1415 0.0843 0.0; −0.1937 其中： 0.0 0.0 −0.2111 0.0 0.0; A = −0.49 405.4635 −0.3581 0.2132 0.0; −13600 0.0 0.0 −50 −13600; −974.6667 0.0 0.0 −3.5833 −991.3333
的唯一正定对称解 。 ③ 稳态控制规律 u(k ) = − Lx (k ) L = ( R + BT SB) −1 BT SA 极小的最优反馈控制规律， 是使上面性能指标函数J极小的最优反馈控制规律，最 优性能指标函数为
J min = x T (0) Sx (0)
④ 所求得的最优控制规律使得闭环系统是渐近稳定。 所求得的最优控制规律使得闭环系统是渐近稳定。
L1 = [− 0.1292 − 0.6430 0.1252 0.3116 − 0.8493]
5 4 3 2 1 0
L2 = [0.7398 − 1.8045 0.3575 0.9961 − 0.9197]
其中
L( N − 1) = − R + B S ( N ) B BT S ( N ) A
T
−1
S ( N ) = Q0
得 J N −1 = x T ( N − 1) S ( N − 1) x ( N − 1) 其中
S ( N − 1) = [ A − BL( N − 1) ] S ( N ) [ A − BL( N − 1) ]