第6章 最优控制
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.10.l
,把系统从仞态转移到终态，使
为极小。
根据极小值原理确定最优控制
列出哈尔密顿函数
为使H全局最小．呵得最优控制：
由协态方程
得：
即 解得： 故 在 相应的 ，如下图所示。 是一直线，其四种可能形状以及与之
显而易见，可供选择的最优控制序列有下列四种：
切换次数至多一次。切换时刻为：
6.10.2 6.10.3
6.2 研究最优控制的前提条件
在研究确定性系统的最优控制时，前提条件是： 1.给出受控系统的动态描述，即状态方程 对连续时问系统 对离散时间系统
（6）
2.明确控制作用域 在工程实际问题中，控制矢量 意大。即 上式的点 往往不能在 空间中任意取值，
而必须受到某些物理限制，例如，系统中的控制电压，控制功率不能取得任 要满足某些约束条件，这时，在 的集合，记作： 空间中，把所有满足
式右边第一项反映对终端性能的要求，例如对目标的允许偏差、脱靶情况等， 称为终端指标函数；第二项中L为状态控制过程中对动态品质及能量或燃料 消耗的要求等，称为动态指标函数。
若不考虑终端指标函数项
则有：
这种形式的性能指标称为积分型或拉格朗日型。若不考虑动态指标函数 项， 则形如：
称为终端型或梅耶型。
6.3 静态最优化问题的解
式中，
为闭环系统的状态矩阵。
此时，性能指标演化为：
（2） 式中 在规定了系统结构的情况下，设计任务就是确定输出反馈矩阵K，使性 能指标式(2)取极值。 对渐近稳定系统式(1)，构造一个李雅普诺夫函数：
（3） 将上式两边求导数，得：
对于渐近稳定的系统，当 为此，令： 式中Q 为正定的实对称阵。 因此 是负定的。比较式（5）和式（3）可得：
6.11 动态规划法
动态规划是贝尔曼(Bellman)在 20世纪~ 50年代作为多段(步)决策过程 研究出来的，现已在许多技术领域中获得广泛应用。 动态规划的核心是最优性原理。 6.11.1 多段决策问题
6.11.2
离散系统的动态规划
6.11.3 连续系统的动态规划
利用动态规划最优性原理，可以推导出能泛函为极小应满足的条件— 哈密尔顿—雅可比方程。 即
6.12.5 跟踪器问题 1.线性时变系统跟踪器问题 2.线性定常系统
6.1 3
线性二次型次优控制问题
没完全能控、能观系统的动态方程为：
性能指标为二次型：
式中， 成，即
为正定(或半正定)对称阵； 是由输出变量
为正定对称阵。 的线性负反馈所构
如上所述，设控制变量
闭环系统结构图示如下图所示：
从图可得闭环系统的状态方程： （1）
综上所述，可将连续型动态规划求解最优控制问题的步骤归纳如下： 1)构造哈密尔顿函数：
2)
由上述条件解出的 3)将 4)将
的函数。
代入哈密尔顿一贝尔曼方程，并根据边界条件，解出 代回 ，即得最优控制 它是状
态变量的函数，据此可实现闭环最优控制。 5)将 6)再将 代入状态方程，可进一步解出最优轨线 代人求得最优性能泛函 。
6.6.3 多元泛函的极值条件 6.6.4 可变端点问题 6.6.5 具有综合型性能泛函的情况
6．7 用变分法求解连续系统最优控制问题——有约束条件的 泛函极值
6.7.1 拉格朗日问题
6.7.2 波尔札问题
6.8
极小值原理
定理6.8.1 设系统状态方程为： （1） 始端条件为： 控制约束为：
（2） 终端约束为：
解出使
的K。
本章完
1.嵌入法
先从约束条件式(30) 解出一个变量，例如
数式(29)得：
等，然后代入目标函
(31)
这样就变成一个没有约束条件的函数式。显然，式(31)取极值的条件为：
可解出极值点：
又因为 积为： 2.拉格朗日乘子法
故上述极值点为极大值点。罐头桶的最大容
6.4 离散时间系统的最优控
6.4.1 基本形式
6.1 概述 6.2 研究最优控制的前提条件 6.3 静态最优化问题的解 6.4 离散时间系统的最优控 6.5 离散时间系统最优控制的 离散化处理 6.6 泛函及其极值-变分法 6.7 用变分法求解连续系统最 优控制问题-有约束条件 的泛函极值
6.8 极小值原理 6.9 Bang-Bang控制
6.10 双积分系统的时间最优
必须为负定。 （4）
（5）
（6）
将式（6）代入式（2），得性能指标：
由于A 所有特征值均具负实部，故有
，从而下式成立： （7）
此外，反馈矩阵K 亦不能从李雅普诺夫方程： （8）
直接求解。因为式（8）中的P 和K 阵都未知。 一个简单的处理方法是用梯度速降法，由式（5）解出用K 表示的P ， 即P【K】，然后代入性能指标式（7），再令：
6.4.2 具有二次型性能指标的线性系统
6．5 离散时间系统最优控制的离散化处理
设系统状态方程为：
（73） 目标函数为： （74） 式中， 为终端代价函数，假定 是自由终端。 使式(74)为最小。
最优控制问题是在式(73)约束条件下，寻求
6.6 泛函及其极值——变分法
6.6.1 变分法的基本概念 1．泛函 变分法是研究泛函极值问题的数学工具。什么叫泛函呢?通俗地说，泛 函就是函数的函数。它是普通函数概念的一种扩充。 2.泛函的极值 3.泛函的变分 4．泛函极值定理 6.6.2 泛函极值的必要条件——欧拉方程 求泛函
（3） 性能泛函为： （4）
取哈密顿函数为： （5）
则实现最优控制的必要条件是，最优控制
态矢量 满足下列关系式：
、最优轨线
和最优协
1)沿最优轨线满足正则方程 （6）
（7） 若 则为： （8）
2)在最优轨线上，与最优控制
相应的H 函数取绝对极小值，即
或 沿最优轨线，有
（9）
（10） 3)H函数在最优轨线终点处的值决定于：
为极大值点充要条件是：
因为
的极小值和
的极大值等效，所以今后所有推导和
结论，均以圾小化为准。 6.3.2 多元函数的极值 设 元函数 这里 为 维列向量。它取
极值的必要条件是：
或函数的梯度为零矢量。
至于取极小值的充要条件，尚需满足：
即下列海赛矩阵为正定矩阵。
6.3.3
具有等式约束条件的极值
上面讲的是无约束条件极值问题的求解方法。对于具有等式约束条件的 极值问题，则要通过等效变换，化为无约束条件的极值问题来求解。 设罐头桶的几何尺寸：高为 半径为 则容积为： （29） 给定铁皮面积A=常量。要使罐头桶容积为最大，必然要受条件： （30） 的约束： 解此类问题的方法有多种，如嵌入法(消元法)和拉格朗日乘子法(增元法) 等。
状态轨线及开关曲线 最优控制律 转移到终态(0，0)。
为了使系统的状态能以最小时间从初态
当初态所划位置不同时，应当采取的控制规律不同。但是，凡不在开关曲线 上的点，至少要经过一次切换，转到开关曲线后才能沿着 γ+或γ-到达原点(0， 0)。因此，按照初态 所处的位置可得到下列最优控制规律：
若将开关曲线写成：
相同的最小时间
令
作用下，系统在
时
刻也将初值
转移到原点
。即
所以w也是最小时间控制，根据前面的结论，
都是
Bang．Bang控制，又
等的时刻上，有 最优控制矛盾，因此有：
不相
不是Bang—Bang控制，与w(〃)是
这表明控制
是惟一的。
6.10 双积分系统的时间最优控制
设双积分系统的状态方程为：
求最优控制
则最优控制律可表示成：
6.10.4 最优控制律的工程实现
6.10.5 最优时间计算 基本方法是把状态转移轨线按控制序列分成若f段，逐段汁算所需时问然
后求和。下面给出的是从初态 沿最优轨线到轨线与开关曲线交点 的时问，以及从交点沿开关曲线到达原点时间的计算公式在日前情况下，只 要把这两段时间加起来，即为状态转移的最小时间。
内，将系统从初始状态转移到零点附近，并使给定的性能泛函取极值。
6.12.3 无限时间状态调节器问题 对于无限时间状态调节器，这里要强调以下几点：
1)适用于线性定常系统，且要求系统完全能控，而在有限时间状态调节 器中则不强调这一点。 2)在性能泛函中，由于 去了意义，即 3)与有限时间状态调节器一样，最优控制也是全状态的线性反馈，结构 ，而使终端泛函 失
（11）
4)协态终值满足横截条件：
（12） 5)满足边界条件：
（13） 这就是著名的极小值原理。
6.9
Bang-Bang控制
线性定常系统∑=(A，B，C)，若存在时间最优 是惟一的。
定理6〃9〃l 控制，则该控制
证明
用反证法。设存在两个控制 广使系统完成从初值
，但都能以 到零状态的转移，因此有：
（7） 这时，在 空间中，把所有满足上式的点 的集合，记作： (8)
U称为控制集。把满足
（9） 的 称为容许控制。
3．明确初始条件 通常，最优控制系统的初始时刻 定始端。如果 条件： 是给定的。如果初始状态 称固 是任意的，则称自由始端。如果 必须满足某些约束
相应的始端集为： 此时， 则称为可变始端。 和终端状态 都是给
静态最优化问题的目标函数是一个多元普通函数，其最优解可以通过古 典微分法对普通函数求极值的途径解决。动态最优化问题的目标函数是一个 泛函数，确定其最优解要涉及古典变分法求泛函极值的问题。 6.3.1 一元函数的极值 设 为定义在闭区间 上的实值连续可做函数，则存在极值
点
的必要条件是：
（21） 为极小值点充要条件是：
图也与前面的相同。但是，这里的P 是n×n 维的实对称常矩阵，是黎卡捉矩
阵代数方程的解。因此，构成的是一个线性定常闭环系统。 4)闭环系统是渐近稳定的，即系统矩阵 负实部，而不论原受控系统A的特征值如何。 的特征值均具
6.12.4 输出调节器问题
1.输出调节器的任务是当系统受到外扰时，在不消耗过多能量的前提下， 维持系统的输出矢量接近其平衡状态。 1.线性时变系统输出调节器问题 给定一个能观的线性时变系统：
性能泛函为：
于是可以用状态调节器上式来确定最优控制：
式中，
为下列黎卡提距阵微分方程的解：
边界条件：
2. 线性定常系统输出调节器问题 给定一个完全能控、能观的线性定常系统：
性能泛函为：
式中，
任意取值； 为正定对称矩阵；
为正定或半正定矩阵。
要求在系统方程约束下，寻求 最优控制为：
而
是下列黎卡提代数微分方程的解：
6.12
线性二次型最优控制问题
6.12.1 二次型性能泛函
二次型性能泛函的一般形式如下：
6.12.2 有限时间状态调节器问题 状态调节器的任务在于，当系统状态由于任何原因偏离了平衡状态时，
能在不消耗过多能量的情况下，保持系统状态各分量仍接近于平衡状态。在
研究这类问题时，通常是把初始状态矢量看作扰动，而把零状态取作平衡状 态。于Biblioteka Baidu调节器问题就变为寻求最优控制规律u，在有限的时间区间
4．明确终端条件 类似于始端条件，固定终端是指终端时刻 定的。 自由端则是在给定 则是指 情况下，
可以任意取值不受限制。可变终端
的情况。其中
是由约束条件
所形成的一个目标集。
5．给出目标泛函，即性能指标
对连续时间系统，一般表示为：
对离散时间系统，一般表示为：
上述形式的性能指标，称为综合型或鲍尔扎型。它由两部分组成，等
控制 6.11 动态规划法
6.12 线性二次型最优控制问 题 6.1 3 线性二次型次优控制问 题
6．1 概述
所谓最优化，原非新鲜概念，人们在从事某项工作时，总是想着采取 最合理的方案或措施，以期收到最好的效果，这里就包含着最优化问题。 求解动态最优化问题的方法主要有古典变分法，极小(大)值原理及动态 规划法等。 动态最优化问题可以分为确定性和随机性两大类。在确定性问题中，没 有随机变量，系统的参数都是确定的。本书只讨论确定性最优控制问题。
,把系统从仞态转移到终态，使
为极小。
根据极小值原理确定最优控制
列出哈尔密顿函数
为使H全局最小．呵得最优控制：
由协态方程
得：
即 解得： 故 在 相应的 ，如下图所示。 是一直线，其四种可能形状以及与之
显而易见，可供选择的最优控制序列有下列四种：
切换次数至多一次。切换时刻为：
6.10.2 6.10.3
6.2 研究最优控制的前提条件
在研究确定性系统的最优控制时，前提条件是： 1.给出受控系统的动态描述，即状态方程 对连续时问系统 对离散时间系统
（6）
2.明确控制作用域 在工程实际问题中，控制矢量 意大。即 上式的点 往往不能在 空间中任意取值，
而必须受到某些物理限制，例如，系统中的控制电压，控制功率不能取得任 要满足某些约束条件，这时，在 的集合，记作： 空间中，把所有满足
式右边第一项反映对终端性能的要求，例如对目标的允许偏差、脱靶情况等， 称为终端指标函数；第二项中L为状态控制过程中对动态品质及能量或燃料 消耗的要求等，称为动态指标函数。
若不考虑终端指标函数项
则有：
这种形式的性能指标称为积分型或拉格朗日型。若不考虑动态指标函数 项， 则形如：
称为终端型或梅耶型。
6.3 静态最优化问题的解
式中，
为闭环系统的状态矩阵。
此时，性能指标演化为：
（2） 式中 在规定了系统结构的情况下，设计任务就是确定输出反馈矩阵K，使性 能指标式(2)取极值。 对渐近稳定系统式(1)，构造一个李雅普诺夫函数：
（3） 将上式两边求导数，得：
对于渐近稳定的系统，当 为此，令： 式中Q 为正定的实对称阵。 因此 是负定的。比较式（5）和式（3）可得：
6.11 动态规划法
动态规划是贝尔曼(Bellman)在 20世纪~ 50年代作为多段(步)决策过程 研究出来的，现已在许多技术领域中获得广泛应用。 动态规划的核心是最优性原理。 6.11.1 多段决策问题
6.11.2
离散系统的动态规划
6.11.3 连续系统的动态规划
利用动态规划最优性原理，可以推导出能泛函为极小应满足的条件— 哈密尔顿—雅可比方程。 即
6.12.5 跟踪器问题 1.线性时变系统跟踪器问题 2.线性定常系统
6.1 3
线性二次型次优控制问题
没完全能控、能观系统的动态方程为：
性能指标为二次型：
式中， 成，即
为正定(或半正定)对称阵； 是由输出变量
为正定对称阵。 的线性负反馈所构
如上所述，设控制变量
闭环系统结构图示如下图所示：
从图可得闭环系统的状态方程： （1）
综上所述，可将连续型动态规划求解最优控制问题的步骤归纳如下： 1)构造哈密尔顿函数：
2)
由上述条件解出的 3)将 4)将
的函数。
代入哈密尔顿一贝尔曼方程，并根据边界条件，解出 代回 ，即得最优控制 它是状
态变量的函数，据此可实现闭环最优控制。 5)将 6)再将 代入状态方程，可进一步解出最优轨线 代人求得最优性能泛函 。
6.6.3 多元泛函的极值条件 6.6.4 可变端点问题 6.6.5 具有综合型性能泛函的情况
6．7 用变分法求解连续系统最优控制问题——有约束条件的 泛函极值
6.7.1 拉格朗日问题
6.7.2 波尔札问题
6.8
极小值原理
定理6.8.1 设系统状态方程为： （1） 始端条件为： 控制约束为：
（2） 终端约束为：
解出使
的K。
本章完
1.嵌入法
先从约束条件式(30) 解出一个变量，例如
数式(29)得：
等，然后代入目标函
(31)
这样就变成一个没有约束条件的函数式。显然，式(31)取极值的条件为：
可解出极值点：
又因为 积为： 2.拉格朗日乘子法
故上述极值点为极大值点。罐头桶的最大容
6.4 离散时间系统的最优控
6.4.1 基本形式
6.1 概述 6.2 研究最优控制的前提条件 6.3 静态最优化问题的解 6.4 离散时间系统的最优控 6.5 离散时间系统最优控制的 离散化处理 6.6 泛函及其极值-变分法 6.7 用变分法求解连续系统最 优控制问题-有约束条件 的泛函极值
6.8 极小值原理 6.9 Bang-Bang控制
6.10 双积分系统的时间最优
必须为负定。 （4）
（5）
（6）
将式（6）代入式（2），得性能指标：
由于A 所有特征值均具负实部，故有
，从而下式成立： （7）
此外，反馈矩阵K 亦不能从李雅普诺夫方程： （8）
直接求解。因为式（8）中的P 和K 阵都未知。 一个简单的处理方法是用梯度速降法，由式（5）解出用K 表示的P ， 即P【K】，然后代入性能指标式（7），再令：
6.4.2 具有二次型性能指标的线性系统
6．5 离散时间系统最优控制的离散化处理
设系统状态方程为：
（73） 目标函数为： （74） 式中， 为终端代价函数，假定 是自由终端。 使式(74)为最小。
最优控制问题是在式(73)约束条件下，寻求
6.6 泛函及其极值——变分法
6.6.1 变分法的基本概念 1．泛函 变分法是研究泛函极值问题的数学工具。什么叫泛函呢?通俗地说，泛 函就是函数的函数。它是普通函数概念的一种扩充。 2.泛函的极值 3.泛函的变分 4．泛函极值定理 6.6.2 泛函极值的必要条件——欧拉方程 求泛函
（3） 性能泛函为： （4）
取哈密顿函数为： （5）
则实现最优控制的必要条件是，最优控制
态矢量 满足下列关系式：
、最优轨线
和最优协
1)沿最优轨线满足正则方程 （6）
（7） 若 则为： （8）
2)在最优轨线上，与最优控制
相应的H 函数取绝对极小值，即
或 沿最优轨线，有
（9）
（10） 3)H函数在最优轨线终点处的值决定于：
为极大值点充要条件是：
因为
的极小值和
的极大值等效，所以今后所有推导和
结论，均以圾小化为准。 6.3.2 多元函数的极值 设 元函数 这里 为 维列向量。它取
极值的必要条件是：
或函数的梯度为零矢量。
至于取极小值的充要条件，尚需满足：
即下列海赛矩阵为正定矩阵。
6.3.3
具有等式约束条件的极值
上面讲的是无约束条件极值问题的求解方法。对于具有等式约束条件的 极值问题，则要通过等效变换，化为无约束条件的极值问题来求解。 设罐头桶的几何尺寸：高为 半径为 则容积为： （29） 给定铁皮面积A=常量。要使罐头桶容积为最大，必然要受条件： （30） 的约束： 解此类问题的方法有多种，如嵌入法(消元法)和拉格朗日乘子法(增元法) 等。
状态轨线及开关曲线 最优控制律 转移到终态(0，0)。
为了使系统的状态能以最小时间从初态
当初态所划位置不同时，应当采取的控制规律不同。但是，凡不在开关曲线 上的点，至少要经过一次切换，转到开关曲线后才能沿着 γ+或γ-到达原点(0， 0)。因此，按照初态 所处的位置可得到下列最优控制规律：
若将开关曲线写成：
相同的最小时间
令
作用下，系统在
时
刻也将初值
转移到原点
。即
所以w也是最小时间控制，根据前面的结论，
都是
Bang．Bang控制，又
等的时刻上，有 最优控制矛盾，因此有：
不相
不是Bang—Bang控制，与w(〃)是
这表明控制
是惟一的。
6.10 双积分系统的时间最优控制
设双积分系统的状态方程为：
求最优控制
则最优控制律可表示成：
6.10.4 最优控制律的工程实现
6.10.5 最优时间计算 基本方法是把状态转移轨线按控制序列分成若f段，逐段汁算所需时问然
后求和。下面给出的是从初态 沿最优轨线到轨线与开关曲线交点 的时问，以及从交点沿开关曲线到达原点时间的计算公式在日前情况下，只 要把这两段时间加起来，即为状态转移的最小时间。
内，将系统从初始状态转移到零点附近，并使给定的性能泛函取极值。
6.12.3 无限时间状态调节器问题 对于无限时间状态调节器，这里要强调以下几点：
1)适用于线性定常系统，且要求系统完全能控，而在有限时间状态调节 器中则不强调这一点。 2)在性能泛函中，由于 去了意义，即 3)与有限时间状态调节器一样，最优控制也是全状态的线性反馈，结构 ，而使终端泛函 失
（11）
4)协态终值满足横截条件：
（12） 5)满足边界条件：
（13） 这就是著名的极小值原理。
6.9
Bang-Bang控制
线性定常系统∑=(A，B，C)，若存在时间最优 是惟一的。
定理6〃9〃l 控制，则该控制
证明
用反证法。设存在两个控制 广使系统完成从初值
，但都能以 到零状态的转移，因此有：
（7） 这时，在 空间中，把所有满足上式的点 的集合，记作： (8)
U称为控制集。把满足
（9） 的 称为容许控制。
3．明确初始条件 通常，最优控制系统的初始时刻 定始端。如果 条件： 是给定的。如果初始状态 称固 是任意的，则称自由始端。如果 必须满足某些约束
相应的始端集为： 此时， 则称为可变始端。 和终端状态 都是给
静态最优化问题的目标函数是一个多元普通函数，其最优解可以通过古 典微分法对普通函数求极值的途径解决。动态最优化问题的目标函数是一个 泛函数，确定其最优解要涉及古典变分法求泛函极值的问题。 6.3.1 一元函数的极值 设 为定义在闭区间 上的实值连续可做函数，则存在极值
点
的必要条件是：
（21） 为极小值点充要条件是：
图也与前面的相同。但是，这里的P 是n×n 维的实对称常矩阵，是黎卡捉矩
阵代数方程的解。因此，构成的是一个线性定常闭环系统。 4)闭环系统是渐近稳定的，即系统矩阵 负实部，而不论原受控系统A的特征值如何。 的特征值均具
6.12.4 输出调节器问题
1.输出调节器的任务是当系统受到外扰时，在不消耗过多能量的前提下， 维持系统的输出矢量接近其平衡状态。 1.线性时变系统输出调节器问题 给定一个能观的线性时变系统：
性能泛函为：
于是可以用状态调节器上式来确定最优控制：
式中，
为下列黎卡提距阵微分方程的解：
边界条件：
2. 线性定常系统输出调节器问题 给定一个完全能控、能观的线性定常系统：
性能泛函为：
式中，
任意取值； 为正定对称矩阵；
为正定或半正定矩阵。
要求在系统方程约束下，寻求 最优控制为：
而
是下列黎卡提代数微分方程的解：
6.12
线性二次型最优控制问题
6.12.1 二次型性能泛函
二次型性能泛函的一般形式如下：
6.12.2 有限时间状态调节器问题 状态调节器的任务在于，当系统状态由于任何原因偏离了平衡状态时，
能在不消耗过多能量的情况下，保持系统状态各分量仍接近于平衡状态。在
研究这类问题时，通常是把初始状态矢量看作扰动，而把零状态取作平衡状 态。于Biblioteka Baidu调节器问题就变为寻求最优控制规律u，在有限的时间区间
4．明确终端条件 类似于始端条件，固定终端是指终端时刻 定的。 自由端则是在给定 则是指 情况下，
可以任意取值不受限制。可变终端
的情况。其中
是由约束条件
所形成的一个目标集。
5．给出目标泛函，即性能指标
对连续时间系统，一般表示为：
对离散时间系统，一般表示为：
上述形式的性能指标，称为综合型或鲍尔扎型。它由两部分组成，等
控制 6.11 动态规划法
6.12 线性二次型最优控制问 题 6.1 3 线性二次型次优控制问 题
6．1 概述
所谓最优化，原非新鲜概念，人们在从事某项工作时，总是想着采取 最合理的方案或措施，以期收到最好的效果，这里就包含着最优化问题。 求解动态最优化问题的方法主要有古典变分法，极小(大)值原理及动态 规划法等。 动态最优化问题可以分为确定性和随机性两大类。在确定性问题中，没 有随机变量，系统的参数都是确定的。本书只讨论确定性最优控制问题。