chap5离散时间系统的最优控制

合集下载

离散控制系统的最优控制理论

离散控制系统的最优控制理论离散控制系统的最优控制理论是控制工程领域中的一个重要研究方向。

离散控制系统是指在时间上只能在特定时间点进行操作的系统，相比连续控制系统，离散控制系统需要使用离散时间模型进行建模和控制设计。

最优控制理论是研究如何设计控制策略以使系统能够在某种指标下达到最优性能的一门学科。

离散控制系统的最优控制理论旨在寻找最优的控制策略，使得系统的性能指标如稳定性、响应速度、能耗等在给定约束条件下达到最优。

1. 离散控制系统的建模离散控制系统的建模是进行最优控制设计的基础。

在离散控制系统中，系统的状态在一系列离散时间点上进行更新。

离散控制系统的建模通常使用差分方程或状态空间模型。

差分方程描述了系统的状态在每个时间点的更新关系，而状态空间模型则将系统的状态和输入表示为向量，并使用矩阵形式描述系统的动态特性。

根据具体问题的需要，选择合适的建模方法可以更好地描述系统的动态行为。

2. 离散控制系统的性能指标离散控制系统的性能指标是评价系统控制性能的定量指标。

常见的性能指标包括稳定性、响应速度、能耗等。

稳定性是系统重要的性能指标之一，用于评估系统是否能够在有限时间内达到稳定状态。

响应速度是指系统对输入变化的快速响应能力。

能耗则是指系统在完成特定任务时所消耗的能源。

通过选取合适的性能指标，可以更好地评估和改进离散控制系统的性能。

3. 最优控制理论的基本原理最优控制理论的基本原理是寻找一组最优控制策略，使得系统的性能指标达到最优。

最优控制问题通常可以通过数学方法建立为一个优化问题。

其中，最常见的方法是最小化或最大化一个性能指标的数学表达式。

为了求解这些优化问题，可以使用动态规划、最优化理论等数学工具。

最优控制理论提供了一种系统优化设计的方法，可以帮助工程师设计更优秀的控制策略。

4. 最优控制策略的设计方法最优控制策略的设计方法取决于具体的离散控制系统和性能指标。

常见的设计方法包括经典控制方法和现代控制方法。

5 离散时间系统

x 波形，已知 (n)波形，请画出 n 波形． x(2n), x 波形． 2
n
n x 2 x(2n)
O 1 2 3 4 5 6
6
4
2
O 1 2 3 4 5 6 n
16
6 5 4 3 2 1
O 1 2 3 4 5 6 7 8 9 10
12
n
三．常用离散信号
•单位样值信号单位样值信号 •单位阶跃序列单位阶跃序列 •矩形序列矩形序列 •斜变序列斜变序列 •单边指数序列单边指数序列 •正弦序列正弦序列 •复指数序列复指数序列
x(n)
34 5
1 2
9 10 11 67 8
22
n
一个周期
26
例
x 是否为周期信号？信号 (n) = sin(0.4n)是否为周期信号？
ω0 = 0.4
ω0
2π
= 5π是无理数 ∴为非周期的序列
27
7．复指数序列
x(n) = e
jω0n
= cosω0n + j sinω0n
j arg[ x( n)]
20
δ (n) = u(n) − u(n − 1)
3．矩形序列
1 RN (n) = 0
RN (n)
0 ≤ n ≤ N −1 n < 0, n ≥ N
1
L
−1 o 1 2 3 N −1 n
的关系： R 与u(n)的关系： N (n) = u(n) − u(n − N)
21
4．斜变序列
x(n) = nu(n)
•离散信号的表示方法离散信号的表示方法 •离散时间信号的运算离散时间信号的运算 •常用离散时间信号常用离散时间信号

华中科技大学现代控制理论--动态规划与离散系统最优控制（可编辑）

华中科技大学现代控制理论--动态规划与离散系统最优控制Ch.7 最优控制原理目录 1/1 目录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题本章小结动态规划与离散系统最优控制 1/3 7.6 动态规划与离散系统最优控制前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。

所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。

该类系统的控制问题是与传统的控制系统和控制元件的模拟式实现相适应的,如模拟式电子运算放大器件、模拟式自动化运算仪表、模拟式液压放大元件等。

随着计算机技术的发展及计算机控制技术的日益深入,离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题,而且成为现代控制技术更为关注的问题。

动态规划与离散系统最优控制 2/3 离散系统的控制问题为人们所重视的原因有二。

1 有些连续系统的控制问题在应用计算机控制技术、数字控制技术时,通过采样后成为离散化系统, 如许多现代工业控制领域的实际计算机控制问题。

2 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件如零件加工活动的发生或结束为标志的。

动态规划与离散系统最优控制 3/3 本节将介绍解决离散系统最优控制的强有力工具--贝尔曼动态规划,以及线性离散系统的二次最优控制问题。

内容为最优性原理与离散系统的动态规划法线性离散系统的二次型最优控制最优性原理与离散系统的动态规划法 1/3 7.6.1 最优性原理与离散系统的动态规划法基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。

如今,这种决策优化方法在许多领域得到应用和发展,如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。

计算机控制技术智慧树知到答案章节测试2023年重庆邮电大学

第一章测试1.非实时系统一定是离线方式。

（）A:错B:对答案:A2.计算机控制系统就是利用工业控制计算机来实现生产过程自动控制的系统。

（）A:错B:对答案:B3.实时系统一定是在线系统。

（）A:错B:对答案:B4.属于开环结构的系统是？（）A:操作指导控制系统B:监督控制系统C:直接数字控制系统答案:A5.计算机控制系统的工作过程包括：（）A:数据采集B:控制决策C:控制输出D:人工决策答案:ABC第二章测试1.不仅时间取值是离散的，而且在幅度上又是量化的，是什么信号？（）A:模拟信号B:采样信号C:数字信号D:离散信号答案:C2.描述离散系统的时域和变换域数学模型分别是什么？（）A:差分方程，脉冲传递函数B:微分方程，传递函数答案:A3.采样系统为渐近稳定的充要条件是什么？（）A:系统特征方程的所有根(系统脉冲传递函数的所有极点)都位于z平面的单位圆外。

B:系统特征方程的所有根(系统脉冲传递函数的所有极点)都位于z平面的单位圆内。

C:系统特征方程的所有根(系统脉冲传递函数的所有极点)都位于s平面左半平面。

答案:B4.输出端和输入端有没有采样开关，不影响系统的脉冲传递函数X(z)。

（）A:对B:错答案:B5.保持器环节和被控对象环节串联后所构成的连续时间系统称为广义对象。

（）A:对B:错答案:A第三章测试1.Z变换法能够保证模拟控制器的阶跃响应的采样值与数字控制器的输出相同。

（）A:对B:错答案:B2.带有零阶保持器的Z变化法保证模拟控制器的阶跃响应的采样值与数字控制器的输出相同（）A:错B:对答案:B3.比例调节器的作用是什么？（）A:加速系统的动态响应，超调减少，系统趋于平稳。

但有可能放大噪声，减低系统的抗干扰能力。

B:可以消除或减少稳态误差。

但有可能使系统的响应变慢，并有可能使系统不稳定。

C:可以加快响应速度及减少稳态误差。

但可能加大系统超调，产生振荡，以至于系统不稳定。

答案:C4.积分调节器的作用是什么？（）A:可以加快响应速度及减少稳态误差。

《离散广义系统的H_∞控制及有限时间控制》范文

《离散广义系统的H_∞控制及有限时间控制》篇一离散广义系统的H∞控制及有限时间控制一、引言随着现代控制理论的发展，离散广义系统在众多领域如航空航天、通信网络、生物医学等得到了广泛应用。

H∞控制作为一种重要的控制策略，在处理系统不确定性和外部扰动方面具有显著优势。

同时，有限时间控制则更多地关注于在特定时间区间内达到控制目标。

本文将重点探讨离散广义系统的H∞控制及有限时间控制的原理、方法及应用。

二、离散广义系统概述离散广义系统是一种具有特殊性质的动态系统，其状态方程通常包含微分和差分方程的混合形式。

这类系统在描述复杂系统的动态行为时具有较高的精度和灵活性。

离散广义系统的研究涉及稳定性分析、能控性、能观性以及优化控制等方面。

三、H∞控制理论及其在离散广义系统中的应用H∞控制理论是一种基于频域或时域的鲁棒控制方法，其目标是在不确定性和外部扰动的影响下，使系统达到稳定状态并优化某些性能指标。

在离散广义系统中应用H∞控制，需要构建相应的H∞控制器，通过优化设计使系统满足给定的性能要求。

H∞控制的优点在于能够处理系统的不确定性，提高系统的鲁棒性。

四、有限时间控制的原理及方法有限时间控制是一种在特定时间区间内达到控制目标的控制策略。

在离散广义系统中，有限时间控制的实现需要设计合适的控制器，使得系统在有限时间内达到所需的稳定状态。

有限时间控制的原理主要涉及Lyapunov稳定性理论、最优控制理论以及时间尺度变换等方法。

通过合理的设计和控制策略，有限时间控制可以实现快速、精确地达到控制目标。

五、H∞控制与有限时间控制的结合应用将H∞控制和有限时间控制相结合，可以在处理离散广义系统的控制和优化问题时取得更好的效果。

这种结合应用可以在保证系统稳定性的同时，提高系统的响应速度和精度。

在实际应用中，可以根据系统的具体要求和约束条件，设计合适的控制器，实现H∞控制和有限时间控制的有机结合。

六、实例分析以某航空航天系统为例，分析H∞控制和有限时间控制在离散广义系统中的应用。

离散时间最优控制_评论动态规划_吴受章

PN −1 (x∗ (N − 1), u∗ (N − 1)) = 0,
(4)
式中∗记最优值(以下, 为书写方便, ∗被去掉, 但需要时又被添上). 式(4)为二维曲线, 满足式(4)的x∗ (N − 1)和u∗ (N − 1)有无穷多组解. 若式(4)可显化, 代入GN −1 中, 得
min GN −1 = gN −1 (x∗ (N − 1)).
(1)
2) N 个集合中的每一个集合, 都含有无限多元素. 3) 满足总目标为min的x∗ (k ), u∗ (k )存在于该特殊的并集中. 式(9)可用来鉴别对式(1)的解法是否可实现.
s.t. x(k + 1) = f (x(k ), u(k )), x(0) = x0 ,
式中: f 为非时变系统, 目标函数亦为非时变的; x ∈ R1 , u ∈ R1 , f ∈ R1 , k 为离散时刻, N 为段数. 注意到式(1)实质上是静态优化, 它也具有分段静态优化的特点, 但有约束. 式(1)中, 末两项记为
综合之, 存在一个特殊的并集
N −1 k=0
(6)
(7) (8)
{Pk (x∗ (k ), u∗ (k )) = 0}.
(9)
式(4)−(9)都是对分段目标函数求min的结果, 但分段目标函数的范围随k 增大, 式(8)已成为对总目标函数求min的结果. 即式(8)及式(9)都考虑了总目标. 式(9)所示特殊的并集有3个特点, 1) 由N 个集合构成有限并集, k = 0, 1, 2, · · · , N − 1.
第9期
吴受章: 离散时间最优控制—–评向扫掠仅为解代数方程. 第4节将进一步看到与非线性规划相比, 动态规划在求解方面较差. 为了解决动态规划的计算机求解, 传统采用状态空间网格化(量化)的一种数值解法[1] , 此法能考虑各种复杂的约束. 其缺点为: a) 必须预知状态方程解的分布, 否则量化是盲目的, 并且, 若量化范围设置不当, 会导致无法计算; b) 过粗的量化, 使计算不准确, 而过细的量化, 又使得难以计算; c) 不能用于多维或高维状态方程(只能用于一维状态方程); d) 用有级的状态变量取代无级的状态变量, 使计算精度降低; e) 所谓“维数灾难”, 正是由文 [1]自己把状态空间网格化造成的. 第4节将进一步看到与非线性规划相比, 动态规划及其数值解法在求解方面较差. 3) 无约束优化. 一次性将状态方程完全代入目标函数, 用无约束优化求解,效率较高. 但不能考虑有界约束, 其他等式及不等式约束. 第4节将进一步看到无约束优化比动态规划在求解方面更好. 第2节已说明, 式(1)所示离散时间最优控制问题实质上是静态优化问题, 本节说明非线性规划和无约束优化都是静态优化方法; 动态规划在名义上是动态优化, 实为一维分段无约束静态优化方法. 同为静态优化方法, 动态规划的效率却较低. 至此人们可能才会领悟到, 动态规划是一维分段无约束静态优化方法, 故不可能从动态优化的角度, 并用动态优化方法去改进的, 半个多世纪的历程证实了这一点. 唯一的出路是采用高一级的方法, 才能获得改进.

离散时间系统的特点

离散时间系统的特点
嘿呀，咱今天就来好好唠唠离散时间系统的特点！你知道吗，离散时间系统就像是一个精确的时间管理者！比如说，我们日常生活中的数字时钟，每隔一秒跳一下，这就是离散时间系统的一个典型例子呀！
离散时间系统有个特别酷的特点，那就是它是一步一步来的，就跟我们走路一样，一步一个脚印，特别踏实。

比如说电脑程序里的按步骤执行，可不就是这样嘛！它不会一下子跳来跳去，而是稳稳当当按规定好的时间间隔来做事。

它还超级有规律呢！这不就像是学校的上下课铃声，每到固定的时间就会响起，丝毫不乱。

比如在一些自动化生产线上，每到一个特定的时间点就会进行特定的操作，这规律简直绝了！
而且哦，离散时间系统还像是一个记忆大师！它可以记住之前的状态，然后根据这些来决定下一步该怎么做。

就好比玩游戏的时候，你之前的操作都会被系统记住，然后影响接下来的发展。

离散时间系统的适应性也很强呀！要是环境或者条件变了，它也能快速调整自己。

这多像我们人呀，遇到不同情况也得灵活应变呢！比如在通信系
统中，信号的传输会受到各种干扰，但离散时间系统就能通过调整算法呀什么的来保证信号的质量。

离散时间系统的这些特点，难道不是超级有趣又很实用吗？它真的就像是一个默默工作但又超厉害的小能手，在各种领域都发挥着巨大的作用。

它让我们的生活变得更加有序、高效，也让科技发展得越来越快！真的，离散时间系统简直太了不起啦！。

离散控制系统的最优控制设计

离散控制系统的最优控制设计在离散控制系统中，最优控制设计是一项重要的任务。

通过优化控制器的设计和参数，可以实现系统的最佳性能，提高生产效率和质量。

本文将介绍离散控制系统最优控制设计的基本概念、方法和应用。

一、离散控制系统概述离散控制系统是一种通过离散化的时间步长来采样和控制系统状态的控制系统。

它与连续控制系统相比，采样周期间隔固定，信号量为离散的数值。

离散控制系统广泛应用于工业自动化、电力系统、交通运输等领域。

二、最优控制的基本概念最优控制是在给定约束条件下，使得系统在一段时间内或长期运行中达到最佳性能的控制设计。

最优控制设计需要考虑系统的各种参数和限制条件，并利用数学和优化理论来求解最优解。

三、离散控制系统的最优控制设计方法：1. 动态规划方法动态规划方法是一种解决最优控制问题的常用方法。

它将控制问题分解为一系列离散时间步的最优控制子问题，通过递推和迭代求解最优解。

2. 状态空间方法状态空间方法将系统的状态和控制输入转化为状态向量和控制向量的形式，建立离散时间下的状态空间模型。

通过优化状态空间模型的参数，可以得到最优控制器的设计。

3. 优化理论方法优化理论方法是一种利用数学优化理论和方法求解最优控制问题的方法。

通过构建系统的优化目标函数和约束条件，可以利用数学优化方法求解最优解。

四、离散控制系统最优控制设计的应用1. 工业自动化控制离散控制系统最优控制设计在工业自动化控制中有着广泛的应用。

通过优化控制器参数和设计，可以实现工业生产过程的高效运行，提高生产效率和质量。

2. 电力系统控制离散控制系统最优控制设计在电力系统中也有着重要的应用价值。

通过优化电力系统的控制策略和参数，可以实现电力系统的稳定运行和能源的高效利用。

3. 交通运输控制离散控制系统最优控制设计在交通运输控制中也有着广泛的应用。

通过优化交通信号灯的控制策略和参数，可以实现道路交通的高效运行，缓解交通拥堵问题。

五、结论离散控制系统的最优控制设计是提高系统性能和效率的重要手段。

离散时间系统分析

离散时间系统分析离散时间系统分析是指对离散时间信号和系统的特性进行研究和分析的过程。

离散时间信号是在时间上是离散的，而连续时间信号则是在时间上是连续的。

离散时间系统是指对离散时间信号进行输入输出变换的系统。

离散时间系统分析主要包括对离散时间信号和系统的表示、性质、分析和设计等方面的内容。

离散时间信号的表示离散时间信号可以通过数学方法进行表示和描述。

常用的表示方法包括序列表示法和函数表示法。

序列表示法是离散时间信号的一种常见表示方式，它将离散时间信号看作是一个序列，表示为一个有序的数值列表。

序列可以分为有限序列和无限序列两种。

有限序列表示了在有限时间内的信号取值，而无限序列表示了在无限时间内的信号取值。

函数表示法是另一种常用的离散时间信号的表示方式，它使用数学函数来描述信号的取值。

函数表示法更加灵活，可以表示各种复杂的离散时间信号，如周期序列、随机信号等。

离散时间系统的性质离散时间系统可以根据其性质进行分类和分析。

其中包括线性性、时不变性、因果性和稳定性等。

线性性是指系统的输出与输入之间存在线性关系。

如果系统满足输入信号的线性性质，那么对于任意输入信号x1(n)和x2(n)，以及对应的输出信号y1(n)和y2(n)，系统将满足以下性质：•线性叠加性：对于任意的实数a和b，有系统对于输入信号ax1(n)+bx2(n)的输出为ay1(n)+by2(n)。

时不变性是指系统的输出与输入之间的关系不随时间的变化而变化。

如果系统满足输入信号的时不变性质，那么对于任意输入信号x(n)和对应的输出信号y(n)，如果将输入信号延时d个单位时间，那么对应的输出信号将也会延时d个单位时间。

因果性是指系统的输出只取决于当前和过去的输入值，不受未来输入值的影响。

如果系统满足输入信号的因果性质，那么对于任意n的值，系统的输出信号y(n)只取决于输入信号x(n)及其过去的值。

稳定性是指系统的输出有界，不会无限增长。

如果系统满足输入信号的稳定性质，那么对于任意有界输入序列，输出序列也将是有界的。

离散控制系统中的最优控制

离散控制系统中的最优控制离散控制系统是指由一系列离散（非连续）的控制器构成的系统，它对系统进行离散化处理和采样，并根据采样值进行控制。

在离散控制系统中，最优控制是一种优化问题，旨在找到使给定性能指标最小化或最大化的控制策略。

本文将介绍离散控制系统中的最优控制方法和应用。

一、动态规划方法动态规划是离散控制系统最优控制的常用方法之一。

它通过将控制问题划分为一系列互相关联的子问题，逐步求解并获得最优解。

动态规划方法有以下几个步骤：1. 状态定义：将系统的状态用离散变量表示，例如状态矢量。

2. 动态规划递推方程：建立系统状态在不同时间步长之间的递推关系，用于计算最优解。

3. 边界条件：确定初始和终止条件，保证递推方程的有效求解。

4. 最优化准则：选择适当的性能指标，例如代价函数或效用函数，作为最优化准则。

5. 迭代求解：根据动态规划递推方程和最优化准则进行迭代求解，得到最优控制策略。

动态规划方法在离散控制系统中有广泛的应用。

例如，在机器人路径规划和自动化生产线调度等领域，动态规划方法可以帮助确定最优路径和最优调度策略，实现系统的高效控制。

二、最优控制理论最优控制理论是离散控制系统中另一种常用的最优控制方法。

它通过优化控制问题的最优化准则，找到使性能指标达到最小值或最大值的控制策略。

最优控制理论的核心是求解最优控制问题的最优化方程。

最优控制问题的最优化方程通常通过极值原理或哈密顿-雅可比-贝尔曼（HJB）方程来建立。

这些方程使用众多数学工具，如变分法和微分几何学，将控制问题转化为求解偏微分方程或变分问题。

通过求解最优化方程，可以得到最优控制器的具体形式和参数。

最优控制理论在离散控制系统中具有重要的应用价值。

例如，在飞行器姿态控制和无线传感网络中，最优控制理论可以帮助设计出具有最佳性能的控制器，提高系统的稳定性和响应速度。

三、模型预测控制（MPC）模型预测控制是离散控制系统中一种基于模型的最优控制方法。

它将系统建模为一个预测模型，并根据预测模型的结果来制定最优控制策略。

系统最优控制

T
最优控制u*应满足：
T V V F ( X , u , t ) t f ( X , u , t ) t t 0 min t X u
V与u无关！

T V V F ( X , u , t ) f ( X , u , t ) min 0 t X u
• 此外，构成最优控制理论及现代最优化技术理论基础的代表性工
作，还有不等式约束条件下的非线性最优必要条件(库恩— 图克定理)以及卡尔曼的关于随机控制系统最优滤波器等。
简述
• 控制系统的分析(System Analysis)和综合设计 •
•
• • •
(System Synthesis)是系统研究的两大课题。系统的分析是在建立控制系统的数学模型的基础上，分析系统的各种性能，如系统稳定性、能观性、能控性等，这在前面的章节已经做过介绍。系统综合或系统设计的任务是设计系统控制器，以改善原系统的性能，达到系统要求的各种性能指标。系统综合可分为常规综合(Conventional Synthesis ) 和最优综合(Optimal Synthesis)。常规综合只满足系统的某些笼统的指标要求，如稳定性、快速性及稳态误差。最优综合（控制）是确保系统某种指标最优的综合，如最短时间、最低能耗等。
它是最优控制理论的主要组成部分和该理论发展史上的一个里程碑。对于“最大值原理”，由于放宽了有关条件的使得许多古典变分法和动态规划方法无法解决的工程技术问题得到解决，所以它是解决最优控制问题的一种最普遍的有效的方法。同时，庞特里亚金在《最优过程的数学理论》著作中已经把最优控制理论初步形成了一个完整的体系。
最优控制问题的描述

离散时间平均场二次最优控制问题

离散时间平均场二次最优控制问题冀鹏飞【摘要】讨论了带有约束终端的离散时间系统的平均场随机线性二次型最优控制问题.利用拉格朗日乘子定理,在线性二次最优控制问题成立的条件下,给出了状态反馈解的一个必要条件.从某种意义上说,本文可以看作是平均场离散时间随机线性二次最优控制问题的推广.【期刊名称】《德州学院学报》【年(卷),期】2018(034)002【总页数】7页(P8-14)【关键词】随机二次最优控制;离散时间系统;平均场理论;拉格朗日乘子定理【作者】冀鹏飞【作者单位】山东科技大学数学与系统科学学院,山东青岛 266000【正文语种】中文【中图分类】O2321 引言1958年,贝尔曼开始研究二次型最优控制.1960年卡曼建立了基于状态反馈的线性二次型最优控制理论,并在最优控制理论中引入了黎卡提微分方程.这样就可以用统一的解析式来表示线性二次型最优控制的解,且得到一个简单的线性状态反馈控制律,从而构成闭环最优控制.同时线性二次型最优控制问题还可以兼顾系统的性能指标等多方面的因素,如它可以把得到的最优反馈控制与非线性系统开环最优控制结合起来,可以减少开环系统的误差,得到更精确的结果.从20世纪50年代末开始,控制理论进入了一个新的发展时期,它所研究的对象扩展为多输入多输出的,非线性的,时变的离散时间系统,它涉及到了线性控制,自适应控制,最优控制,鲁棒控制,非线性控制,控制系统CAD等理论和方法.今天,随着被控模型的复杂性,不确定性和规模的增大,传统的基于精确的数学模型的控制理论的局限性日益明显. 众所周知,系统很容易受到各种限制因素的影响,例如温度、压力等.因此受约束的随机线性二次最优控制问题的研究是一个非常重要的课题.文献[1]针对模型自由的随机线性离散时间系统,通过Q学习算法,求解无限时间随机线性二次最优控制问题.文献[2]研究了离散时间随机二次最优控制问题.文献[3]考虑了具有确定性系数的平均场随机微分方程的线性二次最优控制问题.在文献[4]中,研究了在无限时间范围内存在的平均场二次最优控制问题.文献[5]提出了有限时域随机最优控制模型的数值方法,推导出了随机最小值原理,并在此基础上提出了一种基于最小值原理直接求解的数值方法.文献[6]研究一类基于社交影响力和平均场理论的信息传播动力学模型,在针对影响力度量中主要研究静态拓扑结构,利用平均场理论来忽略个体行为特征,提出了一种基于动态节点行为和用户影响力的信息传播动力学模型.本文利用凸分析的拉格朗日乘子定理研究带终端的随机线性二次最优控制问题,并且将平均场理论应用到最优控制问题中,可以最大限度的减小噪声对系统的影响,并能方便的处理噪声方面的问题.同时验证了平均区域随机二次最优控制问题存在线性反馈最优解的必要条件,其结果可以看作是平均场离散时间随机二次最优控制问题的推广.为了方便,给出以下定义：M'是矩阵M的转置；Tr(M)是矩阵M的迹；当M>0(M≥0)时,M为正定矩阵；Ex代表随机变量x的数学期望,Rm×n为n×m矩阵；N={0,1,2,…,T}；并且令2 问题陈述考虑以下形式的平均区域离散时间系统(1)bi1x1T+bi2x2T+…+binxnT=ξi, i=1, 2,…, r(2)其中是给定的矩阵值函数；xt和ut分别是状态过程和控制过程；E[ωt]=0和E[ωtωt]=δst是一个二阶过程,δst是Kronecker函数；ωt, t∈N是定义在概率空间(Ω, F, P)上的一维的标准Brown运动,Ft=σ(ωs:s∈N+)为Brown运动生成的信息流.u(.)属于允许控制集(3)ξi为给定的FT可测的平方可积随机变量,即E|ξi|<+,bij为已知实数,i=1,2,…,r;j=1,2,…,n. 令Nr×n=(bij)r×n,ξ=(ξ1,ξ2,…,ξr)′,则约束(2)可写为NT=ξ,在这里假设N为行满秩.表述本文主要定理之前,首先给出本文要用到的拉格朗日乘子定理和一些重要的引理.定义1[7] 设X为向量空间,Y为赋范线性空间,T为X到Y的变换,对x,h∈X,如果极限(4)存在,称此极限为T在x处方向h的方向导数或Gateaux导数.若对任意的h∈X,上述极限都存在,则称T在x处为 Gateaux 可导.定义2[7] 设X,Y为赋范线性空间,T为定义于X到Y的变换.对于给定的x∈D,h∈X,T在x处为Gateaux 可导,Gateaux导数δTx; h∈Y关于h为有界线性变换,且满足则称T在x处为 Frechet 可导,δTx, h为T在x处h的 Frechet 导数.定义3[7] 设Tx为定义于Banach空间X到Banach空间Y的变换,且有连续的Frechet导数.若对x0∈D,δTx; h为从X到Y的满射,则称x0为变换T的正则点. 引理1 [7] 设fx是定义于 Banach 空间X上具有连续的Frechet导数的实值函数,Hx为X到Banach空间Z的映射,x0为变换Hx的正则点.若fx在约束Hx=0下在x0处达到极值,则存在Z上有界线性泛函使Lagrang泛函在x0处有驻点,即†Hx0; h=0,对所有h∈X都成立.在本节的最后再给出一个关于广义逆矩阵的引理.引理2[8] 给定M∈Rm×n,则存在唯一的M†∈Rn×m,满足矩阵M†称为M的 Moor-Penrose 广义逆.3 主要结论对于离散时间控制系统(1),给出关于可容许控制集Uad的目标函数(5)其中是对称矩阵.定义4 如果存在u0∈Uad 满足Jx0, u0=infJx0, u，>-, u∈Uad(6)则称u0为最优控制,系统(1)为适定的.为最优轨迹,Jx0,u0为最优目标函数.如果线性反馈控制对问题(1)和(6)是最优的,那么它在下列形式的反馈中也是最优的(7)其中Lt, t∈NT-1是矩阵值函数,为最优状态反馈控制.把(7)代入(1),则二次最优控制问题变为以下形式(8)称Lt, t∈N为新的控制集.令通过(8)式可以得到(9)X0=Ex0x0′(10)把(9)和(10)代入(5),经过简单的变形得到目标泛函如下其中约束终端(2)变为(11)最优控制问题归结为以下形式目标泛函Jx0, u可视为定义在空间Cm×n[0,T]×Cm×n[0,T]上,其中Cm×n[0,T]为所有元素是[0,T]上连续函数的n阶方阵构成的空间；(9)式和(10)式定义了从Cm×n×Cm×n到Cn×n的变换(12)而(11)式定义了从Cn×n[0,T] 到Rr×r的变换G(XT)=NXTN′从而约束(9)式,(10)式,(11)式可表示成为(13)下面来证明和有连续的Frechet 导数.定理都有连续的 Frechet 导数,且导数为δHX( ΔXt+1)=-ΔXt+1(14)(15)的 Fretchet 导数为其中是矩阵值连续函数.证明在这里只证明(14)式,其他证明过程跟(14)式相似. 令Xαt=Xt+αΔXt,通过定义1,能够得出(16)其中(17)令α→0,可以得出(14).定理2 如果存在(18)是最优控制,那么存在对称矩阵和λ∈Rr×r满足(19)(20)证明设是(5)式的最优解,通过定理2,可以得到对称矩阵和满足以下等式δJXΔXt+δHXΔXt+1+δHXΔXt+δGΔXT=0(21)δJLΔLt+δHLΔHt=0(22)由于那么(21)式和(22)式变为NΔXTN'-TrPTΔXT=0由于ΔXt和ΔXT相互独立,则(19)式证出.通过类似的方法,(20)式也可以被证出.结论1 如果(8)式,(11)式,(18)-(20)式存在解是最优控制,则最优目标函数满足其中把(16)式代入(5)式,经简单变形,就可得到上述结论.推论1 对于平均场二次最优控制问题,如果满足则满足≥0,t∈T.此证明过程与参考文献[9]的证明过程相似,不再加以赘述.4 数值例子考虑一个周期为3的数值例子满足其系数值为借助于Riccati方程(12)和(18),可以得到Riccati解为应用结论1,可以得到最优控制其中5 总结主要研究了平均场线性二次最优控制问题.借助于拉格朗日乘子定理,给出了该问题存在最优解的必要条件,并计算出了状态反馈最优解.将平均场理论应用到最优控制问题中,可以最大限度的减小噪声对系统的影响并能方便的处理噪声问题.最后通过一个数值例子验证了结论的正确性.参考文献:[1] 么彩莲,王涛.模型自由的离散时间系统的随机线性二次最优控制问题[J].辽宁石油化工大学学报,2016,36(6):64-68.[2] X.K.Liu.Y.Li,W.H.Zhang.stochastic linear quadratic optimal control with constraint for discrete-time systems[J].Applied Mathematics and Computation,2014,228(9): 264-270.[3] J.M.Yong.A linear-quadratic optimal control problem for mean-field stochastic differential equations[J].SIAM J.Control andOptim,2013,51(4):2809-2838.[4] Y.N.Ni,R.Elliott,X.Li.Discrete-time mean-field stochastic linear-quadratic optimal control problems,: Infinite horizoncase[J].Automatica,2013,57(11):65-77.[5] P.Parpas,M.Webester.A stochastic minimum principle and an adaptive pathwise algorithm for stochastic optimalcontrol[J].Automatica,2013,49(6):1663-1671.[6] 肖云鹏,李松阳,刘宴兵.一种基于社交影响力和平均场理论的信息传播动力学模型[J].物理学报,2017,66(3):1-13.[7] D.G.Luenberger,Optimization by vectors Space Methods[M].Wiley,New York,1968.[8] M.A.Rami.J.B.Moore.X.Y.Zhou.Indefinite stochastic linear quadratic control and generalized differential Riccati equation[J].SIAM J.Control &Optimization,2001,40:1296-1311.[9] R.J.Elliott,X.Li,Y.H.Ni.Discrete-time mean-field stochastic linear-quadratic optimal control problems[J].Automatica,2013,49:3222-3223.。

最优控制

(3)
j [ x ( t 0 )] 0
j 1, 2, ..., m m ≤ r
相应的始端集为 Ω 0 { x ( t 0 ) | j [ x ( t 0 )] 0} 此时，
x (t0 ) Ω 0
称之为可变始端。
四、明确终端条件固定终端：终端时刻 tf 给定，终端状态自由终端：终端时刻 tf 给定，终端状态

最优控制 26
§6-3 静态最优化问题的解 (10)
⑵ 拉格朗日乘子法（增元法）约束条件 × 新的可调整函数乘子λ ＋目标函数
H J g r , l
没有约束条件的三元函数取得极值的条件：
H l 0 H r 0 H 0
最优控制 27
§6-4 离散时间系统的最优控制 (1)
2
...

2
fu
u
2 2
... ... ...
... f
2
u nu 2
u1 u n 2 f u 2 u n 2 f 2 u n f
2
最优控制 21
§6-3 静态最优化问题的解 (5)
例题6-1 设：
f ( x ) 2 x1 5 x 2 x 3 2 x 2 x 3 2 x 3 x1 6 x 2 3
最优控制 9
§6-1 概述
五、静态优化和动态优化
(6)
1. 静态优化：若变量 x 与时间无关，为静态优化。
2. 动态优化：在最优控制系统中，受控对象是一个动态系统，所有的变量都是时间的函数，为动态优化。
3. 静态优化和动态优化的关系在动态优化中，将时域 [t0，tf] 分成许多有限区段，在每一个区段中将变量近似看作常量，则动态优化问题可近似按分段静态优化问题来处理； —— 离散时间优化问题！

《2024年离散广义系统的H_∞控制及有限时间控制》范文

《离散广义系统的H_∞控制及有限时间控制》篇一离散广义系统的H∞控制及有限时间控制一、引言随着现代控制理论的发展，离散广义系统因其独特的数学结构与广泛的应用背景，已成为控制理论研究的重要方向。

H∞控制作为一种有效的鲁棒控制方法，在处理系统不确定性和外部扰动方面具有显著优势。

同时，有限时间控制则关注于在特定时间内达到控制目标，具有快速响应和高效能的特点。

本文将探讨离散广义系统的H∞控制和有限时间控制的原理、方法及实际应用。

二、离散广义系统的H∞控制1. H∞控制基本原理H∞控制是一种基于H∞范数的优化控制方法，其基本思想是通过设计控制器，使闭环系统的传递函数在H∞范数意义下达到最优。

H∞控制能够有效处理系统的不确定性及外部扰动，提高系统的鲁棒性。

2. 离散广义系统的H∞控制方法对于离散广义系统，H∞控制方法主要包括状态反馈控制和输出反馈控制。

在状态反馈控制中，通过引入状态观测器对系统状态进行估计，然后根据估计状态设计控制器。

在输出反馈控制中，直接根据系统输出设计控制器。

这两种方法均可实现系统的H∞控制。

三、有限时间控制1. 有限时间控制基本原理有限时间控制是指在特定时间内达到控制目标的一种控制方法。

其核心思想是通过设计合适的控制器，使系统在有限时间内快速达到稳定状态或完成预定任务。

2. 离散广义系统的有限时间控制方法对于离散广义系统，有限时间控制方法主要包括基于Lyapunov函数的控制和基于优化算法的控制。

基于Lyapunov函数的控制通过构造适当的Lyapunov函数，设计控制器使系统在有限时间内达到稳定状态。

基于优化算法的控制则通过优化算法求解最优控制器，使系统在有限时间内快速达到预定目标。

四、应用实例与分析以某离散广义系统为例，分别采用H∞控制和有限时间控制方法进行仿真实验。

实验结果表明，H∞控制能够有效提高系统的鲁棒性，降低外部扰动对系统的影响；而有限时间控制则能在特定时间内快速达到控制目标，具有快速响应和高效能的特点。

第6章最优控制

6.12.4 输出调节器问题 1.输出调节器的任务是当系统受到外扰时，在不消耗过多能量的前提下，维持系统的输出矢量接近其平衡状态。 1.线性时变系统输出调节器问题给定一个能观的线性时变系统：
性能泛函为：
于是可以用状态调节器上式来确定最优控制：
式中，
为下列黎卡提距阵微分方程的解：
边界条件：
2. 线性定常系统输出调节器问题给定一个完全能控、能观的线性定常系统：
式中，成，即
为正定(或半正定)对称阵；是由输出变量
为正定对称阵。的线性负反馈所构
如上所述，设控制变量
闭环系统结构图示如下图所示：
从图可得闭环系统的状态方程：（1）
式中，
为闭环系统的状态矩阵。
此时，性能指标演化为：
（2）式中在规定了系统结构的情况下，设计任务就是确定输出反馈矩阵K，使性能指标式(2)取极值。对渐近稳定系统式(1)，构造一个李雅普诺夫函数：
状态轨线及开关曲线最优控制律转移到终态(0，0)。
为了使系统的状态能以最小时间从初态
当初态所划位置不同时，应当采取的控制规律不同。但是，凡不在开关曲线上的点，至少要经过一次切换，转到开关曲线后才能沿着 γ+或γ-到达原点(0， 0)。因此，按照初态所处的位置可得到下列最优控制规律：
若将开关曲线写成：
（3）将上式两边求导数，得：
对于渐近稳定的系统，当为此，令：式中Q 为正定的实对称阵。因此是负定的。比较式（5）和式（3）可得：
必须为负定。（4）
（5）
（6）
将式（6）代入式（2），得性能指标：
由于A 所有特征值均具负实部，故有
，从而下式成立：（7）
此外，反馈矩阵K 亦不能从李雅普诺夫方程：（8）

基于Q学习算法的随机离散时间系统的随机线性二次最优追踪控制

基于Q学习算法的随机离散时间系统的随机线性二次最优追踪控制作者：张正义赵学艳来源：《南京信息工程大学学报》2021年第05期摘要针对随机线性离散时间系统，利用Q学习算法求解无限时域的随机线性二次最优追踪控制（SLQT）问题.首先，假设通过命令生成器生成追踪所需的参考信号，并建立一个由原随机系统和参考轨迹系统组成的增广系统，把最优追踪问题转化为最优调节问题的形式.其次，为了在线求解随机系统的最优追踪问题，将随机系统转为确定性系统，并根据增广系统定义随机线性二次最优追踪控制的Q函数，在无需知道系统模型参数的情况下在线求解增广随机代数方程（GSAE）.再次，证明了Q学习算法和增广随机代数方程的等价性，给出了Q学习算法实现步骤.最后，给出一个仿真实例说明Q学习算法的有效性.关键词随机系统;Q学习算法;最优追踪控制;随机代数方程中图分类号O232;TP13文献标志码A收稿日期2021-09-12资助项目国家自然科学基金（61873099，62073144）;广东省自然科学基金（2020A1515010441）;广州市科技计划（202002030158，202002030389）作者简介张正义，男，硕士生，研究方向为自适应动态规划、最优控制、强化学习***********************赵学艳（通信作者），女，副教授，硕士生导师，主要从事随机系统和非线性系统的稳定性与镇定，复杂系统的建模、分析和控制的研究******************.cn1华南理工大学自动化科学与工程学院，广州，5106400引言最优控制的目标是找到最优的控制策略，使得被控系统达到指定目标状态的同时，使系统预定义的性能指标为最小.最优控制问题主要有两个研究方向，分别是最优调节问题和最优追踪问题.对于線性系统的二次调节（Linear Quadratic Regulator，LQR）问题，传统方法通常是通过离线求解其对应的代数里卡蒂（Riccati）方程，这种方法需要完全已知系统参数的全部动力学信息[1-2].但是，在实际情况下，系统动力学信息完全已知的条件难以满足，传统方法不可能得到解析解.所以，通常需要在系统参数未知的情况下在线求解最优控制器，因此利用自适应动态规划（Adaptive Dynamic Programming，ADP）和神经网络方法求解最优控制在近些年备受关注.自适应动态规划[3]是在系统参数未知或系统参数不确定的情况下设计系统的控制器，不需要提前知道系统动力学信息，充分利用系统的状态信息在线求解最优控制.近些年来，ADP方法在离散系统和连续系统中有了广泛的应用.文献[4]针对连续时间线性系统提出了自适应动态规划方法，在系统参数矩阵部分未知的情况下得到最优控制器;文献[5]进一步针对连续时间线性系统提出了一种自适应策略迭代方法，在系统参数完全未知的情况下得到最优控制器;文献[6]针对线性离散时间系统的追踪问题使用强化Q学习方法，在系统参数完全未知的情况下求解最优控制器.随机系统控制理论由于其自身的学术难度以及广泛的应用领域，已成为控制理论的重要组成部分与研究热点[7-8]，尤其是随机系统的最优控制问题受到越来越多的关注.与确定性问题相似，随机系统的线性二次最优控制问题（Stochastic Linear Quadratic，SLQ）的可解性等价于随机代数Riccati方程的可解性，文献[9]研究了线性终端状态约束下不定随机线性二次最优控制问题，文献[10]研究了具有乘性噪声的随机离散系统的带约束线性二次最优控制问题，但是文献[9-10]需要完全已知的系统参数信息.因此，文献[11]针对随机连续时间系统在系统参数部分未知的情况下提出了策略迭代方法求解随机系统的最优控制问题，文献[12]针对系统参数完全未知的随机线性离散系统提出了使用自适应动态规划的方法求解最优控制问题，文献[13]针对模型自由的随机线性离散系统提出了Q学习算法求解最优控制问题.相较于最优调节问题，最优追踪问题在现实中往往有更多的应用，例如文献[14]针对参数未知的随机离散系统提出了基于神经网络的自适应动态规划方法求解最优追踪控制问题.求解系统的最优控制问题，大多需要系统的完全动力学信息，使用Q学习算法的优点是不用直接求解复杂的随机代数方程，而是充分利用系统的状态信息在线求得系统的最优控制.受到文献[13-14]的启发，本文针对离散时间系统的随机线性二次最优追踪控制问题，提出了解决随机线性二次最优追踪控制的Q学习算法，给出算法的具体实现步骤，使用Q学习算法在线解决追踪控制问题而无需系统模型参数，最后给出仿真实例，表明系统输出可以有效地追踪参考轨迹.本文的结构安排如下：第一节对问题进行描述，定义参考信号系统，将原随机系统和参考信号系统组成增广系统，把最优追踪问题转化为最优调节问题的形式;第二节对随机系统进行了问题转变，将随机系统转化为确定性系统;第三节推导了Q函数;第四节给出算法的具体实现步骤;第五节给出仿真实例;第六节对全文进行了总结.1问题描述给定随机离散时间线性系统为2问题转换目前，确定性系统的最优追踪控制问题有着广泛的研究并且已经得到了很好的解决，随机系统因为随机参数的存在使得系统输出轨迹存在不确定性，且性能指标函数带有期望，在线算法无法实现期望功能.因此本节通过系统转变将随机系统转变为确定性系统，进而将随机系统的最优追踪控制问题转化为确定性的系统最优追踪控制问题.6结论通常来说，求解随机最优追踪控制问题需要完全的系统参数信息，本文针对离散时间系统的随机线性二次最优追踪控制问题，推导了Q学习算法，给出算法的具体实现步骤，使用Q 学习算法在线解决追踪控制问题而无需系统模型参数，最后给出仿真结果表明系统输出可以有效地追踪参考轨迹.参考文献References[1]Byers R.Solving the algebraic Riccati equation with the matrix sign function[J].Linear Algebra and Its Applications，1987，85：267-279[2]Kleinman，D.On an iterative technique for Riccati equation computations[J].IEEE Transactions on Automatic Control，1968，13（1）：114-115[3]Wang F Y，Zhang H G，Liu D R.Adaptive dynamic programming：an introduction[J].IEEE Computational Intelligence Magazine，2009，4（2）：39-47[4]Vrabie D，Pastravanu O，Abu-Khalaf M，et al.Adaptive optimal control for continuous-time linear systems based on policy iteration[J].Automatica，2009，45（2）：477-484[5]Jiang Y，Jiang Z putational adaptive optimal control for continuous-time linear systems with completely unknown dynamics[J].Automatica，2012，48（10）：2699-2704[6]Kiumarsi B，Lewis F L，Modares H，et al.Reinforcement Q-learning for optimal tracking control of linear discrete-time systems with unknown dynamics[J].Automatica，2014，50（4）：1167-1175[7]Zhao X Y，Deng F Q.Divided state feedback control of stochastic systems[J].IEEE Transactions on Automatic Control，2015，60（7）：1870-1885[8]Zhao X Y，Deng F Q.A new type of stability theorem for stochastic systems with application to stochastic stabilization[J].IEEE Transactions on Automatic Control，2016，61（1）：240-245[9]黃玉林，张维海.约束随机线性二次最优控制的研究[J].自动化学报，2006，32（2）：246-254HUANG Yulin，ZHANG Weihai.Study on stochastic linear quadratic optimal control with constraint[J].Acta Automatica Sinica，2006，32（2）：246-254[10]Liu X K，Li Y，Zhang W H.Stochastic linear quadratic optimal control with constraint for discrete-time systems[J].Applied Mathematics and Computation，2014，228：264-270[11]王涛，张化光.基于策略迭代的连续时间系统的随机线性二次最优控制[J].控制与决策，2015，30（9）：1674-1678WANG Tao，ZHANG Huaguang.Stochastic linear quadratic optimal control for continuous-time systems based on policy iteration[J].Control and Decision，2015，30（9）：1674-1678[12]Wang T，Zhang H G，Luo Y H.Infinite-time stochastic linear quadratic optimal control for unknown discrete-time systems using adaptive dynamic programming approach[J].Neurocomputing，2016，171：379-386[13]Wang T，Zhang H G，Luo Y H.Stochastic linear quadratic optimal control for model-free discrete-time systems based on Q-learning algorithm[J].Neurocomputing，2018，312：1-8[14]Chen X，Wang F.Neural-network-based stochastic linear quadratic optimal tracking control scheme for unknown discrete-time systems using adaptive dynamic programming[J].Control Theory and Technology，2021，19（3）：315-327References[1]Byers R.Solving the algebraic Riccati equation with the matrix sign function[J].Linear Algebra and Its Applications，1987，85：267-279[2]Kleinman，D.On an iterative technique for Riccati equation computations[J].IEEE Transactions on Automatic Control，1968，13（1）：114-115[3]Wang F Y，Zhang H G，Liu D R.Adaptive dynamic programming：an introduction[J].IEEE Computational Intelligence Magazine，2009，4（2）：39-47[4]Vrabie D，Pastravanu O，Abu-Khalaf M，et al.Adaptive optimal control for continuous-time linear systems based on policy iteration[J].Automatica，2009，45（2）：477-484[5]Jiang Y，Jiang Z putational adaptive optimal control for continuous-time linear systems with completely unknown dynamics[J].Automatica，2012，48（10）：2699-2704[6]Kiumarsi B，Lewis F L，Modares H，et al.Reinforcement Q-learning for optimal tracking control of linear discrete-time systems with unknown dynamics[J].Automatica，2014，50（4）：1167-1175[7]Zhao X Y，Deng F Q.Divided state feedback control of stochastic systems[J].IEEE Transactions on Automatic Control，2015，60（7）：1870-1885[8]Zhao X Y，Deng F Q.A new type of stability theorem for stochastic systems with application to stochastic stabilization[J].IEEE Transactions on Automatic Control，2016，61（1）：240-245[9]黃玉林，张维海.约束随机线性二次最优控制的研究[J].自动化学报，2006，32（2）：246-254HUANG Yulin，ZHANG Weihai.Study on stochastic linear quadratic optimal control with constraint[J].Acta Automatica Sinica，2006，32（2）：246-254[10]Liu X K，Li Y，Zhang W H.Stochastic linear quadratic optimal control with constraint for discrete-time systems[J].Applied Mathematics and Computation，2014，228：264-270[11]王涛，张化光.基于策略迭代的连续时间系统的随机线性二次最优控制[J].控制与决策，2015，30（9）：1674-1678WANG Tao，ZHANG Huaguang.Stochastic linear quadratic optimal control for continuous-time systems based on policy iteration[J].Control and Decision，2015，30（9）：1674-1678[12]Wang T，Zhang H G，Luo Y H.Infinite-time stochastic linear quadratic optimal control for unknown discrete-time systems using adaptive dynamic programming approach[J].Neurocomputing，2016，171：379-386[13]Wang T，Zhang H G，Luo Y H.Stochastic linear quadratic optimal control for model-free discrete-time systems based on Q-learning algorithm[J].Neurocomputing，2018，312：1-8[14]Chen X，Wang F.Neural-network-based stochastic linear quadratic optimal tracking control scheme for unknown discrete-time systems using adaptive dynamic programming[J].Control Theory and Technology，2021，19（3）：315-327。

离散系统最优控制

4.1 离散变分法与Euler方程
为了简单起见，先不考虑系统方程的约束。设泛函求极值问题为:
k f 1
min J (x(k), x(k 1),k)
k0
令 x(k) x (k) x(k)，式中，x (k) 为最优轨线，x(k) 为
x(k) 的一次变分，这是在离散时刻k时的一次变分。
事实上，连续系统中的变分概念，同样可以在各个离散时刻上使用。同样可以得出泛函极值存在的必要条件是
4.2离散系统最优控制
泛函求极值
k f 1
min u(k
s.t.
J
)
[x(k f
x(k 1)
), k f ] g ( x(k ),
( x(k ), u (k ),
k k0
u(k), k), x(k0 )
k) x0
(4 3)
化为无约束优化问题，
k f 1
min J u(k)
[x(k
(
x(k
),
x(k
1),
k
)
k k0
x(k 1)
kf
1
xT
(k)
( x(k
1), x(k),k
1)
xT
(k)
( x(k
1), x(k),k
1)
k k0
x(k)
x(k) kf
xT (k) (x(k 1), x(k),k 1)
x(k) k0
kf xT (k) (x(k 1), x(k),k 1) xT (k) (x(k 1), x(k),k 1)
由于已知 x Rn,u Rm, 换言之，x和u 可以分别在实n维空间和实m维空间中任取，即x和u是任意的，因此，可以取 x(k) 0,u(k) 0. 于是，泛函极值存在的必要条件可化为

5 离散时间系统最优控制

x ( 0) x 0 L x ( N 1), x ( N ), N 1 0 ( ) x N
（5-2-9）
综上所述，离散Lagrange问题（5-2-1）的极值若存在，其极值解 x * ( k ) 必满足Euler方程
Lk L k 1 0 x ( k ) x ( k )
N 1 k 0
[ x(k ) x(k 1)] B u(k )
(5-1-5)
k 0
N 1
。则该多级萃取过程寻求收益最大化问题就可以描述为一个离 V 散最优控制问题，即要确定一组最优控制序列u(k)( k = 0,1,…, N-1)，使性能
指标J达到最大。
(2) 离散系统最优控制问题的提法
给定离散系统状态方程
x ( k 1) f [ x ( k ), u( k ), k ], k 0,1, , N 1
和初始状态
(5-1-6) (5-1-7)
x (中x ( k ) R , u( k ) R 分别为状态向量和控制向量，f 为连续可微的n维
注意：是λ(k+1)，不是λ(k)
则有
Lk ( k 1) x ( k ) Lk 1 (k ) x ( k )
(5-2-16) (5-2-17) (5-2-18) (5-2-19) (5-2-20) (5-2-21) (5-2-22) (5-2-23) (5-2-24)
9
考虑 J 中，
Lk
Lk 1
1 2 (5-2-14) u ( k ) ( k 1)[ x ( k ) au( k ) x ( k 1)] 2 1 u 2 ( k 1) ( k )[ x ( k 1) au( k 1) x ( k )] (5-2-15) 2