随机控制理论导论
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
不相关。 以下我们来讨论一下估计问题，假定我们要估计线性函数 ， 我们把容许的估计器具有下述形式
而判别准则是使
取最小值。于是，状态估计问题简化为寻找函数u和向量b的问题。
对偶性
对于确定性控制估计问题的对偶性的证明，我们不能完全仿 效离散时间问题的分析。为此我们要改写判别准则。
估计器函数表现形式为：
卡尔曼滤波（ kalman）
卡尔曼滤波是系统的状态的最小方差滤波。离散时间系统的状 态方程为
协方差为
以下是卡尔曼滤波器的结构框图，它形象的表示了系统、观察 器与控制器间运动的联系
最优状态估计器 稳态估计器 稳态卡尔曼波器 估计的稳态协方差矩阵
作业
谢谢大家！
作业
x x min
亦即 P(k
|
j)
E[x(k)
^
(k
|
^
j)][ x(k) x(k
|
ห้องสมุดไป่ตู้
j)
^
(k
|
j)]
min
那么，这种
^
x(k
|
j)
称为x（k）的最小方差估计。
离散时间系统的状态估计
对于高斯过程和一大类的判别准则来讲，估计问题的解为条 件均值。我们现在考虑由状态方程
上式为最小来估计x（t+1）的问题。则函数g是对称的，且 对于正的自变量是非减的。
1.X（0）=0; 2.x(t)为正态； 3.对于所有t>0,Ex(t)=0; 4.过程具有独立平稳增量。
（一）状态估计
状态估计的目的 状态估计的定义 状态估计的分类 判断状态估计的好坏的准则 离散时间系统的状态估计 连续时间系统的状态估计
状态估计的目的
根据可获取的量测数据估算动态系统内部状态 的方法。对系统的输入和输出进行量测而得到的数 据只能反映系统的外部特性，而系统的动态规律需 要用内部（通常无法直接测量）状态变量来描述。 因此状态估计对于了解和控制一个系统具有重要意 义。 在随机控制中，对于线性二次高斯系统的情形， 先从观测估计出系统的状态，然后用状态的估计值 作反馈实现控制，这种线估计（滤波）后反馈（控 制），分两步走的做法的根据叫做分离原理。
状态估计的分类
状态估计可以分为：离散时间状态估计（数 学表现形式为随机差分方程），连续时间状 态估计（数学表现形式为随机微分方程）。
两种特殊的状态估计问题
随机控制理论主要研究当信号与噪声过程能表示成随机差分方程或随机 微分方程的两种特殊情形。
(1)离散时间情形下
X（t+1）=Φx（t）+v（t)
引进z，转化成微分方程：
初始条件为：
解微分方程得：
因此我们得知，若向量b选为
，则给出的估计对
所有的a和u的各种选择都是无偏估计。
定理6.1（对偶定理）
对于
所描述的系统的状态估计问题等价于
对确定线性系统
按照判别准则
寻找到最好的控制问题。
（二）卡尔曼滤波（ kalman）
当一个模型被表示为状态空间形式就可以对其应用一些重要 的算法求解。这些算法的核心是kalman滤波。 Kalman滤波是在时刻t基于所有可得到的信息计算状态向量 的最理想的递推过程。 Kalman滤波的主要作用是：当扰动项和初始状态向量服从 正态分布时，能够通过预测误差分解计算似然函数，从而可 以对模型中的所有位置参数进行估计，并且当新的观测值一 旦得到，就可以利用kalman滤波连续地修正状态向量的估计。
定理意味着
和
独立的。由于e（t）和 是独立
的，我们也有
引进
应用定理3.2，于是我们得到
其中
将式（4.8）、（4.9）和（4.13）结合起来，我们就得到以下的递 推方程
给出估计式。为了确定（4.15）是式的初始条件，我们看到 利用定理3.2我们得到
我们可以给（4.15）是的初始条件可给定为
由（4.1）式减去（4.15），得
Kalman滤波公式的修正
a P 设t1的t估1为计状量态，向量t1 表t示1的估均计值误，差也m是x基m于协信方息差集矩合阵，Y t即的1
a 当给定
和 时， t1
Pt 1
t
的条件分布的均值由下式给定
在扰动项和初始状态向量服从正态分布的假设下， 的条件分布的均值 是 在最小均方差意义下 的一个最优估计量。
状态估计的定义
我们要讨论的问题如下：考虑两个实的随机过程 {s(t),t∈T}，和{n(t)，t ∈T}，它们分别称为信号与 噪音。
假定其和为： y(t)=s(t)+n(t)
能表示成上式我们称y(t) 能观测或能测量。因而， 我们得到了在时刻t时可测量的一个实现y(Г)， t0≤Г≤t。基于这一现实，我们要确定在时刻t1信号 值的最好估计。若t1<t，则问题称为平滑问题或内 插问题。若t1=t，则称为滤波问题，而若t1＞t，则 称为预测与外推问题。
我们能够找到估计问题的各种不同表达式之间的等价性。首 先我们由观测给出的关于随机变量s的全部有关的统计信 息包含在条件分布：
之中。分布密度记作
。
无偏估计
若有
~
^
E[ x(k|j)]=E[x(k)- x(k|j)=0
则称 x^(k|j)为x(k)之无偏估计。对于无偏估计而言，估 计 x^(k|j)以相等的概率分布在x(k)的两边。
当扰动项和初始状态向量服从正态分布时能够通过预测误差分解计算似然函数从而可以对模型中的所有位置参数进行估计并且当新的观测值一旦得到就可以利用kalman滤波连续地修正状态向量的估计
《随机控制》 状态估计与kalman滤波
指导老师：王印松
主要内容
第一部分：状态估计 第二部分：卡尔曼（kalman）滤波
预备知识
高斯过程
若对每一个k及所有的 ti∈T，i=1，2，3…k，x（t1），x （ 斯t过2）程，或…正x态（t过k）程的。联合分布是正态的，则称随机过程为高
维纳过程 又称布朗运动过程。若用x（t）表示微粒在t时刻的坐标，则x （0）为初始位置，即x（0）=0.维纳过程可用下述条件来定 义它：
Kalman滤波的一般形式
滤波 考虑状态空间模型（信号方程）为：
其中：T表示样本长度， Z t 表示kxm矩阵，称
u 为量测矩阵，dt表示kx1向量， t 表示kx1
向量，是均值为0，协方差矩阵为 H t 的连续的
不相关扰动项，即
Kalman滤波公式的修正
在随机作用下的多输入与多输出的线性时变离散系统的状态方 程与输出方程可以写成
综上所述，我们得知估计误差是由随机差分方程决定的。我们有 因此，由（4.12）式定义的量P（t）是估计误差的协方差矩阵。将 （4.20）式乘上其转置，再取数学期望，我们可以得到协方差矩阵
P（t）的公式
初始条件可以写成：
连续时间系统的状态估计
我们要讨论连续时间过程的状态估计问题。目的是 为了导出卡尔曼-布西方程。连续时间问题要比离散 问题要困难得多。对于离散时间的情形，绝大多数 的分析都有可能在有限的维欧几里得空间中进行。 然而处理连续时间过程时，我们就需要无限维空间。 本节通过对偶性的概念间接地导出我们所要的结果。 首先将证明状态估计问题是确定性控制问题的对偶， 然后我们将利用确定性系统的最优控制理论的结果 来导出所要求的公式。
我们有
为计算给定y（t）后的条件期望，我们将变量进行转换，使 我得到独立变量。
是独立的。量
有时候称为时刻t的新息。因为它
是测量输出信号的一部分，而这部分信息包含着某些早先
不可能得到的信息。
因而，我们对给定 和 望问题，我们将用给定
时计算x（t+1）的条件期
和
的计算它的条件期
望来代替。于是我们有
其中最后一个等式由定理3.3而得。我们现在来计算（4.8）式的 右边各项。我们有
判断状态估计的好坏的准则
定义一个损失函数L(X) 无偏估计 最小方差估计
损失函数
在第五章已经讲过损失函数L(X)，它是一实函数，且 有性质：
(1)L(X)≥0 (2)L(X)=L(-X) (3)对于x>0,L(x)是非减的 我们假定最好的估计定义为使损失函数L(X)的均值取
极小值的那个估计，于是这时损失是随机变量L(s)，最好估计是将使平均损失EL(S- )取极小值。
Kalman滤波的一般形式
在随机作用下的多输入与多输出的线性时变离散系统的状态方 程与输出方程可以写成
x(k+1)y（k）=Φ(k+1,k)x(k)+G(k)u(k)+Г(k)w(k)……（2.1）
y（k）=Ɵ(k)x(k)+v(k)+z(k)
……（2.2）
其中{w(k),k∈T}是m维正态独立序列，称为模型噪声；{v(k), k∈T}是r维正态独立序列，称为测量噪声；x（k）是n维状 态变量；y（k）是r维输出量；nxn矩阵Φ(k+1,k)称为状态转 移矩阵；nxm矩阵Г(k)与rxn矩阵Ɵ(k)分别为输入与输出系 数阵；{x（0）}为正态随机变量；u（k）为已知的控制确定 性序列；z（k）为测量装置系统误差序列，而且w（k）与v （k）是相关的正交序列。
最小方差估计：设常矢量a和x(k)同维数，则aTx(k)
表示x（k）的某一个分量或者某些分量的线性组合。
最小方差估计
^
若估计 x(k | j) 使得
a J=E[
x a x T ~ (k | j)][
T ~ (k | j)]
~
aT E[ x (k |
j)
~T
x
(k
|
j ) ]a
aT P(k | j)a
状态估计的定义：
设矢量x（k)为待估计量，yi={ yT(1), yT(2),…，yT
（j）} 为对x（k）的实测值。若能根据yi决定一个 x（k)的近似值
x(k|j)=f(yi） 则x(k|j)称为根据yi决定的x(k)的估计。而
e(k|j)=x(k)-x(k|j) e(k|j) 称为 x(k)的估计误差。
下面就是我们要表达连续时间过程的状态估计问题。考虑由
描述的连续时间的随机过程，其中初始状态 具有均值m和 协方差矩阵R0。假定随机过程{v（t），t∈T}和{e（t）， t∈T}是 不相关的增量随机过程。假定其增量协方差分别为 和 。 还假定过程{v（t），t∈T}和{e（t）， t∈T}互不相关，且也不
其中第一个等式是根据（4.1)式，而第二个等式是根据在s≤t时 v（t)与e（s）独立而得。为了计算E[x（t+1）| ],我们 采用定理3.2，于是我们有
其中第二个式由（4.1）式和（4.7）式得到；第三个等式由协方的
定义得到；第四个等式则根据e（t），v（t）和x（t）的是独立
的且均值为零的得到。第五个等式是由定理3.2得到，因为由该
估计误差的协方差矩阵是
上式就是预测方程。
a a 一旦得到新的预测值
y t
，就能够修正
t 的估计
t|t1 ，更
新方程是
以上三式构成kalman滤波的公式。
给出一步向前状态条件均值，我们还可以的得到 前（线性）最小均方误差估计：
的一步向
一步向前预测误差可以通过下面的公式得到：
预测误差的方差被定义为：
（2.1）
y(t) =Ɵx(t)+e(t)
（2.2）
其中{v（t)}和{e（t）}是独立的高斯随机变量序列。
(2)在连续的时间情况下
dx=Axdt+dv
（2.3）
dy=Cxdt+de
（2.4）
其中{v（t）}与{e（t）}是维纳过程。
假定已观测到输出y（Г),t0≤Г≤t的实现，而我们要估计（2.1)与 （2.3）式的状态向量。这个特殊问题称为状态估计问题。
x(k+1)y（k）=Φ(k+1,k)x(k)+G(k)u(k)+Г(k)w(k)……（2.1）
y（k）=Ɵ(k)x(k)+v(k)+z(k)
……（2.2）
其中{w(k),k∈T}是m维正态独立序列，称为模型噪声；{v(k), k∈T}是r维正态独立序列，称为测量噪声；x（k）是n维状 态变量；y（k）是r维输出量；nxn矩阵Φ(k+1,k)称为状态转 移矩阵；nxm矩阵Г(k)与rxn矩阵Ɵ(k)分别为输入与输出系 数阵；{x（0）}为正态随机变量；u（k）为已知的控制确定 性序列；z（k）为测量装置系统误差序列，而且w（k）与v （k）是相关的正交序列。
而判别准则是使
取最小值。于是，状态估计问题简化为寻找函数u和向量b的问题。
对偶性
对于确定性控制估计问题的对偶性的证明，我们不能完全仿 效离散时间问题的分析。为此我们要改写判别准则。
估计器函数表现形式为：
卡尔曼滤波（ kalman）
卡尔曼滤波是系统的状态的最小方差滤波。离散时间系统的状 态方程为
协方差为
以下是卡尔曼滤波器的结构框图，它形象的表示了系统、观察 器与控制器间运动的联系
最优状态估计器 稳态估计器 稳态卡尔曼波器 估计的稳态协方差矩阵
作业
谢谢大家！
作业
x x min
亦即 P(k
|
j)
E[x(k)
^
(k
|
^
j)][ x(k) x(k
|
ห้องสมุดไป่ตู้
j)
^
(k
|
j)]
min
那么，这种
^
x(k
|
j)
称为x（k）的最小方差估计。
离散时间系统的状态估计
对于高斯过程和一大类的判别准则来讲，估计问题的解为条 件均值。我们现在考虑由状态方程
上式为最小来估计x（t+1）的问题。则函数g是对称的，且 对于正的自变量是非减的。
1.X（0）=0; 2.x(t)为正态； 3.对于所有t>0,Ex(t)=0; 4.过程具有独立平稳增量。
（一）状态估计
状态估计的目的 状态估计的定义 状态估计的分类 判断状态估计的好坏的准则 离散时间系统的状态估计 连续时间系统的状态估计
状态估计的目的
根据可获取的量测数据估算动态系统内部状态 的方法。对系统的输入和输出进行量测而得到的数 据只能反映系统的外部特性，而系统的动态规律需 要用内部（通常无法直接测量）状态变量来描述。 因此状态估计对于了解和控制一个系统具有重要意 义。 在随机控制中，对于线性二次高斯系统的情形， 先从观测估计出系统的状态，然后用状态的估计值 作反馈实现控制，这种线估计（滤波）后反馈（控 制），分两步走的做法的根据叫做分离原理。
状态估计的分类
状态估计可以分为：离散时间状态估计（数 学表现形式为随机差分方程），连续时间状 态估计（数学表现形式为随机微分方程）。
两种特殊的状态估计问题
随机控制理论主要研究当信号与噪声过程能表示成随机差分方程或随机 微分方程的两种特殊情形。
(1)离散时间情形下
X（t+1）=Φx（t）+v（t)
引进z，转化成微分方程：
初始条件为：
解微分方程得：
因此我们得知，若向量b选为
，则给出的估计对
所有的a和u的各种选择都是无偏估计。
定理6.1（对偶定理）
对于
所描述的系统的状态估计问题等价于
对确定线性系统
按照判别准则
寻找到最好的控制问题。
（二）卡尔曼滤波（ kalman）
当一个模型被表示为状态空间形式就可以对其应用一些重要 的算法求解。这些算法的核心是kalman滤波。 Kalman滤波是在时刻t基于所有可得到的信息计算状态向量 的最理想的递推过程。 Kalman滤波的主要作用是：当扰动项和初始状态向量服从 正态分布时，能够通过预测误差分解计算似然函数，从而可 以对模型中的所有位置参数进行估计，并且当新的观测值一 旦得到，就可以利用kalman滤波连续地修正状态向量的估计。
定理意味着
和
独立的。由于e（t）和 是独立
的，我们也有
引进
应用定理3.2，于是我们得到
其中
将式（4.8）、（4.9）和（4.13）结合起来，我们就得到以下的递 推方程
给出估计式。为了确定（4.15）是式的初始条件，我们看到 利用定理3.2我们得到
我们可以给（4.15）是的初始条件可给定为
由（4.1）式减去（4.15），得
Kalman滤波公式的修正
a P 设t1的t估1为计状量态，向量t1 表t示1的估均计值误，差也m是x基m于协信方息差集矩合阵，Y t即的1
a 当给定
和 时， t1
Pt 1
t
的条件分布的均值由下式给定
在扰动项和初始状态向量服从正态分布的假设下， 的条件分布的均值 是 在最小均方差意义下 的一个最优估计量。
状态估计的定义
我们要讨论的问题如下：考虑两个实的随机过程 {s(t),t∈T}，和{n(t)，t ∈T}，它们分别称为信号与 噪音。
假定其和为： y(t)=s(t)+n(t)
能表示成上式我们称y(t) 能观测或能测量。因而， 我们得到了在时刻t时可测量的一个实现y(Г)， t0≤Г≤t。基于这一现实，我们要确定在时刻t1信号 值的最好估计。若t1<t，则问题称为平滑问题或内 插问题。若t1=t，则称为滤波问题，而若t1＞t，则 称为预测与外推问题。
我们能够找到估计问题的各种不同表达式之间的等价性。首 先我们由观测给出的关于随机变量s的全部有关的统计信 息包含在条件分布：
之中。分布密度记作
。
无偏估计
若有
~
^
E[ x(k|j)]=E[x(k)- x(k|j)=0
则称 x^(k|j)为x(k)之无偏估计。对于无偏估计而言，估 计 x^(k|j)以相等的概率分布在x(k)的两边。
当扰动项和初始状态向量服从正态分布时能够通过预测误差分解计算似然函数从而可以对模型中的所有位置参数进行估计并且当新的观测值一旦得到就可以利用kalman滤波连续地修正状态向量的估计
《随机控制》 状态估计与kalman滤波
指导老师：王印松
主要内容
第一部分：状态估计 第二部分：卡尔曼（kalman）滤波
预备知识
高斯过程
若对每一个k及所有的 ti∈T，i=1，2，3…k，x（t1），x （ 斯t过2）程，或…正x态（t过k）程的。联合分布是正态的，则称随机过程为高
维纳过程 又称布朗运动过程。若用x（t）表示微粒在t时刻的坐标，则x （0）为初始位置，即x（0）=0.维纳过程可用下述条件来定 义它：
Kalman滤波的一般形式
滤波 考虑状态空间模型（信号方程）为：
其中：T表示样本长度， Z t 表示kxm矩阵，称
u 为量测矩阵，dt表示kx1向量， t 表示kx1
向量，是均值为0，协方差矩阵为 H t 的连续的
不相关扰动项，即
Kalman滤波公式的修正
在随机作用下的多输入与多输出的线性时变离散系统的状态方 程与输出方程可以写成
综上所述，我们得知估计误差是由随机差分方程决定的。我们有 因此，由（4.12）式定义的量P（t）是估计误差的协方差矩阵。将 （4.20）式乘上其转置，再取数学期望，我们可以得到协方差矩阵
P（t）的公式
初始条件可以写成：
连续时间系统的状态估计
我们要讨论连续时间过程的状态估计问题。目的是 为了导出卡尔曼-布西方程。连续时间问题要比离散 问题要困难得多。对于离散时间的情形，绝大多数 的分析都有可能在有限的维欧几里得空间中进行。 然而处理连续时间过程时，我们就需要无限维空间。 本节通过对偶性的概念间接地导出我们所要的结果。 首先将证明状态估计问题是确定性控制问题的对偶， 然后我们将利用确定性系统的最优控制理论的结果 来导出所要求的公式。
我们有
为计算给定y（t）后的条件期望，我们将变量进行转换，使 我得到独立变量。
是独立的。量
有时候称为时刻t的新息。因为它
是测量输出信号的一部分，而这部分信息包含着某些早先
不可能得到的信息。
因而，我们对给定 和 望问题，我们将用给定
时计算x（t+1）的条件期
和
的计算它的条件期
望来代替。于是我们有
其中最后一个等式由定理3.3而得。我们现在来计算（4.8）式的 右边各项。我们有
判断状态估计的好坏的准则
定义一个损失函数L(X) 无偏估计 最小方差估计
损失函数
在第五章已经讲过损失函数L(X)，它是一实函数，且 有性质：
(1)L(X)≥0 (2)L(X)=L(-X) (3)对于x>0,L(x)是非减的 我们假定最好的估计定义为使损失函数L(X)的均值取
极小值的那个估计，于是这时损失是随机变量L(s)，最好估计是将使平均损失EL(S- )取极小值。
Kalman滤波的一般形式
在随机作用下的多输入与多输出的线性时变离散系统的状态方 程与输出方程可以写成
x(k+1)y（k）=Φ(k+1,k)x(k)+G(k)u(k)+Г(k)w(k)……（2.1）
y（k）=Ɵ(k)x(k)+v(k)+z(k)
……（2.2）
其中{w(k),k∈T}是m维正态独立序列，称为模型噪声；{v(k), k∈T}是r维正态独立序列，称为测量噪声；x（k）是n维状 态变量；y（k）是r维输出量；nxn矩阵Φ(k+1,k)称为状态转 移矩阵；nxm矩阵Г(k)与rxn矩阵Ɵ(k)分别为输入与输出系 数阵；{x（0）}为正态随机变量；u（k）为已知的控制确定 性序列；z（k）为测量装置系统误差序列，而且w（k）与v （k）是相关的正交序列。
最小方差估计：设常矢量a和x(k)同维数，则aTx(k)
表示x（k）的某一个分量或者某些分量的线性组合。
最小方差估计
^
若估计 x(k | j) 使得
a J=E[
x a x T ~ (k | j)][
T ~ (k | j)]
~
aT E[ x (k |
j)
~T
x
(k
|
j ) ]a
aT P(k | j)a
状态估计的定义：
设矢量x（k)为待估计量，yi={ yT(1), yT(2),…，yT
（j）} 为对x（k）的实测值。若能根据yi决定一个 x（k)的近似值
x(k|j)=f(yi） 则x(k|j)称为根据yi决定的x(k)的估计。而
e(k|j)=x(k)-x(k|j) e(k|j) 称为 x(k)的估计误差。
下面就是我们要表达连续时间过程的状态估计问题。考虑由
描述的连续时间的随机过程，其中初始状态 具有均值m和 协方差矩阵R0。假定随机过程{v（t），t∈T}和{e（t）， t∈T}是 不相关的增量随机过程。假定其增量协方差分别为 和 。 还假定过程{v（t），t∈T}和{e（t）， t∈T}互不相关，且也不
其中第一个等式是根据（4.1)式，而第二个等式是根据在s≤t时 v（t)与e（s）独立而得。为了计算E[x（t+1）| ],我们 采用定理3.2，于是我们有
其中第二个式由（4.1）式和（4.7）式得到；第三个等式由协方的
定义得到；第四个等式则根据e（t），v（t）和x（t）的是独立
的且均值为零的得到。第五个等式是由定理3.2得到，因为由该
估计误差的协方差矩阵是
上式就是预测方程。
a a 一旦得到新的预测值
y t
，就能够修正
t 的估计
t|t1 ，更
新方程是
以上三式构成kalman滤波的公式。
给出一步向前状态条件均值，我们还可以的得到 前（线性）最小均方误差估计：
的一步向
一步向前预测误差可以通过下面的公式得到：
预测误差的方差被定义为：
（2.1）
y(t) =Ɵx(t)+e(t)
（2.2）
其中{v（t)}和{e（t）}是独立的高斯随机变量序列。
(2)在连续的时间情况下
dx=Axdt+dv
（2.3）
dy=Cxdt+de
（2.4）
其中{v（t）}与{e（t）}是维纳过程。
假定已观测到输出y（Г),t0≤Г≤t的实现，而我们要估计（2.1)与 （2.3）式的状态向量。这个特殊问题称为状态估计问题。
x(k+1)y（k）=Φ(k+1,k)x(k)+G(k)u(k)+Г(k)w(k)……（2.1）
y（k）=Ɵ(k)x(k)+v(k)+z(k)
……（2.2）
其中{w(k),k∈T}是m维正态独立序列，称为模型噪声；{v(k), k∈T}是r维正态独立序列，称为测量噪声；x（k）是n维状 态变量；y（k）是r维输出量；nxn矩阵Φ(k+1,k)称为状态转 移矩阵；nxm矩阵Г(k)与rxn矩阵Ɵ(k)分别为输入与输出系 数阵；{x（0）}为正态随机变量；u（k）为已知的控制确定 性序列；z（k）为测量装置系统误差序列，而且w（k）与v （k）是相关的正交序列。