基于马氏决策向量过程模型的有限阶段期望总报酬准则及其最优方程

基于马氏决策 向量过程模型 的有 限阶段期望总报酬准则及其： 最优方程
９
量 有
） ≥
勰 （ ａ，ＰＪｉ ｝后＝ ２… ） ｉ ｋ）（ｌ ） ， ，， ， Ｊ ，
则 称 为优 决策 向量 ； 则称 为劣决 策 向量． 否
决策 向量的优劣性决定了系统在时刻 ｔ 处于状态 ｉ 时所采取行动 的个数 ； 同时 ， 也说 明了 各个行动之间的相合性 ： 设系统在时刻 ｔ 处于状态 ｉ ， 称行动 口与 ｂ 为相合的， 如果 ｒ （ ，） ｉ （ 口ｂ ， ） ≥ ｍ ｘ ｓｐｒａｉ ， ｐｒｂｉ ｝ 即采取两个行动获得的报酬 比单个行动的要多． ａ ｛ｕ （ ， ｓ （ ， ， ） ｕ ） 定义 ６ 若优决策 向量 ＝（ 口， ， 的分量未取 的个数为 ｎ则称 的相合度 口 ， …， …） ，
琼州学 院青年基金资助项 目， 编号 Ｑ Ｑ ２ １２ Ｙ Ｎ ０ １６
收稿 日期 ：０ １ １ ２ １ 年 １月 ０ ３日
数学理论与应用
早期 的 Ｍ Ｐ Ｄ 模型大致可分为三大类 ： 离散时间马氏决策过程（ Ｔ Ｄ ）连续时间马氏决策过 ＤＭ Ｐ 、 程 （Ｔ Ｄ ） Ｃ Ｍ Ｐ 和半马氏决策过程（ Ｍ Ｐ ． Ｓ Ｄ ） 这些 Ｍ Ｐ模型描述实际问题时， Ｄ 往往 出现状态未必 完全可观察、 目标函数可能多于一个 、 模型的参数可能为未知的、 折扣因子的精确值不易确定 、
定 义８ 对Ｎ≥０ｒ ， 为 ，（ 有界函 则 量策 ） 数， 在向 略仃＝（ ， ・ ∈兀 下的Ｊ阶 ・ ） ７ 、 ｒ
段期望总报酬准则定义为
１ ０
．一 １ ｖ 】
数学理论与应用
，
（，） ７ｈ ＝∑卢 Ｅ ｛ ， ）ｈ｝ ＮＥ ｛ ）ｈ ｒ ｒ Ｉ ＋ － （ ｌ （ ｎ
定义 ９ 称 （ ）＝ｓｐ ｕ｛
。
，
（ ， ） ７∈ｎ ， ， ∈ 为 优值函 仃ｈ Ｉｒ ｈ∈ 凡 最 数．
（ 一致有 界 ． ｈ）也
由于 ｒ ， （ ）有界 ，
（ｒｈ）存在 而且 一致有 界 ， 而 ７， 从
对 Ｖ ｓ≥０ 如果 向量策略 仃 ， 使得
然而在传统马氏决策过程 （ Ｄ ） Ｍ Ｐ 模型中存在着一个共同局限性 ， 即在决策时刻只采取单
个行动来确定系统的状态转移概率． 但在实际问题中， 状态转移概率可能依赖于多个行动．为 了克服传统 Ｍ Ｐ Ｄ 模型的这种局限性 ， 文献 ［ ］ ４ 在决策时刻引入了多元行动来确定系统的状态
转移概率 ， 并通过运用传统 Ｍ Ｐ的基本理论 以及结合多元行动集 、 Ｄ 决策 向量 、 相合度等新定
Baidu Nhomakorabea
其 中 Ｔ＝｛ ， ，…Ｎ一 ｝ Ｎ＜。 ， （ ｉ 为有界报酬 函数． ０ １２ １， 。ｒ ） ， 当决策者在选定一定的决策向量
后， 在各阶段 ０ １２ … ， ， ，， Ｎ一１ 时依一定的概率获得一串的报酬 ， 将其 累加起来就是该阶段 的
总报 酬．
２ 决策 向量下最优准则
２ １ 报酬 准则和 最优 值 函数 的定 义 ．
Ａｂｔａｔ ｙａｐｙｎ ｒｏ ｅｉｏ — ａｉｇｖｃｏ ｒ ｅｓｓｈ ｏ ｄｔｅｎｗｄｆ ｉｏ ｆ ｅｉｏ — ａｉｇ ｓｒｃ Ｂ ｐ ｌ ｇＭａ ｖ ｃｓ ｎ—ｍ ｋｎ ｅｔｒ ｏ ｓｅ ｅｒ ａ ｅ ｅｎｔ ｎｏ ｃｓ ｎ—ｍ ｋｎ ｉ ｋ ｄ ｉ ｐｃ ｔ ｙｎ ｈ ｉ ｉ ｄ ｉ
ｆ ＝ ｎ
＝ ∑卢 （ ） ／ （ ）ｈ｝ ∈ （ Ｅ｛ ｒ ， ＋ Ｎ ｌ ， Ａ ） ３
上式所表示的意思跟一元策略下一样 ， 只是行动上 向量化而 已， 这里就不再详细说明． 在
向 略仃＝（。 …） 量策 ７， ， ∈ｎ 下， ｒ仃 我们同 给出 优值函 定义． 样可 最 数的
Ｏｐ ｍａｉ ｑ ａｉ ｎ ｉ ｔ ｌｔ ｅｕｔ ｙ ｏ
０ 引 言
２ 世纪 ４ ０ Ｏ年代末 ５ 年代初 ，ｅｍ ｎＲ 研究动态规划 问题 ，ｈｐ ｙＬ 研究随机对策问 ０ Ｂ ｌ ａ ． ｌ Ｓａｌ ． ｅ
题时提出了 Ｍ Ｐ的基本思想 ， ｏａ ． １６ ） Ｄ ¨ Ｈ ｗ ｒ Ｒ （９ ０ 的研究工作则奠定 了 Ｍ Ｐ的理论基础 ． ｄ Ｄ
Ｊ ｓ Ｅ
定义 ４ 当系统在 ｔ 时刻采取决策向量 ＝（ ，０， 口， 时 ， ０ ，：…， …） 若 的分量未取 的个
数为 凡则称 的联合度为 ， ， 记为 ｌ Ｉ ． ＝ｎ
定义５ 记ｐ（）：ｐ （ｌ， ， ｏ ‘＿ Ｐ（ ０『 ） ）＝ｐ （ ） 若系统在决策时刻 ｔ采取决策向 ｔ 口， ， ０ ｏ
若系统在某个决策时刻 ｔ所采取 的决策向量 为 。且 Ｊ Ｉ ， 。 ， ≥２ 则称 ｛，，（）ｐ ・ｉ ｓＡ ，（ ｌ ，
ａ ， ｝ ） ｒ ，） 为马氏多元决策过程模型（ ａ ｏ ｕｉ ｅ ｅｉｏｓ ｒ ｅ ｅ ） 简记为 Ｍ Ｄ ． （ Ｍ ｒ ｖＭ ｌｐ ｃ ｉ ｏ ｓ ， ｋ ｔ ｌ Ｄ ｓ ｎ Ｐ ｃｓ ｓ Ｍ Ｐ
若 Ｖ ∈Ａ ｉ 都有 Ｉ Ｉ 时（ （） ＝１ 即系统在任意决策时刻只采取单个行动）则称之为传统 ，
马氏决策过程模型（ ａ ｏ ｅｉｏ ｒ ｅ ｅ ） 简记为 Ｍ Ｐ Ｍ ｒ ｖ ｃ ｉ Ｐｏ ｓ ｓ ， ｋ Ｄ ｓｎ ｃ ｓ Ｄ． 若无特殊说明 ， 传统马氏决策过程与马氏多元决策过程统记为 ｛ ，， （）Ｐ ． ，） ｒ ，） ． ｓＡ ｉ ，（ １ ， ｝ （
ｍ ｋ ｇ ｅｔ ｒ ｅｓ ， ａｉ ｃ ｒ ｏ ｓ ｓ）简记为 Ｍ Ｖ ． 中 为系统的决策时刻集； 为系统所有可能状态 ｎ ｖ ｏＰ ｃ ｅ Ｄ Ｐ其 Ｓ
所组成的非空状态集 ； （） Ａ ｉ 为系统在状态 ｉ 处可用的决策向量集 ； （ Ｉ ） Ｐ ．ｉ 为系统的转移概 ， 率 ； （， 为期望报酬． ｒ ）
为 ｎ 记为 Ｉ Ｉ ＝ｒ ， ｔ ．
显然 ， 任意行动 口 与 咖是相合的， 所以 Ｉ Ｊ≥ １ ．
定义 ７ 称 ｛ ， ， （）Ｐ ． ，） ｒｉ ） 为马氏决策 向量过程模型（ ａ ｏ Ｄ ｃ ｉ — ｓＡ ｉ ，（ Ｉ ， ， ｝ （ａ Ｍ ｒ ｖ ｅｉｏ ｋ ｓｎ
Ａ （） ｉ 为一元决策集 ； （） Ａ ｉ 中的元素称为决策 向量 ， 记为 定义 ３ 称 ｐ （ ）＝ｐ（ ，） ＥＡ ｉ 为在时刻 ｔ ， （） ａ 采取决策向量 时系统从状态 ｉ —
的转移概率． 若系统在 ｔ 时刻采取 了 则其期望值报酬为 ，
ｒ ， ＝∑ｒ ，ｊ （ｌ ） （ ） （ ，Ｐ ｉ ｉ ） ｊ，
模 型可 能有 约束条 件等 诸 多 问题 ． 者们 据 此 进 一 步发 展 了 更加 接 近 于 实 际 问题 的 ＭＤ 学 Ｐ模
型， 如状态部分可观察的 Ｍ Ｐ 多 目标 Ｍ Ｐ 自 Ｄ、 Ｄ 、 适应 Ｍ Ｐ 参数不确定 Ｍ Ｐ 带约束条件 Ｍ Ｐ Ｄ、 Ｄ、 Ｄ、 摄动 Ｍ Ｐ Ｄ 等等 ， 并提 出了一类参数随环境变化而变化 的 Ｍ Ｐ 型， Ｄ 模 即随机环境 Ｍ Ｐ Ｄ 模型和 混合 Ｍ Ｐ Ｄ 模型 ．
ｅ ｕ ｔ ｎ ｉ ｒ ｏ ｅ ｉｉｎ—ｍａ ｉｇ ｖ ｃｏ ｒ ｃ ｓ ｅ ． ｉａｌ ｅ ｐ ｏ ｅ ｈ ｘ ｓ ｎ ｅ ｏ ｏｕ ｉｎ ｎ ｔ ｅ ｏ ｔ ｌｉ ｑ ａｉ Ｍａ ｋ ｖ ｄ ｃｓｏ ｏ ｎ ｋｎ ｅ ｔｒｐ ｏ ｅ ｓ ｓ Ｆ ｎ ｌ ｗ ｒ ｖ ｄ ｔ ｅ ｅ ｉｔ ｃ ｆ ｓ ｌｔ ｓ ｉ ｈ ｐ ｉ ｙ ｅ ｏ ｍａ ｔ ｙ
Ｔｈ ｉ ｉｅ Ｓ ａ ｅ ｏ ｐ ｃｅ ｔ ｌ Ｒｅ ｒ ｅ Ｆ ｎ ｔ ｔ ｇ ｆＥｘ ｅ ｔｄ Ｔｏ ｌ ｗａ ｄ ａ Ｍ ｏ ｅ ｎ ｔｍ ａ ｉｙ Ｅｑ ａ ｉｎ ｏ ａ ｋ ｖ ｉ ｄ ｌａ ｄ Ｏｐ ｉ ｌ ｕ ｔｏ ｆＭ ｒ ｏ ｎ ｔ Ｄｅ ｉｉｎ —ｍ ａ ｉ ｇ Ｖｅ ｔ ｒ Ｐｒ ｃ ｓｅ ｃｓｏ — ｋ ｎ ｃｏ ｏ ｅ ｓ ｓ
义， 提出了马氏向量决策过程模型 ， 并对一这新模型进行了一些尝试性的研究 ， 内容包括 ： 其 马 氏决策向量过程的定义和相合度的算法． 在马氏决策 向量过程模型的框架下 ， 所得到的这些新 结论 比传统 Ｍ Ｐ模型中的结论更具有一般性 ， Ｄ 但未进一步提出马氏向量决策过程模型的有限 阶段期望总报酬准则和最优方程 ， 且有关最优方程的解的存在性问题有待于解决．
陈 杰 刘 再 明 邢 灵博
（ ． 州学 院理 工 学院 ， １琼 海南 ，７０２ ５ ２２ ）
（． ２ 中南大学数学科学与计算技术学院， 长沙，１０ ５ ４０ ７ ）
摘 要 在马氏决策向量过程模 型的理论基础上 ， 结合 决策向量和相合 度等新定 义， 进一步提 出有限阶段期
存在性
望总报 酬准则和最优 方程 ， 并证明最优 方程 的解 的存在性． 关键词 马氏决策向量过程模 型 报酬准则 最优方程
第３ ｌ卷
第 ４期
数学理论与应用
ＭＡＴＨＥＭＡＴＩ ＣＡＬ Ｔ ＨＥ０ＲＹ ＡＮＤ ＰＬ ＣＡ ＡＰ Ｉ ｎ０ＮＳ
Ｖ０． １ Ｎｏ ４ １３ ．
Ｄｅ ．２ １ Ｃ ０１
２１ ０ １年 ｌ ２月
基 于 马 氏决策 向量过 程模 型 的有 限阶段 期 望 总报 酬 准则及 其最优 方 程
Ｃ ｅ ｉ ｈ ｎＪｅ ＬｕＺ ｉ ｎ Ｘｉｇ Ｌｎ ｂ ｉ ａｍｉｇ ｎ ｉｇ ｏ
（ ．Ｃ ｌ ｇ ｆ ｃ ｎｅａｄＥ ｇ ｅｒ ｇ ＱｏｇｈｕＵ ｉｅ ｉ ， ａｙ ７ ０２， ｈｎ ） １ ｏｅｅｏ Ｓｉ ｃ ｎ ｎｉ ｅ ｎ ，ｉｎｚｏ ｎｖｒ ｔ Ｓ ａ５＇ ２ Ｃ ｉａ ｌ ｅ ｎ ｉ ｓｙ ｎ ２ ， （ ．Ｓ ｈｏ ｆ ｔｅ ａｉ ， ｅｔ ｌ ｏ ｔ Ｕ ｉ ｒｔ， ｈｎｓａ １０ ５ ２ ｃｏｌ ｈｍ ｔ ｓ Ｃ ｎｒ ｕｈ ｎｖｓ ｙ Ｃ ａｇｈ ０７ ） ｏ Ｍａ ｃ ａＳ ｅ ｉ ４
ｅ ａ ｏ ｑｕ ｔ ｎ． ｉ
Ｋｅ ｒ ｓ Ｍａｋ ｖ ｄ ｃｓ ｎ —ｍａ ｉ ｇ ｖ ｔｒ ｐ ｏ ｅ ｓ ｓ ｙ ｗｏ ｄ ｒ ｏ ｅ ｉｉ ｏ ｋ ｎ ｅ ｏ ｒ ｃ ｓｅ ｃ Ｅ ｉ ｅ ｅ Ｘｓ ｎ ｅ ｔ
Ｅ ｐ ｃ ｅ ｏ ａｌｒ ｗ ｒ ｄ ｌ ｘ ｔ ｄ ｔｔ ｅ ａ ｄ ｍｏ ｅ ｅ ｌ
（ ， ７ ｉ ｒ ）≥
（） ｉ 对于所有 ｉ 成立 ， 则称 々 ｒ 为
ｖ ｃｏ ，ｃ ｎ ｉｔｎ ｙ ｄ ｇ ｅ ，Ｅ Ｃ． ｈｓ ｐ ｐ ｒ ｗ ｌ ｓｕ ｙ ｔｅ ｆ ｉ ｔ ｇ ｆｅ ｐ ｃｅ ｔｌ ｒ ｗａｄ ｍｏ ｅ ｄ ｏ ｔ ｌ ｙ ｅ ｔｒ ｏ ｓｓｅ ｃ ｅ ｒ ｅ Ｔ Ｔ ｉ ａ ｅ ｉ ｔ ｄ ｈ ｉ ｔ ｓａ ｅｏ ｘ ｅ ｔ ｄ ｔ ａｌ ｅ ｒ ｄ ｌ ｌ ｎｅ ｏ ｎ ａ ｐｉ ｉ ｍａ ｔ
１ 基本概念
定义 １ 设系统在时刻 ｔ 处于状态 ｉ 可选择的行动集有 ： 。ｉ， ｉ， Ａ （） … ； Ａ （） Ａ （） …， ｉ ， 则称 Ｒｉ （）＝ ｛ ｉ，：ｉ ， Ａ （） …｝ Ａ （）Ａ （） …， ｉ， 为决策系统的行动集族．
定义 ２ 称 Ａ ＝ ｛ａ， ， ａ ‘ ｌ （） （， …， ‘ ａ ）ａ ∈Ａ（）ｋ＝１２… ｝ ｋ ， ，， 为决策 向量集 ， 中 其