一种基于无模型强化学习的多阶段灵巧噪声干扰方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910321772.8
(22)申请日 2019.04.19
(71)申请人 电子科技大学
地址 611731 四川省成都市高新区（西区）
西源大道2006号
(72)发明人 张天贤　王远航　贾瑞　韩毅　
孔令讲　杨晓波　
(74)专利代理机构 成都虹盛汇泉专利代理有限
公司 51268
代理人 王伟
(51)Int.Cl.
G01S 7/38(2006.01)
G06N 20/00(2019.01)
(54)发明名称
一种基于无模型强化学习的多阶段灵巧噪
声干扰方法
(57)摘要
本发明公开一种基于无模型强化学习的多
阶段灵巧噪声干扰方法，应用于雷达技术领域，
为了解决干扰机在针对敌方火控雷达干扰识别
方法、抗干扰措施和工作模式转换规律等环境模
型未知情况下的最优干扰功率分配问题，本发明
首先将多阶段干扰功率分配问题建模成一个未
知环境模型的马尔可夫决策过程；为了评估多阶
段噪声干扰的性能，选择火控雷达的平均搜索-
锁定时间作为评价指标；其次分析了噪声干扰功
率分配的原理，并针对未知环境模型的挑战，建
立了多阶段干扰功率分配问题的强化学习框架；
最后提出了一种基于Q -learning算法的多阶段
干扰功率分配方法；本发明方法有效解决了在实
际应用中干扰功率的最优分配问题，提高了干扰
成功率。

权利要求书2页 说明书7页 附图3页CN 110031807 A 2019.07.19
C N 110031807
A
1.一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，包括以下步骤：
S1、将多阶段干扰功率分配问题建模成未知环境模型的构建马尔科夫决策过程：具有自卫系统的目标飞机和具有FCR的飞机在各阶段不断进行对抗，直到目标飞机被锁定或者目标飞机成功逃脱则对抗结束；自卫干扰系统包括干扰机和RWR；在每个阶段，干扰机首先将接收到FCR发射出的波形进行波形特征提取，辨别出FCR的当前工作模式s k∈S，S为FCR可能工作的模式，k表示阶段序号；然后干扰机选择一个与干扰功率相对应的干扰动作a k∈A 来实施灵巧噪声干扰，A为可能的干扰动作集合；最后，经历一个阶段后，自卫干扰系统将得到第k阶段的奖励t k并且FCR切换到下一工作模式s k+1，t k为FCR在第k阶段所消耗的时间；
S2、采用FCR的搜索-锁定时间作为灵巧噪声干扰性能指标；
S3、采用元组<S，A，Θ，ψ，δ>表示多级干扰功率分配问题的强化学习框架；其中，S为有限状态空间，对应于FCR的工作模式；A为有限动作空间，对应于干扰机可行的干扰动作空间；Θ为状态转移函数，对应于FCR不同工作模式之间的切换；ψ为奖励函数，对应于在当前状态FCR的消耗时间；δ为折扣因子，对应于干扰机对未来奖励的评估；
S4、采用Q-learning算法求解多阶段干扰功率的最优分配。

2.根据权利要求1所述的一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，步骤S4具体为：
S41、确定学习因子序列{αn∈(0，1)}和探索因子序列{ξn∈(0，1)}；其中，αn表示学习因子，ξn表示探索因子；
S42、初始化Q-table，令Q(s，a)＝0；其中，s表示当前FCR的工作模式，a表示当前的干扰动作；
S43、当目标飞机没有被FCR锁定时，在状态s依据Q-table以ξn的概率选择当前最优的干扰动作；否则结束；
S44、评估当前干扰动作，得到FCR的搜索-锁定时间，以及FCR的下一工作模式；
S45、根据步骤S43选择的干扰动作以及步骤S44得到的FCR消耗的时间与FCR的下一工作模式，更新Q-table；
S46、将FCR切换至步骤S44得到的下一工作模式，若目标没有被FCR锁定，则返回步骤S3；否则结束当前回合，执行步骤S47；
S47、若达到设定的回合数，则结束；否则返回步骤S3。

3.根据权利要求2所述的一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，步骤S44所述FCR的搜索-锁定时间，具体为：在当前干扰动作下，FCR在其当前工作模式所持续的时间。

4.根据权利要求2所述的一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，步骤S43为：当目标飞机没有被FCR锁定时，在状态s依据Q-table以1-ξn的概率随机选择干扰动作；否则结束。

5.根据权利要求2所述的一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，步骤S45所述更新Q-table，表达式如下：
其中，s′表示FCR的下一工作模式，a′表示下一干扰动作。

6.根据权利要求4或5所述的一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，a′通过步骤S43获得。

一种基于无模型强化学习的多阶段灵巧噪声干扰方法
技术领域
[0001]本发明属于雷达技术领域，特别涉及一种雷达灵巧噪声干扰技术。

背景技术
[0002]灵巧噪声干扰即干扰机通过发射一种相干的似噪声信号，在时域中对目标回波信号进行重叠和覆盖，从而对雷达的目标检测和跟踪造成迷惑。

噪声干扰技术在电子对抗中起到关键性的作用。

能否进行有效的干扰，关系到我方作战资源和作战人员的安全问题，因此灵巧噪声干扰目前已经成为国内外专家的重点研究课题。

[0003]由于现代火控雷达具有较强的抗干扰能力和多种工作模式。

面对这种现代化的FCR，传统的噪声干扰性能越来越差。

在这种情况下有必要研究更好的灵巧噪声干扰措施。

在文献“A Comparison of DDS and DRFM Techniques in the Generation of Smart Noise Jamming Waveforms.NAVAL POSTGRADUATE SCHOOL MONTEREY CA，1996”中研究了灵巧噪声干扰波形的产生。

在文献“Research on the method of smart noise jamming on pulse radar.”Instrumentation and Measurement，Computer，Communication and Control(IMCCC)，2015Fifth International Conference on.IEEE，2015.”中研究了基于卷积调制的灵巧噪声干扰技术。

但是它们只涉及波形的设计以及产生而忽略了干扰功率的分配。

通过连续有效的动态功率优化分配，可以显著提高干扰成功率。

众所周知，灵巧噪声干扰的多阶段功率分配往往依赖于专家经验。

然而，专家经验往往是不准确的，不准确的干扰功率分配会导致干扰性能的损失。

1)过小的干扰功率不能有效地降低FCR的性能。

2)干扰功率过大，发现干扰的概率增大。

因此，灵巧噪声干扰需要研究一种有效的多阶段干扰功率分配方法。

发明内容
[0004]为解决上述技术问题，本发明提出一种基于无模型强化学习的多阶段灵巧噪声干扰方法，
[0005]本发明采用的技术方案为：一种基于无模型强化学习的多阶段灵巧噪声干扰方法，包括以下步骤：
[0006]S1、将多阶段干扰功率分配问题建模成未知环境模型的构建马尔科夫决策过程：具有自卫系统的目标飞机和具有FCR的飞机在各阶段不断进行对抗，直到目标飞机被锁定或者目标飞机成功逃脱则对抗结束；自卫干扰系统包括干扰机和RWR；在每个阶段，干扰机首先将接收到FCR发射出的波形进行波形特征提取，辨别出FCR的当前工作模式s k∈S，S为FCR可能工作的模式，k表示阶段序号；然后干扰机选择一个与干扰功率相对应的干扰动作a k∈A来实施灵巧噪声干扰，A为可能的干扰动作集合；最后，经历一个阶段后，自卫干扰系统将得到第k阶段的奖励t k并且FCR切换到下一工作模式s k+1，t k为FCR在第k阶段所消耗的时间；
[0007]S2、采用FCR的搜索-锁定时间作为灵巧噪声干扰性能指标；
[0008]S3、采用元组<S，A，Θ，ψ，δ>表示多级干扰功率分配问题的强化学习框架；其中，S 为有限状态空间，对应于FCR的工作模式；A为有限动作空间，对应于干扰机可行的干扰动作空间；Θ为状态转移函数，对应于FCR不同工作模式之间的切换；ψ为奖励函数，对应于在当前状态FCR的消耗时间；δ为折扣因子，对应于干扰机对未来奖励的评估；
[0009]S4、采用Q-learning算法求解多阶段干扰功率的最优分配。

[0010]进一步地，步骤S4具体为：
[0011]S41、确定学习因子序列{αn∈(0，1)}和探索因子序列{ξn∈(0，1)}；其中，αn表示学习因子，ξn表示探索因子；
[0012]S42、初始化Q-table，令Q(s，a)＝0；其中，s表示当前FCR的工作模式，a表示当前的干扰动作；
[0013]S43、当目标飞机没有被FCR锁定时，在状态s依据Q-table以ξn的概率选择当前最优干扰动作，或者以1-ξn的概率随机选择干扰动作；否则结束；
[0014]S44、评估当前干扰动作，得到FCR的搜索-锁定时间，以及FCR的下一工作模式；[0015]S45、根据步骤S43选择的干扰动作以及步骤S44得到的FCR消耗的时间与FCR的下一工作模式，更新Q-table；
[0016]S46、将FCR切换至步骤S44得到的下一工作模式，若目标没有被FCR锁定，则返回步骤S3；否则结束当前回合，执行步骤S47；
[0017]S47、若达到设定的回合数，则结束；否则返回步骤S3。

[0018]更进一步地，步骤S44所述FCR的搜索-锁定时间，具体为：在当前干扰动作下，FCR 在其当前工作模式所持续的时间。

[0019]进一步地，步骤S43为：当目标飞机没有被FCR锁定时，在状态s依据Q-table以1-ξn 的概率随机选择干扰动作；否则结束。

[0020]进一步地，步骤S45所述更新Q-table，表达式如下：
[0021]
[0022]其中，s′表示FCR的下一工作模式，a′表示下一干扰动作。

[0023]进一步地，a′通过步骤S43确定。

[0024]本发明的有益效果：首先将多阶段的干扰功率分配问题抽象成一个状态转移概率未知的马尔可夫决策过程，然后给出了干扰效果的评价指标，分析了多阶段灵巧干扰功率分配问题的原理，最后提出了多阶段干扰功率分配问题的强化学习框架，并用Q-learning 算法成功解决了多阶段噪声干扰的功率分配问题；本发明的优点：解决了环境模型未知情况下的多阶段干扰功率的合理分配问题；本发明的干扰功率分配不依赖专家经验，避免了不准确的干扰功率分配，导致干扰性能的损失问题；本发明的方法可以应用于民用军事等领域。

附图说明
[0025]图1是本发明考虑的场景图。

[0026]图2是本发明仿真条件下的FCR工作模式切换示意图。

[0027]图3是当γ相同时，本发明的方法、随机功率选择方法和已知γ的传统上限方法的
性能仿真结果；
[0028]其中，图3(a)为γ＝5.6条件下的仿真结果，图3(b)为γ＝5.8条件下的仿真结果，图3(c)为γ＝6条件下的仿真结果。

[0029]图4是本发明具体实施方式中当γ为情况1时的不同方法的性能仿真结果。

[0030]图5是本发明具体实施方式中当γ为情况2时的不同方法的性能仿真结果。

具体实施方式
[0031]为了方便描述本发明的内容，首先对以下术语进行解释：
[0032]术语1：火控雷达
[0033]火控雷达是指用于精确跟踪目标，为武器指挥控制系统提供目标坐标数据的雷达。

简称为FCR。

[0034]术语2：雷达告警接收机
[0035]雷达告警接收机是指用于截获、分析、识别敌方雷达信号，实时判断其威胁程度并及时告警的电子对抗设备，简称为RWR。

[0036]术语3：边扫描边跟踪
[0037]边扫描边跟踪指雷达一边扫描搜索空间，一边跟踪单个或多个目标的工作方式，简称为TWS。

[0038]术语4：跟踪加搜索
[0039]跟踪加搜索是指雷达能同时完成搜索加精密跟踪单目标或者多目标的方式。

简称为TAS。

[0040]术语5：单目标跟踪
[0041]单目标跟踪是指雷达对单个目标进行精密跟踪，以获取目标的距离、速度和角度等信息的工作方式，简称为STT。

[0042]为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

[0043]本发明的一种基于无模型强化学习的多阶段灵巧噪声干扰方法，首先将多阶段的干扰功率分配问题抽象成一个状态转移概率未知的马尔可夫决策过程，然后给出了干扰效果的评价指标，分析了多阶段灵巧干扰功率分配问题的原理，最后提出了多阶段干扰功率分配问题的强化学习框架，并用Q-learning算法成功解决了多阶段噪声干扰的功率分配问题。

包括以下步骤：
[0044]步骤一、如图1所示假设具有自卫系统的目标飞机被具有FCR的飞机追捕。

目标飞机的机载自卫系统包括干扰机和RWR。

目标飞机为了成功逃脱对具有FCR的飞机施加了噪声干扰。

噪声干扰的功率可根据FCR的信号强度和工作模式进行自适应调节。

本发明解决的主要问题就是噪声干扰的功率分配问题。

攻击飞机的机载FCR具有多种工作模式。

典型的机载FCR工作模式包括边扫描边跟踪(TWS)模式、跟踪加搜索(TAS)模式、单目标跟踪(STT)模式等。

在电子对抗过程中，FCR会根据实际需要灵活切换工作模式。

例如一旦确认目标，FCR将会切换到单目标跟踪模式以便精确的获取目标的位置参数。

当目标由于机动或者施加干扰等丢失后，FCR将会切换到边扫描边跟踪模式；当FCR的潜在威胁不止一个，而且需要粗略估计已发现目标的位置信息时，FCR通常处在跟踪加搜索模式。

[0045]由于FCR多种工作模式的切换，电子对抗过程被划分为一个多阶段性问题，因此问题可以建模成一个马尔可夫决策过程。

更确切来说，具有自卫系统的目标飞机和具有FCR的飞机在k＝0，1，2…阶段不断进行对抗，直到目标飞机被锁定或者目标飞机成功逃脱则对抗结束。

在每个阶段k，干扰机首先将接收到FCR发射出的波形进行波形特征提取，辨别出FCR 的当前工作模式s k∈S，S为FCR可能工作的模式；然后干扰机选择一个与干扰功率相对应的干扰动作a k∈A来实施灵巧噪声干扰，A为可能的干扰动作集合；最后，经历一个阶段后，自卫干扰系统将得到第k阶段的奖励t k并且切换到下一工作模式s k+1，t k为FCR在第k阶段所消耗的时间。

[0046]步骤二、确定干扰效果的评估因子
[0047]为了评估第k阶段的干扰效果，本发明选用FCR的搜索-锁定时间作为判断干扰性能的一个标准。

干扰机的目标是通过选取合适的干扰功率以尽可能的增加FCR的搜索-锁定时间。

更通俗的说就是，就是最大化FCR的搜索-锁定时间，用数学语言描述为
[0048]
[0049]其中，T为FCR的搜索-锁定时间，E(·)为期望值，χ＝[a0，a1，a2…]是一组经过一系列阶段选择的干扰动作，可称为干扰功率分配策略χ。

不难看出，T与χ之间存在某种关系，但是这两者之间的关系受很多因素的影响，例如FCR的干扰识别、抗干扰措施、测量误差以及FCR的工作模式等。

对于干扰机而言，这些因素无法得知，本发明中称它们为环境因素，用EF 表示。

不失一般性，T与χ的关系表述为
[0050]T＝F(χ，EF) (2)
[0051]其中，F()表示一种函数关系。

[0052]显然易见，T越大意味着干扰机的干扰效果越好。

因此一个最好的策略χ表示为
[0053]
[0054]一般情况下，FCR的工作模式的转移概率是未知的，各阶段干扰性能的数值评估也是不确定的。

多阶段干扰功率分配问题可以用未知环境模型表示为马尔可夫决策过程。

解决这类问题有两个难点：1)干扰阶段数不确定，目标函数难以得到；2)环境模型未知。

基于以上两点，传统的优化算法如进化算法、动态规划等都无法解决功率分配问题。

因此考虑无模型强化学习来解决这类优化问题，但是基于该算法的多阶段干扰功率分配问题仍有待探索。

[0055]步骤三、多阶段灵巧噪声干扰的具体原理分析
[0056]本发明提出的多阶段灵巧噪声干扰方法可适用于多种干扰信号，并根据信号强度和FCR的工作模式灵巧分配噪声干扰的功率。

不失一般性，设FCR的发射功率为P tk，第k阶段的天线增益为G tk，FCR天线的有效孔径为A r，FCR到目标的距离为R。

因此，RWR接收到的发射功率密度为
[0057]
[0058]设干扰机接收到FCR发射信号后，已经成功识别出了FCR的工作模式s k，目标飞机的平均截面积为σu，则第k阶段灵巧噪声干扰的功率为
[0059]
[0060]在实际中目标的截面积σ未知，假设目标的截面积σ～U(σmin，σmax)，FCR收到的干扰功率为P rgk，真实目标回波功率为P rsk，对于每个脉冲，FCR收到的回波总能量为
[0061]
[0062]对于灵巧噪声干扰，干扰完全覆盖真实目标回波。

因此，真实目标回波和干扰总是混合在一起，使得FCR无法将它们分离出来。

一般情况下，FCR根据每个脉冲回波的总功率来
判断灵巧噪声干扰。

设R的估计值为FCR的门限值为γk，FCR可以估计脉冲回波的总功率，其定义为
[0063]
[0064]FCR通过比较P rk/P erk和γk的大小来判断干扰，第k阶段每个脉冲回波的SINR为
[0065]
[0066]其中
[0067]
[0068]SINR k2＝λSINR k1(λ＞1) (10)
[0069]不难理解，火控雷达的探测及跟踪性能正比于各阶段的信干噪比SINR k，而精准干扰性能反比于火控雷达的性能，因此FCR的搜索一锁定时间T反比于SINR k，即：
[0070]
[0071]如果干扰的功率太小，则无法有效降低雷达回波的信干噪比，SINR k较大，因此T较小。

反之，如果干扰功率过大，FCR很容易察觉受到干扰，将采取有效抗干扰措施，同样无法有效降低雷达回波的信干噪比，SINR k较大，T较小。

选择合理的干扰动作a k，可以提高干扰性能。

然而T与a k之间的关系受到很多未知环境因素影响。

因此，研究未知环境模型下的多阶段干扰功率分配问题具有重要意义。

为了克服未知环境模型的挑战，本发明采用了无模型强化学习。

[0072]步骤四：多阶段干扰功率分配问题的强化学习框架
[0073]多级干扰功率分配问题的强化学习框架可以用一个元组<S，A，Θ，ψ，δ>来表示，其
中，S为有限状态空间，对应于FCR的工作模式；A为有限动作空间，对应于干扰机可行的干扰动作空间；Θ为状态转移函数，对应于FCR不同工作模式之间的切换；ψ为奖励函数，对应于在当前状态FCR的消耗时间；δ为折扣因子，对应于干扰机对未来奖励的评估。

[0074]步骤五：基于Q-learning算法的多阶段干扰功率分配方法
[0075]在多阶段干扰功率分配问题的强化学习框架下，采取Q-learning算法来对多阶段干扰功率进行最优分配。

算法的具体步骤如下：
[0076](1)确定学习因子序列{αn∈(0，1)}和探索因子序列{ξn∈(0，1)}；
[0077](2)初始化Q-table，令Q(s，a)＝0；
[0078](3)当目标没有被FCR锁定时，在状态s依据Q-table以ξn的概率选择当前最优的干扰动作a，或者以1-ξn的概率随机选择动作；
[0079](4)评估当前动作a，得到FCR消耗的时间t和下一工作模式s′；
[0080](5)按照以下公式更新Q-table；
[0081]
[0082](6)令s←s′，如果目标没有被FCR锁定则跳转到(3)，否则当前回合结束，进入下一回合从步骤(3)开始，直到达到预先设计的回合数。

[0083]本发明的效果通过以下仿真对比试验进一步说明：
[0084]仿真条件：假设FCR有四种工作模式(TWS、TAS1、TAS2、STT)，工作模式的转换如图2所示。

FCR根据16个连续的数据帧的检测结果确认一个目标(或丢失一个目标)：如果在所有数据帧中没有检测到目标，则认为该目标丢失。

如果在M/N个数据帧中检测到目标，则确定目标，并将当前工作模式转移到目标跟踪精度更高的工作模式。

FCR的抗干扰措施是频率捷变技术。

设置当P rk与P erk的比值超过阈值时，频率捷变持续9个数据帧。

本发明暂不考虑频率捷变带来的损失，并设定在频率捷变过程中干扰是无效的。

利用Marcum Q函数计算检测概率。

FCR的相干处理间隔(CPI)为1个数据帧。

FCR的发射功率为10kW，A r＝1m2。

各模式下FCR的具体参数如表1所示，其中L为每个CPI间的脉冲数量，G t为主波束增益，D r为跟踪数据率，M/N 为确认目标的依据，Re是距离估计误差值。

此外，本实施例中设置干扰方能选择13个干扰动作A＝[5.8，6，6.2，…，8.2]，干扰动作的间隔设置为0.2，σ～U(10m2，30m2)，σu＝20m2，P n＝1.56×10-13W，R～U(10km，30km)。

本发明做了400000次实验用于强化学习训练，每4000次记为一组求取性能平均值。

每次FCR的初始状态都为TWS。

[0085]实际应用中有限动作空间A根据具体的应用场景进行设置。

[0086]表1 FCR不同工作模式下的参数
[0087]
[0088]在传统方法中，多级干扰功率的分配多依赖于专家经验而忽略了多阶段电子对抗的动态性。

当频率捷变门限γ已知时，传统方法的性能已经达到了上限。

然而在实际应用中，γ却很难得到。

为了验证本发明所提算法的有效性，本实施例在γ已知情况下，将随机功率选择和传统取得上限的方法作为对照组。

[0089]模拟分为两组。

对于第一组仿真，本实施例设置所有4种模式下的频率捷变阈值相同。

如图3所示，图3(a)中γ＝5.6，图3(b)中γ＝5.8，图3(c)中γ＝6。

[0090]从图3(a)(b)(c)可以看出，该算法的性能远远优于随机功率选择方法，且优于已知的传统方法的上限，但优势还不够明显。

随着γ的增加，这种优势逐渐明显。

这是因为TWS 的跟踪数据速率远小于其他工作模式，FCR大部分时间都在TWS中。

当FCR其他工作模式消耗的时间较小时，TWS的最佳干扰动作的选择起主要影响作用。

但是随着γ的增加，其他工作模式的重要性也随之增加。

因此，本发明所提算法的优势越来越明显。

实际中，过低的γ是无法运用在实际应用中的。

这是因为当γ过低时，FCR总是会采取抗干扰措施，这将导致不必要的信噪比损失和目标速度信息的丢失。

[0091]对于第二组仿真，本实施例设置FCR4种模式的频率捷变阈值是不同的。

本实施例考虑两种典型情况。

情况1：γTWS＝5.6，γTAS1＝5.8，γTAS2＝5.8，γSTT＝6。

这里γTWS表示频率捷变阈值，其他符号类似。

情况2：γTWS＝6，γTAS1＝5.8，γTAS2＝5.8，γSTT＝5.6。

[0092]从图4中可以看出，在γ已知条件下，本发明所提算法的性能优于随机功率选择和传统方法的上限，且根据情况1设置阈值γ时，优势明显。

这是因为当TWS的频率捷变阈值低于其他模式时会相对降低TWS的重要性而增加其他工作模式的重要性，因此传统方法的上限将会降低。

相比之下，当阈值γ设置为情况2时，如图5所示，传统方法能达到的上限将提高。

这是因为TWS的频率捷变阈值高于其他工作模式。

而且本发明算法的性能仍然较好。

[0093]综上所述，根据上述情况设置阈值γ时，基于无模型强化学习的多阶段干扰功率分配方法的性能优于对照组。

事实上，环境模型都可以通过无模型强化学习来学习。

因此，无论阈值γ如何设置，本发明所提方法都能找到较好的干扰功率分配策略。

[0094]通过本发明具体实施方式可以看出，本发明可以很好的进行干扰功率的分配。

[0095]本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。

本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

图1
图2
图3
图4
图5。