视频多模态融合
帧(Farme):帧是视频数据流中的基本组成单元,每一帧均可看成一个独
立的图像。视频数据流就是由这些连续的图像帧构成的,在PAL视频格式中,视频采样率
为25帧/秒,在NTSC视频格式中,视频采样率为30帧/秒。
镜头(Shot):镜头是摄像机拍下的不间断的帧序列,是视频数据流进一步
结构化的基础结构层。
关键帧(KeyFarme):关键帧是可以用来代表镜头内容的图像。在切分出
镜头结构以后,关键帧就被用来表示各个镜头的底层特征,从而进行进一步的视频结构化。
在一个视频镜头中,一般关键帧的数目要远远小于镜头所包含的图像帧数目。
场景(Secne):语义上相关和时间上相邻的若干组镜头组成了一个场景,场景是视频所蕴涵的高层抽象概念和语义表达。
组(Gmup ：组是介于视频镜头和语义场景之间的结构。例如:一段采访
录像,镜头在主持人与被采访者之间频繁切换,整个采访过程属于一个场景,而那些关于主
持人的所有镜头属于一组,关于被采访者的所有镜头属于另外一组。
视频镜头边缘检测
视频可以看作是一系列时间上相互依赖的图像帧组成的数据流。通常而言,在视频情节内容发生变化时,会出现镜头切换,从一个镜头内容转移到另外一个镜头内容。
视频蕴涵有丰富的视觉、听觉和字幕信息,所以这些底层特征可以是颜色、纹理、形状、音调和文本等,然后可以采用单模态分析方法,即只使用一种模态信息进行处理,或是采用多模态分析方法,即同时使用两种或是两种以上的模态信息进行处理。基于这些提取的底层特征,我们可以将视频片段索引到相关的语义概念上,例如,汽车、冰球、海滩、采访等场景。目前,多数实验结果表明,多模态视频融合分析能够产生有效的视频索引,方便视频片段的分类。
鲁棒是Robust的音译，也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，是指控制系统在一定（结构，大小）的参
数摄动下，维持其它某些性能的特性
视频数据融合分析
实时地通过语义访问多模态视频数据库有着广泛的应用前景,这就需要人们关注视频片
段的自动索引。
视频数据分析方法是按照如下步骤进行的:首先,
从原始的视频数据流中提取一系列底层特征,因为视频蕴涵有丰富的视觉、听觉和字幕信息, 所以这些底层特征可以是颜色、纹理、形状、音调和文本等,然后可以采用单模态分析方法, 即只使用一种模态信息进行处理,或是采用多模态分析方法,即同时使用两种或是两种以上
的模态信息进行处理。基于这些提取的底层特征,我们可以将视频片段索引到相关的语义概念上,例如,汽车、冰球、海滩、采访等场景。目前,多数实验结果表明,多模态视频融合
分析能够产生有效的视频索引,方便视频片段的分类。一种简单的多模态融
合分析方法是,分别对单个模态的数据进行处理分析,然后综合得到的分析结果。方法已经产生了良好的实验结果,但是这些方法缺少扩展性和鲁棒性,而
且在理论上也存在着两个基本的问题:一是哪些模态信息对于视频融合分析最为有益?二是如何选择性地融合这些最优的模态信息?
为了解决这两个问题,文献【23]中,作者使用pAC)和独立成分分析(Independentoc哪onent劫alysis,I以)方法,完成对视频的融合分析。
他们提供了一个独立模态信息的分析方法,从原始的底层特征中提取了最优的模态信息。一旦独立的模态信息被定义以后,研究的第二步就是如何选择一种最优的方法来融合这些模态信息,以方便视频数据的后期处理,例如,视频镜头的分类。
假设我们得到的是真正的独立模态特征,并且每个模态特征都能为类别的预测提供准确
的后验概率,那么我们只要简单地使用产品合成规则(Prdouct一CombinatinoRule)就可以计
算特征信息与预测类别之间的相关概率。但是,上述两个条件在大多数视频数据的分析任务中并不存在,所以,采用产品合成规则并不合适。
另外一个比较通用的融合方法是使用权重加和规则(Weihgtde一SumRul。),这种方法将各种模态特征线性地融合在一起。权重加和规则的优点在于简单,但它线性的约束条件不允许这种方法在高维复杂的模态信息中被使用,因此它不能在PCA和ICA提取的模态特征中挖掘相互依赖的信息。
23中者最后使用超核融合(sPuer KemelFusoin)算法将那些独立的模态特征非线性地融合在一起,其中线性融合将作为上述方法中的一种特殊情况。
这虽然PCA和ICA两种方法并不能保证在高维的模态信息中发现真正独立的模态特征。
所以,本文将采用支持向量聚类(uspportveoctrClusertnig,sVO的方法来完成独立模态特征的选取,并通过基于统计的最大信息嫡(MxanilumEnir叩y,ME)方法来最优化地融合所提取的模态信息。
我们使用isoMAP和支持向量机聚类(SVC)相结合的方法对原始的多模态特征进行分析,发现其中的独立模态特征。
然后使用最大嫡(MxamiumEniorpy)模型对这些独立模态特征进行最优化融合。
第三章视频的多模态融合分析
利用视频的多模态特征,获取数据流中的语义信息已经成为研究热点。由于视频蕴涵有多种
内容丰富的模态信息,融合分析视频中的多模态特征将有助于我们对视频的语义理解。
传统的视频多模态融合分析大多是基于先验知识的,它们缺乏足够的理论来
解决两个基本的问题
一是哪些模态信息对于视频融合分析最为有益?
二是如何选择性地融合这些最优的模态信息?
我们使用isoMAP和支持向量机聚类(SVC)相结合的方法对原始的多模态特征进行分析,发现其中的独立模态特征。
多模态特视频可以从视觉、听觉和文本等通道中提取多模态特征。视频的视觉特征包括图像的颜色特征、纹理特征、镜头运动和人脸特征等,听觉特征包括有音调特征、重要停顿等,文本特征则包括有转录文本、视频字幕等。
多模态的识别
而是使用基于ISOMAP非线性降维和支持向量机聚类SVC来对原始特征进行降维和独立模态数目D的发现。
独立模态发现
该算法用于将m维多模态特征转换成K个独立的模态。假设我们在空间X中给定一组m维的点集(每个数据点表示一个训练样本),那么,独立模态发现算法就是把空间X分割成K个子空间,每个子空间可以看作一个独立的模态。
从视频数据中提取的多模态原始特征可以看作是在高维空间X中一些数据点。由于原
始多模态特征的维数很大,我们必须采用一个有效的维数约减算法来避免维数灾难问题。SIOMoP可以对高维数据进行非线性降维,同时还保留了经典的维数约减算法中的主要优点。SIOMAP保证覆盖了高维原始特征空间中的所有真实维数和JL何结构,因此,SIOMAP更加适合对高维视频多模态原始特征进行维数约减。
通过sIOMAP对高维原始特征空间X进行维数约减得到新的特征空间y,但是空间y
的维数仍然较高,所以,我们还可以通过支持向量机聚类算法(SVC)对空间Y进行分割,
得到K个维数更小的相对独立的空间。
然后（其中包含有审计融合，加权融合）使用最大嫡(MxamiumEniorpy)模型对这些独立模态特征进行最优化融合。
多模态的融合
得到了D个不同的模态,并且己经为每一个模态训练了一个单独的分类器,那么现在的任务就是选择一种合适的方法对这D个分类器的结果进行融合。
基于最大嫡的多模态分析
出了一种基于最大嫡模型对视频进行多模态融合分析的算法。该算法针对不同的
模态,用最大嫡原理发掘不同模态之间的相关性,并对此进行最优化融合。
视频多模态原始特征》》》》独立模态》》》模态1 2。。K》》》》》多模态融合》》》多模态融合分类器
实验分析
原始的多模态特征集小于isomap 略小于采用独立模态特征集小于当ISomap在采用向量聚类
首先,针对视频的多模态特征,本文提出了一种新的视频多模态融合分析机制,用于完
成对视频镜头的检测和分类,主要包含以下几个新特点:
提出了一种全新的独立模态发现算法。用流型算法(SIOMAP)对从视频镜头中提
取的多模态高维特征向量进行非线性降维,然后使用支持向量机(S叩portVe以。Clusertnig,SVC)对降维后的特征向量进行聚类,发现有效的独立模态。
.提出了一种基于最大嫡模型对视频进行多模态融合分析的算法。该算法针对不同的
模态,用最大嫡原理发掘不同模态之间的相关性,并对此进行最优化融合。
在第四章中,我们提出了一种基于转录文本的视频语义自动标注算法。人们通常使用手
工方式对视频数据进行文本标注,以支持基于语义的视频管理与检索。随着视频数据库的不断增大,手工标注费时费力以及主观偏差的缺点越来越明显。在新闻类视频具有相对应的转录文本的前提下,我们结合视频的时序信息,提出了一种全新的视频语义自动标注算法,加
深了对视频数据的语义理解。该算法首先通过视频融合分析对视频镜头进行检测和分类,根据启发式规则将视频分割成视频故事单元,然后结合视频的时序信息和相关的转录文本,利用统计模型自动选取最能够表达视频数据的若干关键字作为标注信息。
基于多模态数据融合的视觉目标跟踪算法研究
基于多模态数据融合的视觉目标跟踪算法研究计算机科学技术的高速发展带动了计算机视觉领域的革新,人类对机器学习和人工智能的需求日益增加,这使得视觉目标跟踪成为了当前研究的热门课题。在无人驾驶、安防、人机交互、导航和制导等民事和军事应用领域,视觉目标跟踪扮演着举足轻重的角色。 经过了几十年的发展,当前的目标跟踪算法依然面临着来自外部环境和目标自身的具有挑战性的干扰因素,如背景杂乱、遮挡、低照度、尺度变化、形变、运动模糊和快速运动等,它们严重制约着其发展。本文通过研究不同模态的数据之间的互补特性,结合不同跟踪方法的优缺点分析,提出了一种基于“检测跟踪模型”的多模态数据融合跟踪算法。 该算法采用红外和可见光图像中目标的全局/局部的多种特征,能够应对当前目标跟踪领域所面临的多种复杂干扰。首先,本文算法设计了两个跟踪模块:基于统计模型的跟踪模块(HIST模块)和基于相关滤波的跟踪模块(CFT模块)。 其中,HIST模块采用具有全局统计特性的RGB颜色直方图作为跟踪特征,结合贝叶斯准则设计了一种目标/背景区分算子用于区分目标和干扰物,是一种生成式和判别式的混合跟踪模块。该模块引入了积分图策略,以实现基于检测跟踪模型的改进,得到可与CFT模块的跟踪结果相融合的改进模块。 而CFT模块基于KCF跟踪原理,采用了多种特征(HOG、CN、图像强度)进行跟踪任务,是一种判别式跟踪模型,本文基于检测跟踪模型对该模块进行了改进,并设计了一种去噪融合规则来融合由多种特征得到的响应函数。其次,本文基于KL 距离提出了一种可靠性度量规则来度量上述两个跟踪模块的输出结果的可靠性。 根据度量结果,本文还设计了一种决策级的自适应融合策略来融合上述跟踪
多模态医学图像的融合研究
第22卷 第2期2004年6月 广西师范大学学报(自然科学版)JOU RNAL O F GUAN GX INORM AL UN I V ERS ITY V o l .22 N o.2June 2004收稿日期:2004203218 基金项目:广西教育厅科研基金资助项目 作者简介:王修信(1963—),男,广西桂林人,广西师范大学副教授,硕士. 多模态医学图像的融合研究 王修信1,张大力2 (11广西师范大学物理与信息工程学院,广西桂林541004;21清华大学自动化系,北京100084) 摘 要:图像融合作为一种有效的信息融合的技术,已广泛用于医学图像、军事、遥感、机器视觉等领域.基于 小波变换的图像融合是一种新的多尺度分解像素级融合方法,利用小波变换分别对CT ,M R I 医学图像进行 分解处理,按照融合规则构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像,重构 后的融合图像完好地显示源图像各自的信息.实验图像使用互信息量化判据来评价融合效果,结果表明小波 变换比传统的像素级加权平均融合算法效果更好. 关键词:医学图像;融合;小波变换 中图分类号:T P 391141 文献标识码:A 文章编号:100126600(2004)022******* 医学影像学为临床提供了超声图像、X 射线、 电子计算机体层扫描(CT )、磁共振成像(M R I )、数字减影成像(D SA )、正电子发射体层扫描(PET )、单光子发射断层成像(SPECT )等多种模态影像信息[1～3].不同的医学影像可以提供人体相关脏器和组织的不同信息,如CT 和M R I 提供解剖结构信息,而PET 和 SPECT 提供功能信息 .在实际临床应用中,单一模态图像往往不能提供医生所需要的足够信息,通常需要将不同模态图像融合在一起,得到更丰富的信息以便了解病变组织或器官的综合信息,从而做出准确的诊断或制订出合适的治疗方案.例如,CT 利用各种组织器官对X 射线吸收系数的不同和计算机断层技术对人体进行成像,它对于骨、软组织和血管的组合成像效果很好,而对软组织则近乎无能为力.M R I 利用水质子信息成像,对软组织和血管的显像灵敏度比CT 高得多,但对骨组织则几乎不显像.由此可见不同成像技术对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的,因此对不同影像信息进行适当的集成便成为临床医生诊断和治疗疾病的迫切需要. 小波变换具有多分辨率分析特点,可聚焦到分析对象的任意细节,特别适合图像信号非平稳信源的处理[4].基于小波变换的图像融合是一种新的多尺度分解像素级融合方法,已有的应用研究主要是热图像和可视图像的融合[5,6].本文利用小波变换分别对CT ,M R I 医学图像进行分解处理,按照融合规则构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像,重构后的融合图像完好地显示源图像各自的信息.实验图像使用互信息量化判据来评价融合效果,结果表明小波变换比传统的像素级加权平均融合算法效果更好. 1 基于小波变换的图像融合原理 小波变换是用一族小波函数系去逼近一信号,而小波函数系是通过一个基本小波函数在不同尺度下经伸缩和平移构成[7]. 7a ,b (x )=1?a ? 7x -b a , a ,b ∈R ,a ≠0其中a 为伸缩因子,b 为平移因子. 对于二维情况,设V 2j (j ∈Z )是空间L 2(R 2)的一个可分离多分辨率分析,对每一个j (j ∈Z )来说,尺度
遥感影像融合处理方法
遥感影像融合处理方法 摘要：本文介绍了遥感影像数据融合技术，并给出了融合的一些基本理论、融合处理一般步骤以及常用融合处理方法，最后简要描述了融合评价的方式方法等。 关键词：遥感影像融合融合评价 1、前言 将高分辨率的全色遥感影像和低分辨率的多光谱遥感影像进行融合，获得色彩信息丰富且分辨率高的遥感融合影像的过程，成为遥感影像融合。全色影像一般具有较高空间分辨率，多光谱影像光谱信息较丰富，为提高多光谱影像的空间分辨率，可以将全色影像融合进多光谱影像。通过影像融合既可以提高多光谱影像空间分辨率，又能保留其多光谱特性。 2、遥感影像融合一般步骤 遥感影像信息融合一般流程主要分为两个阶段：图像预处理，图像融合变换。 图像预处理主要包括：几何校正及影像配准。几何校正主要在于去除透视收缩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；影像配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。 3 常用融合方式 3.1 IHS融合 IHS（亮度I、色度H、饱和度S）变换就是将影像从RGB彩色空间变换到IHS空间来实现影像融合的一种方法。由光学、热红外和雷达(微波)等方式得到的不同波段遥感数据，合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出物体的亮度、色度、饱和度，它们分别对应每个波段的平均辐射强度、数据向量和的方向及其等量数据的大小。RGB颜色空间和IHS 色度空间有着精确的转换关系。IHS变换法只能用三个波段的多光谱影像融合和全色影像融合。 3.2 小波融合 小波变换，基于遥感影像的频域分析进行的，由于同一地区不同类型的影像，低频部分差别不大，而高频部分相差很大，通过小波变换对变换区实现分频，在分频基础上进行遥感影像的融合，常用于雷达影像SAR与TM影像的融合。
谈医学影像的融合(一)
谈医学影像的融合(一) 科技的进步带动了现代医学的发展，计算机技术的广泛应用，又进一步推动了影像医学向前迈进。各类检查仪器的性能不断地提高，功能不断地完善，并且随着图像存档和传输系统(PACS)的应用，更建立了图像信息存储及传输的新的模式。而医学影像的融合，作为图像后处理技术的完善和更新，将会成为影像学领域新的研究热点，同时也将是医学影像学新的发展方向。所谓医学影像的融合，就是影像信息的融合，是信息融合技术在医学影像学领域的应用；即利用计算机技术，将各种影像学检查所得到的图像信息进行数字化综合处理，将多源数据协同应用，进行空间配准后，产生一种全新的信息影像，以获得研究对象的一致性描述，同时融合了各种检查的优势，从而达到计算机辅助诊断的目的〔1，2〕。本文将从医学影像融合的必要性、可行性、关键技术、临床价值及应用前景5个方面进行探讨。 1医学影像融合的必要性 1.1影像的融合是技术更新的需要随着计算机技术在医学影像学中的广泛应用，新技术逐渐替代了传统技术，图像存档和PACS的应用及远程医疗的实施，标志着在图像信息的存储及传输等技术上已经建立了新的模式。而图像后处理技术也必须同步发展，在原有的基础上不断地提高和创新，才能更好更全面地发挥影像学的优势。影像的融合将会是后处理技术的全面更新。 1.2影像的融合弥补了单项检查成像的不足目前，影像学检查手段从B超、传统X线到DSA、CR、CT、MRI、PET、SPECT等，可谓丰富多彩，各项检查都有自身的特点和优势，但在成像中又都存在着缺陷，有一定的局限性。例如：CT检查的分辨率很高，但对于密度非常接近的组织的分辨有困难，同时容易产生骨性伪影，特别是颅后窝的检查，影响诊断的准确性；MRI检查虽然对软组织有超强的显示能力，但却对骨质病变及钙化病灶显示差；如果能将同一部位的两种成像融合在一起，将会全面地反映正常的组织结构和异常改变，从而弥补了其中任何一种单项检查成像的不足。 1.3影像的融合是临床的需要影像诊断最终服务于临床治疗；先进的检查手段，清晰的图像，有助于提高诊断的准确性，而融合了各种检查优势的全新的影像将会使诊断更加明确，能够更好地辅助临床诊治疾病。 2医学影像融合的可行性 2.1影像学各项检查存在着共性和互补性为影像的融合奠定了基础尽管每项检查都有不同的检查方式、成像原理及成像特征，但它们具有共同的形态学基础，都是通过影像来反映正常组织器官的形态、结构和生理功能，以及病变的解剖、病理和代谢的改变。而且，各项检查自身的缺陷和成像中的不足，都能够在其他检查中得到弥补和完善。例如：传统X线、CT 检查可以弥补对骨质成像的不足；MRI检查可以弥补对软组织和脊髓成像的不足；PET、SPECT 检查则可以弥补功能测定的不足。 2.2医学影像的数字化技术的应用为影像的融合提供了方法和手段现在，数字化技术已充分应用于影像的采集、存储、后处理、传输、再现等重要的技术环节。在首要环节即影像的采集中，应用了多种技术手段，包括：(1)同步采集数字信息，实时处理；(2)同步采集模拟信号，经模数转换装置转换成数字信号；(3)通过影像扫描仪和数码相机等手段，对某些传统检查如普通X线的胶片进行数字转换等；将所采集的普通影像转换成数字影像，并以数据文件的形式进行存储、传输，为进一步实施影像融合提供了先决条件。 3医学影像融合的关键技术 信息融合在医学图像研究上的作用一般是通过协同效应来描述的，影像融合的实施就是实现医学图像的协同；图像数据转换、图像数据相关、图像数据库和图像数据理解是融合的关键技术。(1)图像数据转换是对来自不同采集设备的图像信息的格式转换、三维方位调整、尺度变换等，以确保多源图像的像/体素表达同样大小的实际空间区域，确保多源图像对组织
多模态图像融合算法综述
多模态图像融合算法综述 多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。文章提出一种新的图像融合算法的分类体系，在分析新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。 标签：图像融合；像素级；特征级；决策级；图像融合算法 引言 不同模态传感器关于同一场景所采集到的图像数据经过相关技术处理相融合的过程称为多模态图像融合，本文站在新的角度，提出一种新的分类体系，同时阐述各体系下的代表性算法，论述图像融合领域的发展现状。 1 图像融合的体系 根据融合的对象，图像融合一般分为三个等级：像素级、特征级及决策级[1]。像素级的处理对象是像素，最简单直接，特征级建立在抽取输入源图像特征的基础上，决策级是对图像信息更高要求的抽象处理，本文在此基础上提出一种不同的的分类体系，即直接融合和间接融合。 1.1 直接图像融合算法 直接图像融合算法分基于像素点和基于特征向量的融合方法，基于像素点的融合主要针对初始图像数据而进行[2]，是对各图像像素点信息的综合处理[3]。 1.2 间接图像融合算法类 间接图像融合算法是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理来分析多幅图像的信息。 2 直接图像融合算法类 直接图像融合算法分基于像素点和基于特征向量的图像融合算法。 2.1 基于像素点的直接图像融合算法 设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y在位置（i，j）的灰度值，则融合后的图像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加权系数且x+y=1。算法简单、融合速度快，但减弱了图像的对比度[4]。 2.2 基于特征向量的直接图像融合算法
基于多模态融合的情感识别研究
基于多模态融合的情感识别研究 多模态情感识别在情感计算中是一个具有挑战性的课题,因为从多模态数据中提取出具有判别性的特征来识别人类情感中的细微差 距仍有很高的难度。当前的研究中,基于现有的三种多模态融合的策略:特征层融合、决策层融合和模型层融合提出的算法都是偏向浅层的特征融合方案,容易造成联合特征表达的判别性不足。而设计精巧的融合模型或大型神经网络由于复杂的设计和庞大的参数,又使得特征提取的耗时过长。为了解决多模态联合特征判别性不足和特征提取耗时之间的矛盾,本文提出了一种深度模态融合的网络模型来完成多模态数据融合的情感识别任务。该模型首先利用滑动窗口将音视频信号切割成数据片段,获得最小边框标记的人脸关键帧图像和语音信号的三维梅尔倒频谱,对两路输入信号分别使用带残差的深度方向可分离的卷积核进行特征提取和特征融合,最后在联合特征上训练分类器,实现包括喜悦、悲伤、惊喜、厌恶、愤怒、恐惧和正常在内的七种不同情感的分类任务。本文在RML、eNTERFACE05和BAUM-ls音视频情感识别公开数据集上进行了训练和测试,实验结果取得了较好的分类效果。为了能够拓宽情感识别技术在各个领域中的应用,本文设计并实现了一个多模态情感识别分析系统,系统包含了数据采集输入、数据预处理、情感识别算法、数据分析计算、前端可视化和系统管理等六个模块。该系统可以根据数据模态的不同,选择不同的识别算法, 实现对离线图片、音频、视频文件等多种模态数据的情感识别,支持对视频数据进行视频情感成分分析和实时视频情感识别两类任务。本
文对该系统进行了详细的设计和实现,测试了系统各项功能,并将系 统应用于社交媒体中的视频观点分析和医疗康复中的视频识别辅助。
多模态数据挖掘的应用
多模态数据挖掘的应用 焦隽? (南京大学计算机科学与技术系, 南京 210093) The application of multimodal data mining:A survey Jun Jiao* (Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China) Abstract: Nowadays, m ultimodal data available to us through the Internet and other electronic media are explosively increasing both in number and in variety. Efficiently analyzing these data will save people a large amout of time. However, due to the property of multimodal data, methods used to uni-modal data usually perform ineffectively here. To handle such massive multimodal data for various purposes, new technologies are in need of development.Data Mining helps people find a potentially useful knowledge from Massive Data, and play an important role in many fields. Data mining could only handle simple text data in the past. After several decades of development, data mining can deal with the multimedia data with complex structure now. Multimedia data is a sort of multimodal data. Some fusion and cross-media data mining algorithms can be used to mine multimodal data effectively. Based on the data mining approach to the task of analyzing multimodal data, this paper briefly introduces several methods fitting for multimodal data mining. Key words: multimodal; data mining 摘 要: 目前人们通过网络和其他电子媒体获得的多模态数据在数量和类别上都在飞速的增长。如果能对这些数据进行高效的分析，将为人们节省大量的时间。但是由于多模态数据本身的独特性质，许多传统应用于单模态数据的分析技术将无法有效的对其进行挖掘。因此人们需要新的技术来处理各种场景中大量的多模态数据。数据挖掘作为一种帮助人们从海量数据中发现潜在有用的知识的工具，在很多领域发挥了重要的作用。经过几十年的发展，数据挖掘已经从原来只能处理简单的文本数据，发展到为可以处理结构复杂的多媒体数据。多媒体数据是一种特殊的多模态数据，多媒体数据挖掘中的许多方法都利用到了目前挖掘多模态数据的核心思想。本文从数据挖掘的角度来分析多模态数据，对目前适用的几种多模态数据挖掘技术进行了简要介绍。 关键词: 多模态;数据挖掘 中图法分类号: TP301文献标识码: A 1 引言 近几十年来，计算机运算存储能力不断提高，数据产生和采集的速度也越来越快，因而数据量越来越大；而与此同时，人们面对巨量数据，能够直接获得的信息量却越来越有限。单纯的人力已经很难胜任对这样巨 ?作者简介:焦隽(1986——)，男，湖南长沙人，硕士研究生，主要研究领域为数据挖掘，机器学习；
基于多模态融合的情感计算研究
基于多模态融合的情感计算研究 移动终端和智能设备目前与人类生活、学习和工作息息相关,基于智能设备的情感计算技术已成为国内外学者的研究热点。随着人口老龄化趋势加剧,老年人的家庭护理需求日益增多,通过对老年人的情感状态、行为姿态进行研究可以更好的理解和关注老年人的身心健康。利用情感计算可以建立和谐的人机环境,但是目前情感计算仍存在一些急需解决的问题,在行为姿态识别中,虽然选择手机传感器的底层统计特征对人体行为进行识别可取得较好效果,但是这些底层特征忽略了行为的高层语义表达,对训练集中有限样本行为的识别率较差。而在情感识别中,人的情感在表达时由生理、心理、表情和音调等多个模态信息共同组成,使用单模态进行情感识别时,由于情感表示信息不足容易导致一些情绪的识别率较差等问题。针对以上两种分类识别所面临的问题提出两种识别方法,主要工作包括如下两方 面:(1)针对现有日常行为识别中跌倒样本采集困难,跌倒行为样本规模较少导致识别率较差的问题,提出一种基于低层特征与高层语义的人体行为识别方法。该方法引入语义属性特征以便在某些行为样本较少的情况下能够共享行为之间的低层特征信息,通过构建属性-行为矩阵,利用低层特征信息训练语义属性检测器,得到语义属性特征,对属性特征与低层特征分别进行预分类,融合两种特征的预分类结果得到最终判决的人体行为类别。实验结果表明,与过采样算法、欠采样算法和最小二乘支持向量机相比,本文所提方法获得了更好的分类结果。(2)一般多模态特征融合方法仅通过简单的拼接来组合特征,或将
所有模态信息直接利用深度模型进行融合,这样会导致特征冗余和关键特征不足等问题,本文提出多模态深度信念网络对各模态特征分别进行融合,以解决所有模态直接融合后进行特征选择带来的实验成本过高的问题,并提高各情绪识别性能。通过多模深度信念网络优选生理信号和视频信号的初始特征,再利用双模深度信念网络将各模态统一结构化的特征进行融合,得到多模态高层表示特征,利用支持向量 机对该特征进行分类识别。在The BioVid Emo DB数据集上对高兴、难过、生气、恐惧和厌恶这五种情绪的平均识别率是80.89%,实验表明该方法在降低融合成本的同时,对多模态情绪识别性能也有较好的改善。
多模态批评话语分析
多模态批评话语分析 随着互联网和多媒体的迅速发展和广泛应用,语言文本不再是交际的唯一手段,图像、手势、动作、颜色、声音等其他非语言符号也成为信息传递的重要方式。我们生活在一个由多种符号资源构成的社会中,意义的构建不再单纯依靠语言文本,而是越来越依赖各种符号资源的整合。人类交流所依赖的媒介和渠道被称之为“模态”(modality),例如:语言、声音、颜色、图像、手势等符号系统。作为人类的一种重要交际行为,话语自然具有多模态性。传统的话语分析以大于句子的语言单位作为研究对象,对实际使用中的语言进行观察和分析,研究语言的组织结构、使用特点、语法规律、语言中的制约因素等内容,忽略了能够传递大量重要信息的其他非语言符号。可见,传统的话语分析已经不能满足人们的实际交际需要,多模态话语分析符合当下信息时代发展的要求和趋势。多模态话语分析为人类理解丰富多彩的符号系统提供了新视角,目前已发展成为一种重要的话语分析方式。像语言一样,视觉符号和声音符号貌似正常或中立(平淡无奇),实则隐含着个人或社会团体的不公正、偏见和歧视。因此,在多模态话语分析中,我们应坚持批评的立场,给予非语言模态符号足够的重视,关注其中含而不露的意识形态意义,尤其是那些被人们习以为常的思想和观点。在多模态话语和批评话语分析互相影响
和借鉴的基础上,多模态批评话语分析应运而生。 20世纪90年代,多模态话语分析在西方开始兴起,引起越来越多语言学家的关注。传统意义上的话语分析注重分析语言符号系统和语义结构本身,忽略了对其他符号系统(例如:图像、声音、颜色、手势等)的研究。随着现代科学技术的发展,人类交际开始依靠多种模态共同完成,包括图像、音乐、声音、颜色等。而这种运用语言、图像、声音、动作等多种符号资源进行交际的现象就是“多模态话语”(multimod aldis-course)。学界对交际中出现的图像、手势、姿态以及空间的运用也产生了浓厚兴趣。学者们认识到,对于意义理解不仅需要对话语语言的分析,更要对独立或相互依赖的其他符号资源进行研究。法国语言学家BarthesRlando是最早从事多模态话语分析研究的学者之一。他在1977年发表的论文《形象的修辞》中探讨了图像在表达意义上与语言的相互作用[1]。Kress和VanLeuwene[2][3][4](P343-368)[5](P35-50)作为社会符号学的代表研究了模态与媒体的关系,在系统功能语言学的基础上,构建了视频话语的分析模式和多模态话语分析框架,探讨了多模态符号表达意义的现象,包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等方面。2007年,朱永生[6](P82-86)提出了两种多模态话语的识别标准:(1)同时使用两种模态的话语叫做“多模态话语”;(2)只涉及一种模态,但包含两个或更多符号系统的话语也是“多模态话语”,比如:视觉
视频多模态融合
帧(Farme):帧是视频数据流中的基本组成单元,每一帧均可看成一个独 立的图像。视频数据流就是由这些连续的图像帧构成的,在PAL视频格式中,视频采样率 为25帧/秒,在NTSC视频格式中,视频采样率为30帧/秒。 镜头(Shot):镜头是摄像机拍下的不间断的帧序列,是视频数据流进一步 结构化的基础结构层。 关键帧(KeyFarme):关键帧是可以用来代表镜头内容的图像。在切分出 镜头结构以后,关键帧就被用来表示各个镜头的底层特征,从而进行进一步的视频结构化。 在一个视频镜头中,一般关键帧的数目要远远小于镜头所包含的图像帧数目。 场景(Secne):语义上相关和时间上相邻的若干组镜头组成了一个场景,场景是视频所蕴涵的高层抽象概念和语义表达。 组(Gmup ：组是介于视频镜头和语义场景之间的结构。例如:一段采访 录像,镜头在主持人与被采访者之间频繁切换,整个采访过程属于一个场景,而那些关于主 持人的所有镜头属于一组,关于被采访者的所有镜头属于另外一组。 视频镜头边缘检测 视频可以看作是一系列时间上相互依赖的图像帧组成的数据流。通常而言,在视频情节内容发生变化时,会出现镜头切换,从一个镜头内容转移到另外一个镜头内容。 视频蕴涵有丰富的视觉、听觉和字幕信息,所以这些底层特征可以是颜色、纹理、形状、音调和文本等,然后可以采用单模态分析方法,即只使用一种模态信息进行处理,或是采用多模态分析方法,即同时使用两种或是两种以上的模态信息进行处理。基于这些提取的底层特征,我们可以将视频片段索引到相关的语义概念上,例如,汽车、冰球、海滩、采访等场景。目前,多数实验结果表明,多模态视频融合分析能够产生有效的视频索引,方便视频片段的分类。 鲁棒是Robust的音译，也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，是指控制系统在一定（结构，大小）的参
遥感卫星数据处理知识详解
北京揽宇方圆信息技术有限公司 遥感卫星数据处理知识详解 遥感技术自20世纪60年代兴起以来，被应用于各种传感仪器对电磁辐射信息的收集、处理，并最后成像。遥感信息通常以图像的形式出现，故这种处理也称遥感图像信息处理。 那对遥感图像处理可以达到什么目的呢？ ①消除各种辐射畸变和几何畸变，使经过处理后的图像能更真实地表现原景物真实面貌； ②利用增强技术突出景物的某些光谱和空间特征，使之易于与其它地物的K 分和判释； ③进一步理解、分析和判别经过处理后的图像，提取所需要的专题信息。遥感信息处理分为模拟处理和数字处理两类（见数据釆集和处理）。 遥感数据处理过程 多谱段遥感信息的处理过程是： ①数据管理：地面台站接收的原始信息经过摄影处理、变换、数字化后被转换成为正片或计算机兼容的磁带，将得到的照片装订成册，并编目提供用户选用。 ②预处理：利用处理设备对遥感图像的几何形状和位置误差、图像辐射强度信息误差等系统误差进行几何校正和辐射校正。 ③精处理：消除遥感平台随机姿态误差和扫描速度误差引起的几何畸变，称为几何精校正；消除因不同谱段的光线通过大气层时受到不同散射而引起的畸变，称为大气校正。
④信息提取：按用户要求进行多谱段分类、相关掩模、假彩色合成、图像增 强、密度分割等。 ⑤信息综合：将地面实况调查与不同高度、不同谱段遥感获得的信息综合编 辑，并绘制成各种专题图。 遥感信息处理方法和模型越来越科学，神经网络、小波、分形、认知模型、地学专家知识以及影像处理系统的集成等信息模型和技术，会大大提高多源遥感技术的融合、分类识别以及提取的精度和可靠性。统计分类、模糊技术、专家知识和神经网络分类有机结合构成一个复合的分类器，大大提高分类的精度和类数。多平台、多层面、多传感器、多时相、多光谱、多角度以及多空间分辨率的融合与复合应用，是目前遥感技术的重要发展方向。不确定性遥感信息模型和人工智能决策支持系统的开发应用也有待进一步研究。 多源遥感数据融合 遥感数据融合技术旨在整合不同空间和光谱分辨率的信息来生产比单一数据包含更多细节的融合数据，这些数据来自于安放在卫星、飞行器和地面平台上的传感器。融合技术已成功应用于空间和地球观测领域，计算机视觉，医学影像分析和防卫安全等众多领域。 遥感数据处理的发展趋势 遥感技术正在进入一个能够快速准确地提供多种对地观测海量数据及应用研究的新阶段，它在近一二十年内得到了飞速发展，目前又将达到一个新的高潮。 这种发展主要表现在以下4个方面： 1. 1.多分辨率多遥感平台并存 2. 空间分辨率、时间分辨率及光谱分辨率普遍提高。目前，国际上已拥有十几种不同用途的地球观测卫星系统，并拥有全色0．8～5m、多光谱3．3～30m 的多种空间分辨率。随着遥感应用领域对高分辨率遥感数据需求的增加及高新技术自身不断的发展，各类遥感分辨率的提高成为普遍发展趋势。 1. 2.微波遥感、高光谱遥感迅速发展 2. 微波遥感技术是近十几年发展起来的具有良好应用前景的主动式探测方法。 微波具有穿透性强、不受天气影响的特性，可全天时、全天候工作。微波遥感采用多极化、多波段及多工作模式，形成多级分辨率影像序列，以提供从粗到细的对地观测数据源。成像雷达、激光雷达等的发展，越来越引起人们
1.项目名称多模态脑信息融合算法及穿戴式设备的研发与应用
1.项目名称：多模态脑信息融合算法及穿戴式设备的研发与应用 2.候选单位（含排序）： 1)北京薏然阳光电子技术有限公司 2)北京即刻叁全视觉科技有限公司 3)北京翼石科技有限公司 4)中央民族大学 3.候选人（含排序）： 闫天翼；陈端端；陈嵘；赵仑；程勇；邓晓涛；董小楠；刘田田；王永昊。 4.项目简介（与申报推荐书中“项目简介”一致）： 一、项目研究的目的及意义 近年来，脑机制研究发展迅猛，高水平论文层出不穷，但仍缺乏能够真正提升神经系统疾病诊疗效果的研究成果；而在技术层级，脑机融合算法不断创新，但通过技术转化，具有实际应用意义的产品仍然不多。此领域，亟需对脑信息处理机制的应用建模，开发可服务于神经系统功能监测、诊疗的脑机信息融合技术。随着机器学习算法的发展，结合脑电和核磁数据构建模型成为一种可能。并且有望通过迁移学习在多模态数据模型基础上，训练出仅基于脑电数据的、可有效解读大脑信息的模型。 二、主要技术创新 本项目从大脑信息处理的最基本物理量"空间位置映射"入手，基于新型空间映射技术和体素级分析，重建了反应大脑空间映射机制的精细脑图谱，构建了输入（刺激）- 输出（脑区）的位置对应模型，将“输入—脑—输出”模型思想应用到涉及脑电和核磁数据的量化特征计算。基于模型，结合核融合稀疏学习，对时间、空间数据进行了
特征级拟合、模型级融合，实现了脑电数据的输入（刺激）- 输出（特征信号）稳定特征提取算法，为脑机制研究的相关应用提供了可能性。进一步，结合基础研究所提出的空间映射模型和技术研究所建立的特征提取算法，研发了具有自主知识产权的穿戴式脑机信息融合设备和神经反馈设备。应用于医疗、教育、国防安全等领域，取得了重要的社会意义和一定的经济效益。 三、成果产生的价值 基于以上核心技术，项目开发了可用于个体化治疗的自适应神经反馈设备。依托该技术，申请人参加吉林省青年创新创业大赛，获得金奖。相关技术突破和设备研发，获得授权/公开国家发明专利33项，授权实用新型和软件著作权6项。其中，技术转化获CFDA认证（中华人民共和国医疗器械注册证：二类医疗器械资质认证）1项；研发的具有自主知识产权的智能穿戴式脑机融合设备，被国家公安部选为"列装设备"备选项目一项；研发的具有自主知识产权的神经反馈设备通过了国际CE、RoHS认证，并拥有教育部科技查新报告，转化于多家医院和公司，应用于医疗、教育、安防等领域，产生直接经济效益600万，间接经济效益超过5000万元。相关产品受邀参展第二届国际城市科学节，并被央视详细报道。 5.相关证明材料： 5.1知识产权目录（已授权的知识产权证明）
【CN110044577A】基于变论域模糊控制的多模态振动主动控制方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910307227.3 (22)申请日 2019.04.17 (71)申请人 大连理工大学 地址 116024 辽宁省大连市甘井子区凌工 路2号 (72)发明人 刘巍 温正权 周孟德 姚壮 唐琳琳 梁冰 贾振元 (74)专利代理机构 大连理工大学专利中心 21200 代理人 关慧贞 (51)Int.Cl. G01M 9/04(2006.01) G01M 9/08(2006.01) G05B 13/04(2006.01) G05D 19/02(2006.01) (54)发明名称 基于变论域模糊控制的多模态振动主动控 制方法 (57)摘要 本发明基于变论域模糊控制的多模态振动 主动控制方法属于振动控制领域，涉及一种多模 态振动系统的变论域模糊振动主动控制方法。该 方法考虑了高低阶模态振动特性及阻尼振动时 域信号的非线性特性，采用变时域模糊控制方法 实现高低阶输出比重系数的合理分配。以低、高 阶振动烈度作为输入量，通过振动系统特性计算 得到参数以修正变论域模糊控制器输入量论域， 通过变论域模糊控制器计算得到控制比重系数， 通过模糊P控制器计算得到比例系数，各阶系数 与时域信号计算输出控制信号实现多模态振动 主动控制。该方法提高了系统的收敛速度、控制精度及输出效率，可调整参数以适应系统自身特性变化及外界扰动， 适应性好。权利要求书3页 说明书8页 附图5页CN 110044577 A 2019.07.23 C N 110044577 A
1.一种基于变论域模糊控制的多模态振动主动控制方法，其特征是，该方法考虑了高低阶模态振动特性及阻尼振动时域信号的非线性特性，采用变时域模糊控制方法实现高低阶输出比重系数的合理分配；以低、高阶振动模态时域信号短时均方根值作为输入量，以低、高阶控制信号比重系数作为输出量设计均匀模糊子集的模糊比重控制器；对振动系统进行模态测试，通过振动范围确定系统的量化因子，通过测量得到的系统阻尼比计算得到等比因子和滑动因子；以低阶模态加速度信号及其变化率作为输入量，通过模糊P控制器计算比例因子；将比例因子与各阶比重系数相乘得到各阶比例系数，比例系数与各阶加速度信号相乘得到输出控制信号，实现多模态振动系统的振动主动控制；方法的具体步骤如下： 步骤1安装振动模拟系统 振动模拟系统由加速度传感器1，飞行器模型2，测力天平3，支杆4，压电陶瓷作动器5，计算机6，信号放大器7，实时控制器8组成；飞行器模型2通过置于飞行器模型2尾部的测力天平3与支杆4相连，加速度传感器1安装于飞行器模型2外表面，实时控制器8将加速度传感器1测量的振动加速度信号传输给计算机6，通过计算机6计算控制信号，经信号放大器7将电压信号传给压电陶瓷作动器5，压电陶瓷作动器输出反向力矩实现振动抑制； 步骤2设计均匀模糊子集的模糊比重控制器 以低、高阶振动模态时域信号NT时间内低、高阶模态振动烈度a RMS -l 、a RMS -h 衡量实时振动强度，并将其作为输入量， 其公式为： 其中，N为单次处理加速度信号数量，T为采样时间，为NT时间内加速度均方值，a i 为NT时间内i时刻加速度值； 以低、高阶控制信号比重系数k l 、k h 作为输出量；通过比较低、高阶振动模态振动烈度，确定低、高阶控制信号比重系数，既防止超调、又防止比重不足，具体控制规则为： 1)当a RMS -h 较大、a RMS -l 也较大时，k h 较大、k l 中等偏小，以防止合输出过大，导致超调， 2)当a RMS -h 较大、a RMS -l 较小时，k h 适中、k l 中等偏小，使得系统有较好的稳态性能， 3)当a RMS -h 较小、a RMS -l 较大时，k h 较小、k l 适中，使得低阶模态得到有效控制的同时系统具有较好的稳态特性， 4)当a RMS -h 较小、a RMS -l 也较小时，k h 较小、k l 适中，使得衰减较慢的低幅振动能有效控制，又防止高频信号对系统产生震荡； 5)当a RMS -h 适中、a RMS -l 也适中时，k h 中等偏小、k l 较大，高阶模态衰减较快，在中等振幅时所需外界控制作用较小，较大的比重使低阶模态的响应速度增快； 模糊输入变量a RMS -l 、a RMS -h 基础论域均为[0,24]，模糊集合均为{NB ,NM ,NS ,Z ,PS ,PM ,PB}，边界隶属度函数选用Trapezoid，中间隶属度函数选用Triangle，均匀分布于论域上； 模糊输出变量k l 、k h 论域均为[0,0.9]，模糊集合均为{0,1,2,3,4,5,6}，边界隶属度函数选用Trapezoid，中间隶属度函数选用Triangle，均匀分布于论域上；采用取小“与”算法， 权 利 要 求 书1/3页2CN 110044577 A
遥感数据融合
遥感图像的融合 1、目的与要求 1、了解遥感图像融合的原理和方法 2、熟悉高、低分辨率的影像的融合步方法骤 3、掌握遥感软件中常用的遥感数据融合的步骤与方法 2、实验内容 选择ETM8波段的数据与假彩色合成波段的数据做融合处理。融合的方法主要是高、低分辨率遥感数据的融合。 数据要求：在融合之前，第8波段和合成波段数据都已经经过了几何校正和辐射校正等预处理。 3、实验步骤 1、空间分辨率融合 选择“Erdas”面板菜单“Interpreter”->”Spatial Enhancement”->”Resolution Merge”命令，打开“Resolution Merge”对话框。设置如下参数： 文件设置：高空间分辨率的输入图像、多光谱输入图像和输出文件。 融合方法的选择： ¤主成分变换法 ¤乘积变换法 ¤比值变换法 主成分变换法：
融合前融合后乘积变换法：
融合前融合后 2、IHS融合 选择“Erdas”面板菜单“Interpreter”->”Spatial Enhancement”->”Mod.IHS Resolution Merge”命令，打开”Mod.IHS Resolution Merge”对话框，在输入、层选择和输出3个页面中设置参数。
融合前融合后 3、高通滤波融合 选择“Erdas”面板菜单“Interpreter”->”Spatial Enhancement”->”HPF Resolution Merge”命令，
打开”HPF Resolution Merge”对话框,设置如下参数： R值：多光谱图像分辨率与高分辨率图像的分辨率的比值。通过它可以调整卷积核的大小和中心值。 Kernel Size:高通滤波卷积核的大小，有R值决定。 Center Value:卷积核的中心值。 Weighting Factor:权重影响因子。 2Pass Processing :二次滤波选项。当R值大于或等于5.5时，此选项才生效。
多模态深度学习：用深度学习的方式融合各种信息
使用深度学习融合各种来源的信息。 多模态数据 我们对世界的体验是多模态的——我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问 题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围 的世界方面取得进展，它需要能够同时解释这些多模态的信号。例如，图像通 常与标签和文本解释相关联，文本包含图像，以更清楚地表达文章的中心思想。不同的模态具有非常不同的统计特性。 多模态深度学习 虽然结合不同的模态或信息类型来提高效果从直观上看是一项很有吸引力 的任务，但在实践中，如何结合不同的噪声水平和模态之间的冲突是一个挑战。此外，模型对预测结果有不同的定量影响。在实践中最常见的方法是将不同输 入的高级嵌入连接起来，然后应用softmax。 多模态深度学习的例子，其中使用不同类型的神经网络提取特征 这种方法的问题是，它将给予所有子网络/模式同等的重要性，这在现实情况中是非常不可能的。
所有的模态对预测都有相同的贡献 对网络进行加权组合 我们采用子网络的加权组合，以便每个输入模态可以对输出预测有一个学习贡献(Theta)。我们的优化问题变成- 对每个子网络给出Theta权值后的损失函数。 将权值附加到子网后预测输出。 把所有的都用起来！ 准确性和可解释性我们在两个现实多模态数据集上得到了SOTA Multimodal Corpus of Sentiment Intensity(MOSI) 数据集——有417个标注过的视频，每毫秒标注的音频特征。共有2199个标注数据点，其中情绪强度定义为从strongly negative到strongly positive，线性尺度从- 3到+3。模态包括：
空中机器人多模态控制研究
２０１０年５月控制工程 Ｍａｙ２０ １０ 第１７卷９３期ＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇｏｆＣｈｉｎａ Ｖ０１．１７，Ｎｏ．３ 文章编号：１６７１－７８４８【２０１０）０３－０３９３－０４ 空中机器人多模态控制研究 李坚强１，裴海龙２ （１．深圳大学计算机与软件学院．广东深圳５１８０６０；２．华南理工大学自动化科学与工程学院．广东广州５１０６４１） 摘要：研究空中机器人（小型无人直升机）的约束优化控制问题：对小型无人直升机的 非线性系统模型进行系统约简，建立混合系统的分段仿射系统模型，针对该问题求解中遇到的在线计算量大，不利于实时控制等问题，提出利用多参数二次规划离线计算出混合系统最优控制律的方法。基于多参数二次规划的方法。在最大可控不变集的可行域内进行显式优化控制器设计，通过反向动态规划，求出对应每一步的优化解，从而求得不变集作为可行域的优化解。通过实际参数的系统仿真，证明了方法的有效性。 关键词：空中机器人；混合系统；不变集；多参数二次规划；显式控制器中图分类号：ＴＰ ２７ 文献标识码：Ａ ＯｎＭｕｈｉ—ｍｏｄｅｌＣｏｎｔｒｏｌｏｆＡｅｒｉａｌＲｏｂｏｔｉｃｓ Ｌ／Ｊｉａｎ－ｑｉａｎｇｔ．ＰＥ｜Ｈａｉ—ｌｏｎ９１ （１．Ｓｃｈｏｏｌ ｏｆ ＣｏｍｐｕｔｅｒａｎｄＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇ，ＳｈｅｎｚｈｅｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｚｈｅｎ５１８０６０。Ｃｈｉｎａ； ２．ＤｅｐａｒｔｍｅｎｔｏｆＡｕｔｏｍａｔｉｏｎ，ＳｏｕｔｈＣｈｉｎａ ＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０６４１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍａｌｃｏｎｔｒｏｌｐｒｏｂｌｅｍｏｆａｅｒｉａｌｒｏｂｏｔｉｃｓｉｓｓｔｕｄｉｅｄ．Ｔｈｅｎｏｎｌｉｎｅａｒｓｙｓｔｅｍｍｏｄｅｌｏｆｓｍａｌｌｕｎｍａｎｎｅｄｈｅｌｉ— ｃｏｐｔｅｒｉｓａｂｓｔｒａｃｔｅｄ，ａｎｄｔｈｅｐｉｅｃｅ—ｗｉｓｅａｆｆｉｎｅｈｙｂｒｉｄｓｙｓｔｅｍｍｏｄｅｌｉｓｐｒｅｓｅｎｔｅｄ．Ｔｏｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｏｎ－ｌｉｎｅｃｏｍｕｐａｔｉｏｎ，ａｎｅｘｐｌｉｃｉｔ ｏｐｔｉｍａｌｃｏｎｔｒｏｌｌｅｒｆｏｒｈｙｂｒｉｄ ｓｙｓｔｅｍｓｂａｓｅｄ ｏｎ ｍｕｌｔｉ－ｐａｒａｍｅｔｒｉｃ ｑｕａｄｒａｔｉｃ ｐｒｏｇｒａｍｍｉｎｇ（ｍｐ?ＱＰ）ｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅｆｅａｓｉｂｌｅｄｏｍａｉｎ ｗｈｉｃｈｉｓｔｈｅｍａｘｉｍａｌｃｏｎｔｒｏｌｌｅｄｉｎｖａｒｉａｎｔｓｅｔｓ ｉｓｐａｒｔｉｔｉｏｎｅｄｉｎｂａｃｋｗａｒｄｄｙｎａｍｉｃｐｒｏｇｒａｍｍｉｎｇｂｙ ｍｐ—ＱＰｍｅｔｈｏｄ．Ａｔ ｅａｃｈｓｔｅｐ．ｔｈｅ ｏｎｅ－ｓｔｅｐｒｅａｃｈａｂｌｅｓｅｔｓ ａｒｅ ｃｏｍｐｕｔｅｄ．ｔｈｅ ｏｐｔｉｍａｌ ｃｏｎｔｒｏｌｌａｗｓ ａｒｅ ｃｏｎｓｔｒｕｃｔｅｄ ｔｏ ｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｒｅｇｉｏｎｓ。ａｎｄｔｈｅｅｘｐｌｉｃｉｔ ｏｐｔｉｍａｌ ｃｏｎｔｒｏｌｌｅｒｉｓ ａｂｔａｉｎｅｄ．Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ． Ｋｅｙｗｏｒｄｓ：ａｅｒｉａｌ ｒｏｂｏｔｉｃｓ；ｈｙｂｒｉｄｓｙｓｔｅｍｓ；ｉｎｖａｒｉａｎｔｓｅｔｓ；ｍｕｌｔｉ—ｐａｒａｍｅｔｒｉｃｑｕａｄｒａｔｉｃｐｒｏｇｒａｍｍｉｎｇ；ｅｘｐｌｉｃｉｔｃｏｎｔｒｏｌｌｅｒ １ 引言 空中机器人（智能小型无人直升机）在监视、救援和航拍等众多应用领域中扮演着关键的角色。因为无人飞行器的飞行操作都是在地面完成的，即使发生了飞行意外也不会造成人员的直接伤亡，所以特别适合代替有人驾驶飞机去完成一些危险的任务。由于小型无人直升机具有在狭小空间复杂环境中垂直起降和悬停的能力，对其自主功能的研究首先是出于军事目的，除此以外许多特殊情况如高压线／输油管道巡视、交通执法和紧急事件现场监控、环境／海洋监测、精准农业生产以及航空摄影／测量等都会对小型无人直升机产生需求。 本文基于前人的研究基础，对于非线性无人机模型在悬停、前飞等各种状态下进行混合系统建模。对于系统的约束，采用最大可控不变集方法计 算出飞行姿态等无人机的安全区域。在安全区域内，本文设计了一种基于反向动态规划的显式优化控制算法对无人机进行了控制器设计，实现控制的实时性。 ２无人直升机的混合系统建模 １）无人直升机非线性模型小型无人直升机 系统，如图ｌ所示＋ 图１ 小型无人直升机系统 Ｆｉｇ．Ｉ Ｓｍａｌｌｕｎｍａｎｎｅｄｈｅｌｉｃｏｐｔｅｒｓｙｓｔｅｍ 收稿日期：２００９－０９－０３；收修定稿日期：２００９－０９－１７ 基金项目：国家自然科学基金资助项目（６０３７４０３６；６０５７４００４）；高校博士点基金资助项目（２００４０５６１０３１）；广东省自然科学基金资助项 目（７３０１３２９．７３０１３１５） 作者简介：李坚强（１９８０．）．男．广东韶关人．讲师，博士，主要从事混合系统、嵌入式与机器人系统等方面的教学与科研工作；裴海 龙（１９６５．），男．教授，博士生导师。 万方数据