多模态张量数据挖掘算法及应用_杨琬琪
申请博士硕士专业学位授权点简况表-广东工业大学研究生院
近五年
成果名称
获奖类别及等级，发表刊物、页码及
代 表 性 （获奖、论文、专著、专利、 引用次数，出版单位及总印数，专利
时间
5
署名情况
成果（限
咨询报告等名称）
3 项）
Decomposition of a multiobjective
optimizationproblem into a number
of simple multiobjectivesubproblems
3
目标优化问题研究工业统计和质量控制问题。把生态位构建特征引入到生态与工业控制 交叉学科邻域。本方向有教授 4 人，副教授 7 人，15 人获得博士学位，行业教师 5 人， 其中高工 4 人。
注：专业学位领域（方向）按照各专业学位类别申请基本条件的要求填写。
Ⅱ师资队伍
II-1 专任教师基本情况
专业技 术职务
全国现有 103 个应用统计硕士专业学位点，其中北京 15 个，上海 6 个，江苏 10 个。广东省仅 2 个， 难以支撑广东省制造业的转型升级和满足当前大数据行业对专业人才的需求。本学科聚集了一批学缘结构 合理，老中青结合，学术水平较高的科研队伍，但缺乏专业硕士学位点的支撑，严重制约了学科发展。
3、与 行业或 职业发 展的衔 接 学院已经与 10 家行业单位合作建立了实践教学基地，从合作办学单位外聘了 10 名行业教师，其中 高工 7 名，在各自行业从业皆超过 8 年，完成了 10 余项专业实践活动与成果，合作完成实践教学专著 1 项。与单一的课堂教学形式相比，在实践教学基地接受具有行业指导的实践教学，有更强的吸引力，取得 了较好的教学效果，更重要的是实现了与行业的对接，有利于学生未来职业的发展。 4、人才培养及思想政治教育 在近 5 年中，共招收了 1299 名本科生，培养了 1396 名本科毕业生，平均就业率 95%以上，共招收 了 116 名硕士研究生，获得硕士学位的毕业生有 112 名，就业率 100%。组织学生参加美国大学生数学 建模竞赛、全国大学生数学建模竞赛和全国大学生数学竞赛等活动，共获得省级以上奖励 102 项，其中 国际级奖励 31 项，国家级 15 项。大学生创新创业训练项目国家级 6 项，省级 16 项。学生毕业创业成功 并成立公司 1 项。学生参与申请专利 4 项，发表核心期刊以上论文 50 余篇，其中 SCI 收录 7 篇。获广东 省优秀硕士毕业论文 1 篇。
多模态情感识别与理解发展现状及趋势
多模态情感识别与理解发展现状及趋势目录一、内容简述 (2)1.1 研究背景 (2)1.2 研究意义 (3)1.3 文献综述 (4)二、多模态情感识别技术发展现状 (6)2.1 基于文本的情感识别 (7)2.1.1 基于词典的方法 (8)2.1.2 基于机器学习的方法 (8)2.1.3 深度学习在文本情感识别中的应用 (10)2.2 基于图像的情感识别 (11)2.2.1 静态图像情感识别 (13)2.2.2 视频情感识别 (14)2.3 基于语音的情感识别 (15)2.4 多模态情感识别系统 (15)2.4.1 系统架构 (16)2.4.2 数据融合策略 (17)三、多模态情感理解发展现状 (19)3.1 情感分类 (20)3.2 情感倾向分析 (21)3.3 情感强度预测 (22)3.4 情感角色识别 (24)四、发展趋势与挑战 (26)4.1 技术发展趋势 (27)4.2 应用发展趋势 (28)4.3 存在的挑战 (30)4.3.1 数据隐私与伦理问题 (31)4.3.2 模态间的交互与协同 (33)4.3.3 跨语言与跨文化情感识别 (34)五、未来展望 (35)5.1 新型算法与技术 (36)5.2 个性化与定制化服务 (37)5.3 与其他领域的融合与应用 (38)六、结论 (40)6.1 主要研究成果总结 (41)6.2 对未来研究的建议 (42)一、内容简述随着人工智能技术的飞速发展，多模态情感识别与理解已经成为了计算机科学和人机交互领域的研究热点。
多模态情感识别与理解是指通过整合多种模态的信息(如文本、语音、图像等)来识别和理解人类的情感状态。
这种技术在很多应用场景中具有广泛的应用前景，如智能客服、社交媒体分析、心理健康评估等。
本文将对多模态情感识别与理解的发展现状及趋势进行详细阐述，包括相关技术的研究成果、应用案例以及未来的发展方向。
通过对这些内容的梳理，旨在为读者提供一个全面了解多模态情感识别与理解的视角，并为其在实际应用中提供有益的参考。
《2024年多模态话语分析视角下冬奥会宣传片的翻译研究》范文
《多模态话语分析视角下冬奥会宣传片的翻译研究》篇一一、引言随着全球化的不断深入，冬奥会作为国际体育盛事，其宣传片的翻译质量对于推广和传播相关赛事信息具有重要作用。
本研究以多模态话语分析为视角，深入探讨冬奥会宣传片的翻译策略和效果。
首先介绍了多模态话语分析的背景及理论依据，接着阐述了冬奥会宣传片翻译的重要性和研究意义。
二、多模态话语分析理论概述多模态话语分析是一种综合运用语言学、符号学、认知科学等多学科理论，研究多种符号资源（如语言、图像、声音等）在特定语境中共同构建意义的过程。
在冬奥会宣传片的翻译中，多模态话语分析可以帮助我们更好地理解原宣传片的意义，并采用恰当的翻译策略将之传达给目标观众。
三、冬奥会宣传片的特点及翻译要求冬奥会宣传片具有文化内涵丰富、视觉冲击力强、情感表达直接等特点。
在翻译过程中，需注意以下几点要求：1. 准确传达原宣传片的文化内涵和情感表达；2. 充分考虑目标观众的认知特点和语言习惯；3. 注重视觉元素的翻译，保持原宣传片的视觉效果；4. 保持多模态元素的协调一致，实现跨文化传播。
四、多模态话语分析视角下的冬奥会宣传片翻译策略基于多模态话语分析理论，我们提出以下翻译策略：1. 语言翻译：注重语言的选词、句式和语气的翻译，使目标语言与原宣传片保持一致；2. 图像翻译：通过图像的重新构图、色彩调整等方式，使目标观众更好地理解原宣传片的视觉信息；3. 声音翻译：关注配音、音乐等声音元素的翻译，使目标观众在听觉上获得良好的体验；4. 跨文化传播策略：结合目标观众的文化背景和认知特点，采用适当的跨文化传播策略，增强宣传片的吸引力。
五、实证研究及案例分析以某届冬奥会宣传片为例，我们采用多模态话语分析方法，对原宣传片及其翻译版本进行对比分析。
通过收集观众反馈和数据统计，我们发现：1. 恰当的翻译策略能够准确传达原宣传片的文化内涵和情感表达；2. 充分考虑目标观众的认知特点和语言习惯，有助于提高观众的接受度和满意度；3. 注重视觉和声音元素的翻译，可以保持原宣传片的视觉效果和听觉体验；4. 跨文化传播策略的应用，有助于实现跨文化传播，增强宣传片的国际影响力。
北京大学学报(自然科学版)2021年第57卷总目次
北京大学学报( 自然科学版 )2021年第57卷总目次基于语义对齐的生成式文本摘要研究 ·········································································· 吴世鑫黄德根李玖一 (1)一种基于多任务学习的多模态情感识别方法 ···························································· 林子杰龙云飞杜嘉晨等 (7)中文机器阅读理解的鲁棒性研究 ············································································· 李烨秋唐竑轩钱锦等 (16)基于细粒度可解释矩阵的摘要生成模型 ···································································· 王浩男高扬冯俊兰等 (23)基于Masked-Pointer的多轮对话重写模型 ·································································· 杨双涛符博于晨晨等 (31)开放域对话系统的抗噪回复生成模型 ···················································································· 朱钦佩缪庆亮 (38)具有选择性局部注意力和前序信息解码器的代码生成模型 ············································ 梁婉莹朱佳吴志杰等 (45)基于分层序列标注的实体关系联合抽取方法 ··························································· 田佳来吕学强游新冬等 (53)基于Transformer局部信息及语法增强架构的中文拼写纠错方法 ············································· 段建勇袁阳王昊 (61) . All Rights Reserved.复述平行语料构建及其应用方法研究 ···································································· 王雅松刘明童张玉洁等 (68)融合物体空间关系机制的图像摘要生成方法 ······························································ 万璋张玉洁刘明童等 (75)无监督的句法可控复述模型用于对抗样本生成 ························································ 杨二光刘明童张玉洁等 (83)基于深度学习的实体链接研究综述 ······································································· 李天然刘明童张玉洁等 (91)海域天然气水合物开采的4C-OBC时移地震动态监测模拟 ················································ 朱贺何涛梁前勇等 (99)微观剩余油赋存状态的矿物学机制探讨——以鄂尔多斯盆地中部中‒低渗砂岩储层为例 ·················································· 王哲麟师永民潘懋等 (111) 不同分辨率下青藏高原对大西洋经向翻转流影响的耦合模式研究·····································邵星杨海军李洋等 (121)深圳河湾流域溢流污染规律及其对海湾水质的影响 ······················································ 程鹏李明远楼凯等 (132)中国东部水稻土壤丁酸互营降解微生物的地理分布格局 ·················································· 费媛媛焦硕陆雅海 (143)1982—2014 年华北及周边地区生长季NDVI变化及其与气候的关系 ······························· 张新悦冯禹昊曾辉等 (153)模型结构与参数化差异对蒸散发估算的影响 ························································· 赵文利熊育久邱国玉等 (162)基于需求的京津冀地区生态系统服务价值时空变化研究 ············································· 唐秀美刘玉任艳敏等 (173)2007—2016年中国省域碳排放效率评价及影响因素分析——基于超效率SBM-Tobit模型的两阶段分析 ························································ 宁论辰郑雯曾良恩 (181)I北京大学学报(自然科学版) 第 57 卷 第 6 期 2021 年 11 月II 环境规制对工业绿色全要素生产率的影响——短期偿债能力的中介效应 ·········································································· 刘锦慧 邹振东 邱国玉 (189) 胰岛炎症导致的2型糖尿病发病过程的动力学模型及治疗策略······································ 林智立 雷蕾 李长润 等 (199) 内部充放电监测器仿真及地面实验研究 ································································ 宋思宇 于向前 陈鸿飞 等 (209) 保定‒雄安地区近地面大气流动与轨迹输送特征 ························································· 栗涵舸 蔡旭晖 康凌 等 (215) 巢湖地区早三叠世晚斯密斯亚期含鱼化石碳酸盐岩结核的地球化学特征及其地质意义 ········ 于鑫 孙作玉 孟庆强 等 (225) 结合序贯平差方法监测地表形变的 InSAR 时序分析技术·················································王辉 曾琪明 焦健 等 (241) 北方农牧交错带草地土壤微生物量碳空间格局及驱动因素 ········································ 陈新月 姚晓东 曾文静 等 (250) 基于 GIS 的全球农业开发潜力和人口承载力分析 ······················································· 梁书民 刘岚 崔奇峰 等 (261) 短程硝化–厌氧氨氧化在实际垃圾渗滤液处理工程中的启动运行研究 ······························ 初永宝 赵少奇 刘生 等 (275) 唐河地下水有机氯农药(OCPs)的分布特征及风险评估 ······················································ 张敏 王婷 杨超 等 (283) 城市市政基础设施投资与经济发展的空间交互影响 ···················································· 储君 刘一鸣 林雄斌 等 (291) 碳纳米管对天然有机质氯化消毒副产物生成的影响 ················································· 李慧敏 陈学姣 尤明涛 等 (299) 利用简化空气质量模型快速构建臭氧生成等浓度曲线及其应用······································ 杜云松 黄冉 王馨陆 等 (311) 基于深度神经网络的城市典型乔木日内蒸腾特征模拟研究 ········································ 赵文利 邱国玉 熊育久 等 (322) 黄河上游重金属元素分布特征及生态风险评价 ·····························································张倩 刘湘伟 税勇 等 (333) 化工企业污染物影子价格的估计——基于参数化的方向性距离函数 ··················································································· 陈醒 徐晋涛 (341) 汉江流域河网分级特征研究 ··················································································· 黄子叶 王易初 倪晋仁 (351) 植物残体输入改变对樟子松人工林土壤呼吸及其温度敏感性的影响····························· 何可宜 沈亚文 冯继广 等 (361) 那仁郭勒河流域地表水与地下水储量变化响应研究 ························································ 王玥 王易初 倪晋仁 (371) 生境维持服务供给量与需求量研究——以京津冀地区为例 ······················································································ 王雅琳 牛明爽 宋波 (381) 寒武纪化石胚胎 Markuelia 的肌肉组织 ··································································· 刘腾 段佰川 刘建波 等 (390) 果子狸多态性微卫星位点的筛选及特性分析 ······························································· 王迪 张丹 熊梦吟 等 (395) 惠斯通电桥式磁阻传感器的零位温度漂移研究 ························································· 于向前 刘斯 肖池阶 等 (401) 碳离子注入辅助在 6H-SiC 表面制备石墨烯··························································· 陈钰焓 赵子强 赵云彪 等 (407) 石家庄市秋冬季大气环流型下的气象和PM 2.5污染特征 ·················································· 肖腾 林廷坤 严宇 等 (414) 基于大数据量的初至层析成像算法优化 ·································································· 吕雪梅 张献兵 康平 等 (425) 天然气水合物相关的 Slipstream 海底滑坡体速度结构模型反演············································ 蓝坤 朱贺 何涛 等 (435) . All Rights Reserved.第 57 卷(2021年)总目次III 矽卡岩中石榴子石的稀土配分特征及其成因指示 ···································································· 王一川 段登飞 (446) 鄂尔多斯盆地长 7 段页岩油优质储层特征分析 ·························································· 王晓雯 关平 梁晓伟 等 (459) 下刚果盆地中段挤压带盐底辟构造形成演化分析——基于物理及离散元模拟 ················································································ 程鹏 李江海 刘志强 (470) 滇池溶解氧浓度变化的氮磷循环响应模拟研究 ························································· 胡梦辰 朱滔 蒋青松 等 (481) 长江中下游武安段生态航道评价 ················································································ 刘念 李天宏 匡舒雅 (489) 冬奥会申办成功对北京旅游目的地感知形象的影响 ························································ 丛丽 徐琳琳 方小雨 (496) 沸石载体恢复受饥饿影响厌氧氨氧化菌的性能研究 ················································ 余道道 孙敬起 霍唐燃 等 (507)1.5ºC 和 2ºC 目标下中国交通部门2050年的节能减排协同效益 ······································· 陆潘涛 韩亚龙 戴瀚程 (517) 嗜热蓝细菌 PKUAC-E542 藻蓝蛋白耐热性以及不同光照条件对其含量影响研究 ············ 李俐珩 梁园梅 李玫锦 等 (529) 我国海岸带城市化系统耦合协调时空动态特征——以东海海岸带城市为例 ················································································ 徐煖银 李枝坚 曾辉 (536) 丙酸盐对厌氧氨氧化除氮性能及群落结构的影响 ··························································· 张立羽 乔雪姣 余珂 (545) 农户生计资本特征及对生活满意度的影响——基于中国 13 省 25 县抽样调查数据的分析······················································· 卢志强 曹广忠 李贵才 (556) 城市化对哺乳动物丰富度影响的研究——以长三角城市群为例 ··········································································································· 林萍 (565) 黄河下游花园口至艾山河段滩区洪水漫滩风险度评估研究 ·········································· 孙煜航 程舒鹏 张祺 等 (575) 磁性 CoFe 2O 4/g-C 3N 4 复合纳米材料对环丙沙星的光催化降解研究 ······························ 陶虎春 邓丽平 张丽娟 等 (587) 格密码关键运算模块的硬件实现优化与评估 ································································· 陈朝晖 马原 荆继武 (595) 基于时空建模的动态图卷积神经网络 ················································································ 李荆 刘钰 邹磊 (605) 核磁共振波谱法结合化学计量学判别油菜蜜的成熟蜜、非成熟蜜和加工蜜························· 陈辉 张佳琳 鞠晶 等 (614) 黄铁矿型 FeS 2 纳米微球的制备及其超级电容性能研究 ····························································· 李搛倬 传秀云 (623) 全球变暖背景下内蒙古地区沙尘暴频次变化的预估 ································································· 杨诗妤 闻新宇 (632) 利用人工智能神经网络预测广州市 PM 2.5日浓度 ········································································ 李泽群 韦骏 (645) 基于多方向识别的三维断层增强方法 ·································································· 安圣培 陈彦阳 罗红梅 等 (653) 尖峰岭次生林和原始林林下灌木叶氨基酸对氮添加的响应 ······································· 李修平 安丽华 倪晓凤 等 (660) 城市电动自行车违规充电隐患的空间分布及其影响因素 ··················································· 廖聪 邬伦 蔡恒 等 (671) 深圳近海环境重金属空间分布特征与风险评价 ······················································ 张海军 史本宁 焦学尧 等 (679) 生态系统文化服务供需关系量化方法研究——以平陆大天鹅景区为例 ············································································· 杨丽雯 王大勇 李双成 (691). All Rights Reserved.。
2016年江西省教学改革立项课题
课题名称 优化科研平台资源管理促进学生科研能力培养 天文学的Ⅱ类通识课教学探索与实践 基于虚拟仿真实验教学平台的综合性创新实验教学研究—以《电子技术课程设计》为例 《无处不在——传染病》慕课课程建设与实践 基于新媒体的翻转课堂在大学生计算思维培养中的研究与实践 项目驱动式教学法在高校艺术类专业中的应用研究——以《新媒体艺术》为例 项目驱动模式在《针织服装设计》教学中的研究与实践 “碎片式学习”辅助《生物化学》教学的研究与实践 “光电信息科学与工程”专业实验课程建设研究 翻转课堂在《档案文献编纂学》教学中的应用研究 土建类专业建筑法规课程参与式全程案例教学方法改革初探 基于OBE教育理念的“误差理论”课程改革与实践 基于网络平台的循证医学线上/线下相结合教学模式及其考核方法的研究 高等院校设计伦理教育浸润式教学研究 以互动式网络研究型教学模式跟踪和评估《疾病与免疫学》教学质量 翻转课堂的应用研究——文化和学习习惯的视角 基于移动端的混合教学模式改革研究—以《教育心理学》课程为例 案例情景下的SP教学模式在康复治疗专业的创新研究及探索 “翻转课堂”在《公共关系学》教学中的应用研究 研究性教学法在“数字信号处理”课程中的探索和实践 电子商务创新创业人才培养模式改革研究 科研融入教学在《先进材料制备技术与加工工艺》课程的研究与实践 协同创新体系下环境专业创新型人才培养研究 理论释惑与现实解惑：思想政治理论课问题互助知识共享价值共建教学模式研究 中外高校机械类课程理论教学、实践教学与科研引导相结合的对比研究 “翻转教学”在人力资源管理专业教学中的应用 综合性院校人文类通识课程体系建设研究 “对分课堂”教学模式在《教育法学》教学中的应用研究 校园长跑“4+2学期”模式的探索与应用 基于新媒体技术的“课程学习共同体”教学模式探索——以《当代中国政治制度》为例 基于“三个一”理念的大学体育游戏教材创新研究 《建筑设计基础》课程中“建构实验”教学改革研究
大语言模型在数学推理中的研究进展
大语言模型在数学推理中的研究进展目录一、内容描述 (2)1.1 研究背景 (2)1.2 研究意义 (3)1.3 文献综述 (4)二、大语言模型的基础知识 (5)2.1 语言模型的定义与发展历程 (7)2.2 大语言模型的主要技术 (7)2.3 大语言模型的应用领域 (8)三、数学推理概述 (9)3.1 数学推理的定义与重要性 (9)3.2 数学推理的基本类型 (11)3.3 数学推理的应用场景 (12)四、大语言模型在数学推理中的应用研究 (13)4.1 基于规则的方法 (14)4.1.1 命题逻辑推理 (15)4.1.2 谓词逻辑推理 (16)4.2 基于统计的方法 (16)4.2.1 逻辑回归 (17)4.2.2 深度学习在数学推理中的应用 (18)4.3 基于知识图谱的方法 (19)4.3.1 知识图谱构建与推理 (21)4.3.2 知识图谱与语言模型的结合 (21)五、大语言模型在数学推理中的挑战与未来展望 (22)5.1 当前面临的挑战 (23)5.1.1 计算资源限制 (24)5.1.2 推理准确性与可解释性的平衡 (25)5.2 未来发展方向 (25)5.2.1 提高推理准确性 (27)5.2.2 增强模型的可解释性 (27)5.2.3 结合多种推理方法 (28)六、结论 (29)6.1 研究成果总结 (29)6.2 对未来研究的建议 (30)一、内容描述在实际应用中，大语言模型在数学推理领域展现出了广泛的应用前景。
在在线教育平台上，大语言模型可以辅助教师出题和批改作业，提高教学效果；在智能客服系统中，模型能够快速回答用户关于数学问题的咨询，提升用户体验；在科研领域，大语言模型可以帮助研究人员处理复杂的数学公式和理论，加速科学研究的进程。
大语言模型在数学推理方面仍面临一些挑战，模型对于复杂数学问题的理解仍然有限，难以处理一些需要深度逻辑推理的问题。
由于语言和数学之间的差异，模型在生成数学表达式时可能会出现语义错误或不符合数学规则的情况。
基于对比学习的视觉增强多模态命名实体识别
基于对比学习的视觉增强多模态命名实体识别于碧辉;谭淑月;魏靖烜;孙林壮;卜立平;赵艺曼【期刊名称】《计算机科学》【年(卷),期】2024(51)6【摘要】多模态命名实体识别(MNER)的目的是在给定的图像-文本对中检测实体范围并将其分类为相应的实体类型。
尽管现存的MNER方法取得了成功,但它们都集中在使用图像编码器提取视觉特征后,不做增强或过滤处理,直接送入跨模态交互机制。
此外,由于文本和图像的表示来自不同的编码器,很难弥合两种模态之间的语义鸿沟,因此,提出了一个基于对比学习的视觉增强多模态命名实体识别模型(MCLAug)。
首先,使用ResNet收集图像特征,在此基础上提出金字塔双向融合策略,将低层次高分辨率和高层次强语义的图像信息结合起来,以增强视觉特征。
其次,利用CLIP模型中的多模态对比学习思想,计算并最小化对比损失,使两种模态的表示更加一致。
最后,利用跨模态注意力机制和门控融合机制获得融合后的图像和文本表示,并通过CRF解码器来执行MNER任务。
在两个公开数据集上进行了对比实验并进行消融研究和案例研究,结果证明了所提模型的有效性。
【总页数】8页(P198-205)【作者】于碧辉;谭淑月;魏靖烜;孙林壮;卜立平;赵艺曼【作者单位】中国科学院大学;中国科学院沈阳计算技术研究所【正文语种】中文【中图分类】TP391【相关文献】1.基于深度迁移学习的地方志多模态命名实体识别研究2.基于多任务学习的多模态命名实体识别方法3.基于去偏对比学习的多模态命名实体识别4.基于对比学习的中文命名实体识别方法5.基于语言-视觉对比学习的多模态视频行为识别方法因版权原因，仅展示原文概要，查看原文内容请购买。
人工智能领域多模态智能和应用方面88个课题名称
人工智能领域多模态智能和应用方面88个课题名称1. 多模态情感分析2. 多模态人脸识别3. 多模态语音识别4. 多模态目标检测5. 多模态问答系统6. 多模态图像生成7. 多模态医学影像分析8. 多模态手势识别9. 多模态行为识别10. 多模态用户建模11. 多模态图像处理12. 多模态人机交互13. 多模态自然语言处理14. 多模态智能家居15. 多模态推荐系统16. 多模态广告推送17. 多模态媒体检索18. 多模态车辆识别19. 多模态视频分析20. 多模态声音合成21. 多模态情感计算22. 多模态虚拟现实23. 多模态增强现实24. 多模态机器翻译25. 多模态姿势估计26. 多模态语义分割27. 多模态音乐生成28. 多模态产品推荐29. 多模态舆情分析30. 多模态场景理解31. 多模态医疗辅助诊断32. 多模态智能交通系统33. 多模态农业智能化34. 多模态金融风险评估35. 多模态电商推荐36. 多模态智慧城市37. 多模态个性化推送38. 多模态学习评估39. 多模态智能安防系统40. 多模态智能音箱41. 多模态电视节目推荐42. 多模态在线教育43. 多模态社交媒体分析44. 多模态婴儿监测45. 多模态智能旅游46. 多模态身份认证47. 多模态电影推荐48. 多模态精神疾病诊断49. 多模态交通流预测50. 多模态物流智能化51. 多模态娱乐体验52. 多模态虚拟助手53. 多模态人才招聘54. 多模态智能广告投放55. 多模态工业自动化56. 多模态心理健康分析57. 多模态智能维修58. 多模态机器人导航59. 多模态物联网应用60. 多模态远程医疗61. 多模态智能决策62. 多模态游戏交互63. 多模态违规监控64. 多模态机器人协作65. 多模态楼宇管理66. 多模态电子商务67. 多模态人员定位68. 多模态智能门锁69. 多模态个人健康管理70. 多模态智能能源管理71. 多模态网络安全72. 多模态环境监测73. 多模态智能车辆平台74. 多模态食品安全检测75. 多模态智能厨房76. 多模态电力供应优化77. 多模态智能投资78. 多模态刑侦系统79. 多模态智能家电80. 多模态水质监测81. 多模态电网调度82. 多模态健康监测83. 多模态感知系统84. 多模态智能物流85. 多模态辅助教育86. 多模态自动驾驶87. 多模态智能体育88. 多模态军事应用。
人工智能领域数据可视化和可解释性方面50个课题名称
人工智能领域数据可视化和可解释性方面50个课题名称1. 人工智能模型的可视化技术研究2. 基于人工智能的数据可视化技术研究3. 可解释人工智能模型的可视化方法研究4. 利用可视化技术提升人工智能模型的可理解性5. 数据可视化在人工智能领域的应用研究6. 探索可视化方法在人工智能解释性方面的应用7. 人工智能算法可视化分析与辅助决策研究8. 基于可视化的人工智能数据分析技术研究9. 嵌入可解释性的人工智能数据可视化技术研究10. 人工智能模型的推理过程可视化方法研究11. 可视化在深度学习模型解释性方面的应用研究12. 人工智能模型训练与优化过程的可视化方法研究13. 基于可视化的人工智能模型解释性评估技术研究14. 利用可视化技术探索人工智能模型中的隐含特征15. 人工智能模型决策过程的可视化研究16. 可视化技术在人工智能数据处理中的应用研究17. 人工智能领域可解释性方法与可视化技术的融合研究18. 基于可视化的人工智能模型评估和比较研究19. 数据可视化在人工智能模型的错误识别和纠正中的应用研究20. 可视化方法在人工智能模型解释性评估中的可信度研究21. 高维数据的可视化方法在人工智能模型解释性方面的应用研究22. 人工智能模型中异常情况的可视化识别方法研究23. 基于可视化的人工智能算法故障定位和调试技术研究24. 可解释性可视化方法在人工智能模型中的重要特征提取研究25. 可视化技术在人工智能模型中的不确定性处理研究26. 数据可视化和可解释性在人工智能模型中的动态演变过程研究27. 基于可视化的人工智能模型内部状态可视化方法研究28. 人工智能模型中因果关系的可视化研究29. 可解释性可视化在人工智能模型中的属性选择和特征重要性评估研究30. 可视化技术在人工智能信任度评估中的应用研究31. 基于可视化的人工智能模型解释性结果的交互性研究32. 可视化技术在人工智能模型中的数据伦理和隐私保护研究33. 可解释性可视化方法在人工智能模型中的决策解释和推荐研究34. 基于可视化的人工智能模型中的数据生成和合成方法研究35. 可视化技术在人工智能模型中的多模态数据融合和分析方法研究36. 人工智能模型中的可解释因子建模和可视化方法研究37. 可视化技术在人工智能模型中的概念迁移和迁移学习分析研究38. 基于可解释性可视化的人工智能模型黑盒分析方法研究39. 可视化技术在人工智能模型中的数据预处理和异常检测研究40. 基于可视化的人工智能模型中的多模态数据分析和理解方法研究41. 可解释性可视化在人工智能模型中的迁移学习和迁移分析研究42. 可视化技术在人工智能模型中的多源数据集成和分析方法研究43. 基于可解释性可视化的人工智能模型的成因预测和预警方法研究44. 可视化技术在人工智能模型中的数据质量评估和问题检测研究45. 基于可解释性可视化的人工智能模型中的迁移学习和迁移预测方法研究46. 可视化技术在人工智能模型中的信息可视化和人机交互技术研究47. 基于可解释性可视化的人工智能模型在医学诊断和监测中的应用研究48. 可视化技术在人工智能模型中的高效计算和大规模数据分析方法研究49. 可解释性可视化在人工智能模型中的异常检测和异常预警方法研究50. 可视化技术在人工智能模型中的模型选择和模型优化方法研究。
深度学习语言模型的研究综述
2023年第35卷第8期深度学习语言模型的研究综述王思丽1,张伶2,杨恒1,刘巍1（1.中国科学院西北生态环境资源研究院文献情报中心，兰州730000；2.新乡医学院管理学院，新乡453003）摘要:[目的/意义]深度学习语言模型是当前提高机器语言智能的主要方法之一，已成为数据资源自动处理分析与知识情报智能挖掘计算不可或缺的重要技术手段，但在图情领域利用其进行技术开发和应用服务仍存在着一些困难。
本研究通过系统梳理与揭示深度学习语言模型的研究进展、技术原理与应用开发方法，以期为图书馆员及同行从业者深入理解与应用深度学习语言模型提供理论依据与方法路径。
[方法/过程]系统地调研和梳理了深度学习语言模型的产生背景、基础性特征表示算法、代表性应用开发工具，揭示其演化发展的动态历程及技术原理，分析各算法模型与开发工具的优缺点与适用性；深入地归纳总结了深度学习语言模型应用开发面临的挑战问题，提出两种拓展其应用能力的方法策略。
[结果/结论]深度学习语言模型应用开发面临的重要挑战包括参数繁多，精度难调；依赖于大量准确的训练数据，变化困难；可能引发知识产权和信息安全问题等。
未来可考虑从面向特定领域和特征工程两方面入手以拓展和提升其应用能力。
关键词:深度学习；语言模型；神经网络；预训练模型；词嵌入中图分类号:G202;G250.73;TP391文献标识码:A文章编号:1002-1248(2023)08-0004-15引用本文:王思丽,张伶,杨恒,等.深度学习语言模型的研究综述[J].农业图书情报学报,2023,35(8):4-18.收稿日期：2023-04-20基金项目：甘肃省哲学社会科学规划项目“基于大数据技术提升新闻媒体舆论监督能力研究”（2021YB158）；甘肃省自然科学基金“甘肃省医疗健康大数据资产管理模式与再利用机制研究”（23JRRA581）作者简介：王思丽（1985-），女，博士，副研究馆员，研究方向为知识发现与知识组织。
语义文本相似度计算方法研究综述
语义文本相似度计算方法研究综述目录一、内容概括 (2)1.1 研究背景 (3)1.2 研究意义 (3)1.3 文献综述目的与结构 (5)二、基于词向量的语义文本相似度计算 (5)2.1 词向量表示方法 (7)2.2 基于词向量的相似度计算方法 (8)2.3 词向量模型优化 (9)三、基于深度学习的语义文本相似度计算 (10)3.1 循环神经网络 (11)3.2 卷积神经网络 (13)3.3 自注意力机制 (14)四、基于图的方法 (15)4.1 图表示方法 (16)4.2 图上采样与聚类 (18)4.3 图匹配算法 (19)五、混合方法 (21)5.1 结合多种表示方法的混合策略 (22)5.2 不同任务间的知识迁移 (23)六、评估与优化 (24)6.1 评估指标 (25)6.2 算法优化策略 (26)七、应用领域 (28)7.1 自然语言处理 (29)7.2 信息检索 (30)7.3 问答系统 (32)7.4 多模态语义理解 (33)八、结论与展望 (34)8.1 研究成果总结 (35)8.2 现有方法的局限性 (37)8.3 未来发展方向 (38)8.4 对研究者的建议 (39)一、内容概括语义文本表示与相似度计算方法：首先介绍了语义文本表示的基本概念和方法，包括词向量、句子向量、文档向量等，以及这些表示方法在相似度计算中的应用。
基于统计的方法：介绍了一些基于统计的文本相似度计算方法，如余弦相似度、Jaccard相似度、欧几里得距离等，分析了它们的优缺点及应用场景。
基于机器学习的方法：介绍了一些基于机器学习的文本相似度计算方法，如支持向量机(SVM)、朴素贝叶斯(NB)、最大熵模型(ME)等，讨论了它们的原理、优缺点及适用性。
深度学习方法：重点介绍了近年来兴起的深度学习方法在语义文本相似度计算中的应用，如循环神经网络(RNN)、长短时记忆网络(LSTM)、门控循环单元(GRU)等，分析了它们在文本相似度计算中的性能及局限性。
多模态跨时空特征提取
多模态跨时空特征提取
在进行多模态跨时空特征提取时，首先需要考虑如何表示不同
模态的数据。
对于图像数据，可以使用卷积神经网络（CNN）进行特
征提取；对于文本数据，可以使用词嵌入模型（如Word2Vec或GloVe）来表示文本信息；对于音频数据，可以使用声谱图或梅尔频
谱图来表示声音特征。
接下来，需要考虑如何整合不同模态的特征。
可以使用融合模型（如多模态融合网络）来将不同模态的特征进行
整合，以获得更全面的信息。
另外，考虑到数据在不同时间和空间上的变化，我们需要使用
适当的方法来捕捉这些变化。
对于时间上的变化，可以使用循环神
经网络（RNN）或长短期记忆网络（LSTM）来建模时间序列数据；对于空间上的变化，可以使用卷积神经网络（CNN）来捕捉空间上的特征。
同时，还可以考虑使用注意力机制来关注数据中重要的部分，
以提高特征提取的效果。
总之，多模态跨时空特征提取涉及到多个方面的知识，包括数
据表示、特征融合以及时空变化建模等。
通过综合运用各种技术和
方法，可以更好地从多模态数据中提取有用的特征，为后续的任务（如分类、检测等）提供更丰富的信息。
多模态张量数据挖掘算法及应用_杨琬琪
Ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ Ｔ ｅ ｎ ｓ ｏ ｒ Ｄ ａ ｔ ａ Ｍ ｉ ｎ ｉ ｎ Ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ａ ｎ ｄ Ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ －ｍ ｇ ｇ ｐ ｐ
１２ １２ ３ １２ １２ ＹＡＮＧ Ｗ ａ ｎ Ｙ ａ ｎ ＨＯＵ Ｘ ｉ ｎ ｉ ｎ Ｙ ｕ ｂ ｉ ｎ ＨＡＮＧ Ｌ ｉ ｎ ｉ － ＧＡＯ －ｍ ＹＡＮＧ － Ｓ ｇ Ｚ ｑ １ （ ， ， ） Ｓ ｔ ａ ｔ ｅ Ｋ ｅ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｒ ｆ ｏ ｒ Ｎ ｏ ｖ ｅ ｌ Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ ａ ｎ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｎ ａ ｎ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｎ ａ ｎ ｉ ｎ ２ １ ０ ０ ９ ３， Ｃ ｈ ｉ ｎ ａ ｙ ｙ ｇ ｙ ｊ ｇ ｙ ｊ ｇ ２ （ ， ， ） Ｊ ｉ ａ ｎ ｉ ｎ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｎ ａ ｎ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｗｕ ｘ ｉ ２ １ ４ ４ ３ ３， Ｃ ｈ ｉ ｎ ａ ｇ ｙ ｇ ｙ ｊ ｇ ｙ ３ （ ， ） Ｊ ｉ ａ ｎ ｓ ｕ Ｐ ｒ ｏ ｖ ｉ ｎ ｃ ｅ Ｐ ｕ ｂ ｌ ｉ ｃ Ｓ ｅ ｃ ｕ ｒ ｉ ｔ Ｄ ｅ ａ ｒ ｔ ｍ ｅ ｎ ｔ Ｎ ａ ｎ ｉ ｎ ２ １ ０ ０ ２ ４， Ｃ ｈ ｉ ｎ ａ ｇ ｙ ｐ ｊ ｇ ， ， ， ，
基于全连接张量网络的多模态与多样性推荐算法
基于全连接张量网络的多模态与多样性推荐算法
孟诗蓓;郑睿;常亮;陈玉珑;孟睿伟;程诺
【期刊名称】《计算机系统应用》
【年(卷),期】2023(32)2
【摘要】在全媒体时代下,基于多模态数据的推荐具有重要意义.本文使用文本、音频、图像3种模态数据进行推荐,通过两个阶段进行张量融合:第1阶段通过3个平行分支对任意两个模式的相关性进行建模和融合,第2阶段再将3个分支的结果进行融合,不仅考虑了两模态之间的局部交互作用,并且消除了模态融合顺序对结果的影响;在推荐模块中,将融合特征通过堆叠降噪自编码器作为协同过滤的辅助特征进行推荐.本文所构建的推荐系统中模态融合与推荐采用端到端的训练过程.同时,为了解决推荐结果中存在的相似度高、多样性差的问题,我们基于二阶段的张量模态融合特征构建相似度矩阵,在已有推荐结果的基础上进一步精化结果,实现快速的多样性推荐.实验证明,基于本文提出的多模态融合特征的推荐模型不仅能够有效地提升推荐性能,并且能够增强推荐结果的多样性.
【总页数】12页(P63-74)
【作者】孟诗蓓;郑睿;常亮;陈玉珑;孟睿伟;程诺
【作者单位】北京师范大学人工智能学院;北京师范大学数学科学学院;上海交通大学;中国国家博物馆
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于二分图网络的总体多样性增强推荐算法
2.基于卷积神经网络的多样性关键数据并行推荐算法
3.融合深度神经网络和张量分解的地点推荐算法
4.基于语义关系图的跨模态张量融合网络的图像文本检索
5.老年心肌损伤患者肝功能生化指标分析
因版权原因，仅展示原文概要，查看原文内容请购买。
复数多维标度移动定位算法
复数多维标度移动定位算法
张瑀琪;万群
【期刊名称】《数据采集与处理》
【年(卷),期】2014(29)3
【摘要】基于多维标度(Multidimensional scaling,MDS)的定位算法,利用移动站与多个基站两两节点间距离的相关性对移动站进行定位,其高稳健性近年来已被证实.但是其性能有限,即使在测量噪声很小的情况下MDS算法也无法达到克拉美罗下界.本文提出了一种新颖的基于到达时间(Time of arrival,TOA)定位方法的复数MDS方法.不同于经典多维标度算法,这种算法并不需要对标度生成矩阵进行奇异值分解,而是对本文定义的一个复数距离矩阵进行奇异值分解获得更多信息从而得到更好的性能.本文对该算法进行了计算机仿真,并与另外几种定位方法做出比较.【总页数】4页(P427-430)
【作者】张瑀琪;万群
【作者单位】电子科技大学电子工程学院,成都610054;电子科技大学电子工程学院,成都610054
【正文语种】中文
【中图分类】TN953
【相关文献】
1.快速超复数傅氏变换和超复数互相关的新算法及应用 [J], 江淑红;郝明非;张建秋;胡波
2.一种基于非度量多维标度的移动定位算法 [J], 彭鑫;李仁发;罗娟
3.距离修正的混沌粒子群多维标度定位算法 [J], 齐小刚;刘兴成;刘立芳;张权;王振宇
4.基于分簇和融合补偿策略的多维标度定位算法 [J], 王静;仇晓鹤
5.基于向量相似性的多维标度定位算法 [J], 郑天;冯秀芳
因版权原因，仅展示原文概要，查看原文内容请购买。
MATLAB在“张量分析”课程教学中的应用
MATLAB在“张量分析”课程教学中的应用作者：汪建军许才军来源：《科教导刊》2024年第01期摘要張量分析是一种重要的数学工具，它在相对论、电磁场论和连续介质力学等诸多学科都有着广泛的应用。
掌握这种数学工具，已成为从事相关科学研究的必备基础。
然而，张量分析中非欧几里得空间局部切标架的存在，增加了张量计算和分析的复杂性。
学生在学习“张量分析”课程时面临着抽象概念和复杂公式的理解上的困难。
本文提出利用MATLAB工具在绘图、脚本编程和符号推导等方面的强大功能，从旋度分析、坐标变换和定理辅助证明这三个方面，并结合MATLAB脚本代码，展示MATLAB工具辅助于该课程教学的重要作用。
教师借助该工具开展课程教学，将帮助学生有效提高对张量分析知识的理解。
学生掌握了该课程的基础知识后，便能进一步使用MATLAB的张量工具箱或Pytorch深度学习库进行张量运算操作。
关键词张量分析；坐标变换；定理辅助证明；MATLAB中图分类号：G424 文献标识码：A DOI：10.16400/ki.kjdk.2024.1.040Some Notes on the Application of the MATLAB Language to the Tensor Analysis CourseWANG Jianjun 1，2， XU Caijun1，2（1.The school of Geodesy and Geomatics， Wuhan University， Wuhan， Hubei430079;2. Key Laboratory of Geospace Environment and Geodesy， Ministry of Education， Wuhan，Hubei 430079）Abstract Tensor analysis is a crucial mathematical tool with broad applications in fields as diverse as relativity， electromagnetic field theory， fluid mechanics， continuum mechanics， and so on. Mastery of this technique has become an essential skill for individuals engaged in scientific research. However， the presence of varying local tangentialframes in non-Euclidean space adds more complexity to the tensor operation， compared to its operation in traditional Euclidean space，wherethe basis vectors are simple a nd uniform throughout space. This complexity blunts students’ intellect to deduce intractable formulae and comprehend abstract concepts when studying the course of tensor analysis. To address this challenge， here we highlight the use of the MATLAB as a tool to help students grasp the fundamentals of tensor analysis. We employ the rich functionalities of the powerful tool， including plotting figures， coding scripts， deriving symbols， and computing tensors.We demonstrate the role that the tool plays in teaching the course interms of curl operation，coordinate transformation and auxiliary proof of theorems with the addition of script codes. We believe that incorporating this tool into the course will sharpen students' comprehension on the course. It is also expected that they will be able to manipulate tensors proficiently using either the tensor toolbox in MATLAB orthe Pytorch deep learning library， based on clear thinking about tensor analysis.Keywords tensor analysis; coordinate transformation; auxiliary proofof theorems; MATLAB张量是一种能以非常简洁优美的形式表达现实世界中物理规律的数学量。
数据挖掘技术在学生成绩分析中的应用
数据挖掘技术在学生成绩分析中的应用
刘斌;陈依潼
【期刊名称】《电脑编程技巧与维护》
【年(卷),期】2014(000)016
【摘要】数据挖掘是数据的深层次分析方法.将数据挖掘技术应用于学生成绩分析,可以发现学生成绩内在的特性和隐藏的状况.运用标准化数据预处理、数据聚类算法等一系列数据挖掘方法,对比传统的排序,提出了学生成绩分析的一些新思路,为发现问题、调整教学策略、有效提升成绩提供数据支撑.
【总页数】3页(P45-46,52)
【作者】刘斌;陈依潼
【作者单位】广州大学计算机科学与教育软件学院,广州510006;中山大学数学与计算科学学院,广州510275
【正文语种】中文
【相关文献】
1.浅谈数据挖掘技术在学生成绩分析中的应用 [J], 魏巍;王蕊;王君祥
2.数据挖掘技术在学生成绩分析中的应用 [J], 费建刚;梁建国
3.数据挖掘技术在学生成绩分析中的应用研究 [J], 李巧君;李伟
4.数据挖掘技术在学生成绩分析中的应用研究 [J], 万家华
5.数据挖掘技术在学生成绩分析中的应用 [J], 刘春辉;李芳
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
） 到稿日期 ： 资助 。 ２ ０ １ １ ０ ２ ２ ３ ２ ０ １ １ ０ ５ １ ９ Ｂ Ｅ ２ ０ １ ０ ６ ３ ８ － － 返修日期 ： － － 本文受江苏省社会发展项目 （ ， ： 杨琬琪 （ 女， 硕士生 ， 主要研究方向为多模态数据挖掘与社会网络分析 ， １ ９ ８ ８－ ） Ｅ－ｍ ａ ｉ ｌ ｎ ｕ． ａ ｎ ｗ ａ ｎ ｉ ｍ ａ ｉ ｌ ． ｃ ｏ ｍ。 ＠ｇ ｊ ｙ ｇ ｑ
摘 要 近年来 ， 多模态数据挖掘技术备受关注 ， 如何高 效 地 挖 掘 大 量 多 模 态 数 据 成 为 一 个 研 究 热 点 。 其 中 ， 基于张 量表示的多模态据挖掘 ， 即多模态张量数据挖掘 ， 是一个重要的研究问题 。 综述了多模态张量数据挖掘算法进 展 及 任务 和 核 心 技 术 的 不 同 ， 对这些方法进行分类， 并给出了相应 其在计算机视觉中的应用 。 首先根据算法的样本标记 、 的介绍和分析 。 其次 ， 讨论了一些多模态张量数据挖掘算法在计算机视觉问题中的典型应用 。 最后 ， 就多模态 张 量 挖 掘在计算机视觉领域的研究现状与研究前景进行了简要的分析 。 关键词 多模态张量 ， 数据挖掘 ， 张量表示 ， 计算机视觉 中图法分类号 Ｔ Ｐ ３ ９ １． ４ １ 文献标识码 Ａ
１ 引言
多模态数据 （ 视频 、 音 频、 图 像 等） 的 挖 掘 是 机 器 视 觉、 模 人工智能等领域的重要技术之一 。 其中 ， 多模态 数 据 式识别 、 的表示是多模态数 据 挖 掘 的 核 心 问 题 。 目 前 ， 多模态数据表 示分为向量表示与张量表示两类 。 不同于成熟的基于向量 表 示的多模态数据挖 掘 方 法 表示的特点有 ： ） 张量结构直观 上 易 于 表 示 多 模 态 数 据 ， 一阶表示一个 １ 模态 ， 不同的模态维度不同 ， 而向量表示往往忽视这一点 ； ） 在提取特征 （ 尤 其 是 图 像 特 征） 时， 张量可以有效保存 ２ 原始样本的结构特征 ； ） 在数据变换时 ， 张量可以充分考虑不同模态之间的相 ３ 关性与互补性 ， 向量表示很难挖掘上述关系 ；
第３ ９卷 第１期 ２ ０ １ ２年１月
计 算 机 科 学 Ｃ ｏ ｍ ｕ ｔ ｅ ｒ ｃ ｉ ｅ ｎ ｃ ｅ Ｓ ｐ
Ｖ ｏ ｌ ． ３ ９Ｎ ｏ ． １ Ｊ ａ ｎ ２ ０ １ ２
多模态张量数据挖掘算法及应用
２ １， ２ ３ １， ２ １， ２ 杨琬琪１， 高 阳 周新民 杨育彬 商 琳 １ ２ （ ） ） 南京大学软件新技术国家重点实验室 南京 ２ 南京大学江阴信息技术研究院 无锡 ２ １ ０ ０ ９ ３ １ ４ ４ ３ ３ （ ３ （ ） 江苏省公安厅物证鉴定中心 南京 ２ １ ０ ０ ２ ４
Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｄ ａ ｔ ａ ｍ ｉ ｎ ｉ ｎ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｉ ｅ ｓ ｈ ａ ｖ ｅ ａ ｔ ｔ ｒ ａ ｃ ｔ ｅ ｄ ｍ ａ ｎ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｉ ｎ ｔ ｅ ｒ ｅ ｓ ｔ ｓ ｉ ｎ ｒ ｅ ｃ ｅ ｎ ｔ ｌ ａ ｒ ｅ ａ ｅ ａ ｒ ｓ ． Ｍ ｉ ｎ ｉ ｎ Ｍ －ｍ － ｇ ｇ ｙ ｇ ｙ ｇ ， ｍ ｏ ｕ ｎ ｔ ｏ ｆ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｄ ａ ｔ ａ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ ｌ ｂ ｅ ｃ ｏ ｍ ｅ ｓ ａ ｈ ｏ ｔ ｓ ｏ ｔ ｔ ｈ ｅ ｓ ｅ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｍ ｉ ｎ ｉ ｎ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｉ ｅ ｓ ｍ ｕ ｌ ｔ ｉ ｒ ｏ ｂ ｌ ｅ ｍ． Ａｍ ｏ ｎ －ｍ －ｍ － ｙ ｐ ｇ ｇ ｐ ｇ ， ， ｍ ｏ ｄ ａ ｌ ｄ ａ ｔ ａ ｍ ｉ ｎ ｉ ｎ ｆ ｏ ｒ ｔ ｅ ｎ ｓ ｏ ｒ ｒ ｅ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ｗ ｈ ｉ ｃ ｈ ｉ ｓ ａ ｌ ｓ ｏ ｃ ａ ｌ ｌ ｅ ｄ ａ ｓ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ ｄ ａ ｔ ａ ｍ ｉ ｎ ｉ ｎ ｉ ｓ ｏ ｎ ｅ ｏ ｆ ｔ ｈ ｅ ｍ ｏ ｓ ｔ －ｍ ｇ ｐ ｇ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｉ ｓ ｓ ｕ ｅ ｓ ． Ｗ ｅ ｒ ｅ ｖ ｉ ｅ ｗ ｅ ｄ ｔ ｈ ｅ ｓ ｔ ａ ｔ ｅ ｏ ｆ ｔ ｈ ｅ ａ ｒ ｔ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｏ ｆ ｔ ｈ ｅ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ ｄ ａ ｔ ａ ｍ ｉ ｎ ｉ ｎ ａ ｎ ｄ ｔ ｈ ｅ ｉ ｒ ｓ ｉ ｎ ｉ ｆ ｉ ｃ ａ ｎ ｔ － － － －ｍ ｇ ｇ ｇ ， ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｉ ｎ ｃ ｏ ｍ ｕ ｔ ｅ ｒ ｖ ｉ ｓ ｉ ｏ ｎ ． Ｆ ｉ ｒ ｓ ｔ ｌ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ ｄ ａ ｔ ａ ｍ ｉ ｎ ｉ ｎ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｗ ｅ ｒ ｅ ｃ ａ ｔ ｅ ｏ ｒ ｉ ｚ ｅ ｄ ｉ ｎ ｔ ｏ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｃ ｌ ａ ｓ －ｍ － ｐ ｐ ｐ ｙｍ ｇ ｇ ｇ ， ， ｓ ｅ ｓ ａ ｃ ｃ ｏ ｒ ｄ ｉ ｎ ｔ ｏ ｔ ｈ ｅ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｌ ａ ｂ ｅ ｌ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ｔ ａ ｓ ｋ ａ ｎ ｄ ｃ ｏ ｒ ｅ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ． Ｉ ｎ ａ ｄ ｄ ｉ ｔ ｉ ｏ ｎ ｓ ｏ ｍ ｅ ａ ｎ ａ ｌ ｓ ｅ ｓ ａ ｂ ｏ ｕ ｔ ｔ ｈ ｅ ｓ ｅ ａ ｌ ｏ － ｇ ｇ ｙ ｙ ｇ ， ｒ ｉ ｔ ｈ ｍ ｓ ｗ ｅ ｒ ｅ ｓ ｏ ｍ ｅ ｔ ｉ ｃ ａ ｌ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ ｍ ｉ ｎ ｉ ｎ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｉ ｎ ｃ ｏ ｍ ｕ ｔ ｅ ｒ ｖ ｉ ｓ ｉ ｏ ｎ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｗ ｅ ｒ ｅ ｉ ｌ ｉ ｖ ｅ ｎ ． Ｓ ｅ ｃ ｏ ｎ ｄ ｌ －ｍ － ｙ ｐ ｇ ｇ ｐ ｐ ｐ ｇ ｙ ， ， ｒ ｅ ｓ ｅ ｎ ｔ ｅ ｄ ｌ ｕ ｓ ｔ ｒ ａ ｔ ｅ ｄ ． Ｆ ｉ ｎ ａ ｌ ｌ ｗ ｅ ｏ ｕ ｒ ｏ ｗ ｎ ａ ｎ ａ ｌ ｓ ｅ ｓ ｏ ｎ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｓ ｔ ａ ｔ ｕ ｓ ｏ ｆ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ ｍ ｉ ｎ ｉ ｎ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ａ ｎ ｄ ｅ ｘ －ｍ － ｐ ｙ ｙ ｇ ｇ ｌ ｏ ｒ ｅ ｄ ｓ ｏ ｍ ｅ ｏ ｔ ｅ ｎ ｔ ｉ ａ ｌ ｆ ｕ ｔ ｕ ｒ ｅ ｉ ｓ ｓ ｕ ｅ ｓ ｏ ｆ ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ ｍ ｉ ｎ ｉ ｎ ｉ ｎ ｃ ｏ ｍ ｕ ｔ ｅ ｒ ｖ ｉ ｓ ｉ ｏ ｎ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ． －ｍ ｐ ｐ ｇ ｐ ｐ ｐ ， ， ， Ｋ ｅ ｗ ｏ ｒ ｄ ｓ Ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ ｔ ｅ ｎ ｓ ｏ ｒ Ｄ ａ ｔ ａ ｍ ｉ ｎ ｉ ｎ Ｔ ｅ ｎ ｓ ｏ ｒ ｒ ｅ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ Ｃ ｏ ｍ ｕ ｔ ｅ ｒ ｖ ｉ ｓ ｉ ｏ ｎ －ｍ ｇ ｐ ｐ ｙ ） 张量表示可以 有 效 解 决 向 量 表 示 的 疑 难 问 题 ， 如维度 ４ 灾难 、 矩阵奇异等 。 本文综述了当前基 于 张 量 表 示 的 多 模 态 数 据 挖 掘 方 法 。 首先介绍张量代数的基础知识， 其次对基于张量表示的多模 态数据挖掘方法进行分类和描述， 最后讨论基于张量表示的 多模态数据挖掘算法在计算机视觉上的应用 。
Ｉ １是 矢量ａ∈Ｒ ｎ 阶的维度大小是Ｉ ∈Ｒ 是 ０ 阶张量 ， ｎ 。 标量ａ Ｉ １× Ｉ ２ 是 ２ 阶 张 量。基 于 张 量 表 示， 矩阵 Ａ∈Ｒ 可以 １ 阶张量 ，
） 、 进一 步 定 义 张 量 矩 阵 展 开 、 模乘（ 张量积 ｒ ｏ ｄ ｕ ｃ ｔ Ｍ ｏ ｄ ｅ ｐ （ ） 和张量分解 。 Ｔ ｅ ｎ ｓ ｏ ｒ ｒ ｏ ｄ ｕ ｃ ｔ ｐ ） 张量矩阵展开 １
［ １］
， 近年来基于张量表示的多模态
数据挖掘方法得到 了 长 足 的 发 展 。 与 向 量 表 示 相 比 较 ， 张量
２ 张量代数
张量是多向阵列 ， 可看作向量 、 矩阵的高阶扩展 。 一个 Ｎ
… Ｉ Ｉ Ｉ Ｎ （ １× ２× × ， 阶张量 Ａ∈Ｒ 第 Ｉ Ｉ Ｉ １× ２× … × Ｎ 为 笛 卡 尔 乘 积）
·９·
张量矩阵展开 （ 是将张量中的元素重新排列构成 Ｎ ＞２） 矩阵的过程 。 对 张 量 Ａ∈Ｒ
Ｉ × Ｉ ×…× Ｉ １ ２ Ｎ
量表示的多模态数据挖掘算法按表 １ 进行分类 。 下面针 对 每 一类的具体算法作详细介绍 。
表 １ 多模态数据挖掘算法分类
样本性质 任务 核心 技术 具体算法
进 行 第ｎ 阶 矩 阵 展 开
Ｉ × Ｉ 形成二阶张量展开 矩 阵 Ａ（ 其 中Ｉ 后， ｎ）∈Ｒ ｎ ｎ ， ｎ是其他阶维
度大小的乘 积 ， 即Ｉ Ｉ Ｉ Ｉ Ｉ ｎ＝ １… ｎ－１ ｎ＋１ … Ｎ 。 以 ３ 阶 张 量 Ａ∈
Ｉ Ｉ Ｉ １× ２× ３ 为例 ， 其张量矩阵展开过程如图 １ 所示 。 Ｒ
训练样本 有标记
预测 ， 支持张 Ｓ ＴＭ， Ｔ Ｓ ＴＭ，Ｍ Ｓ ＴＭ ｓ 分类 量 机 ＲＭ Ｓ ＴＭ ｓ 生成式 ＴＭＰＭ， Ｂ ＴＡ 分析 Ｐ Ｃ Ａ 系列 ２ Ｄ Ｐ Ｃ Ａ， Ｇ Ｐ Ｃ Ａ， ＭＰ Ｃ Ａ， ＲＭＰ Ｃ Ａ， ＮＭＰ Ｃ Ａ， ＵＭＰ Ｃ Ａ Ｍ Ｉ Ｃ Ａ， Ｄ Ｉ Ｃ Ａ
Ｍ ｕ ｌ ｔ ｉ ｏ ｄ ａ ｌ Ｔ ｅ ｎ ｓ ｏ ｒ Ｄ ａ ｔ ａ Ｍ ｉ ｎ ｉ ｎ Ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ａ ｎ ｄ Ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ －ｍ ｇ ｇ ｐ ｐ
１２ １２ ３ １２ １２ ＹＡＮＧ Ｗ ａ ｎ Ｙ ａ ｎ ＨＯＵ Ｘ ｉ ｎ ｉ ｎ Ｙ ｕ ｂ ｉ ｎ ＨＡＮＧ Ｌ ｉ ｎ ｉ － ＧＡＯ －ｍ ＹＡＮＧ － Ｓ ｇ Ｚ ｑ １ （ ， ， ） Ｓ ｔ ａ ｔ ｅ Ｋ ｅ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｒ ｆ ｏ ｒ Ｎ ｏ ｖ ｅ ｌ Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ ａ ｎ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｎ ａ ｎ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｎ ａ ｎ ｉ ｎ ２ １ ０ ０ ９ ３， Ｃ ｈ ｉ ｎ ａ ｙ ｙ ｇ ｙ ｊ ｇ ｙ ｊ ｇ ２ （ ， ， ） Ｊ ｉ ａ ｎ ｉ ｎ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｎ ａ ｎ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｗｕ ｘ ｉ ２ １ ４ ４ ３ ３， Ｃ ｈ ｉ ｎ ａ ｇ ｙ ｇ ｙ ｊ ｇ ｙ ３ （ ， ） Ｊ ｉ ａ ｎ ｓ ｕ Ｐ ｒ ｏ ｖ ｉ ｎ ｃ ｅ Ｐ ｕ ｂ ｌ ｉ ｃ Ｓ ｅ ｃ ｕ ｒ ｉ ｔ Ｄ ｅ ａ ｒ ｔ ｍ ｅ ｎ ｔ Ｎ ａ ｎ ｉ ｎ ２ １ ０ ０ ２ ４， Ｃ ｈ ｉ ｎ ａ ｇ ｙ ｐ ｊ ｇ ， ， ， ，