基于注意力回归的视频时序句子定位方法及装置[发明专利]

专利名称：基于注意力回归的视频时序句子定位方法及装置专利类型：发明专利
发明人：朱文武,袁艺天
申请号：CN201810367989.8
申请日：20180423
公开号：CN108647255A
公开日：
20181012
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于注意力回归的视频时序句子定位方法及装置，其中，方法包括以下步骤：根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容；根据视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；根据视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。

该方法能够保持视频和句子中的上下文信息，提升了句子定位过程的效率，以达到提升句子定位速度、定位准确性和定位鲁棒性的目的。

申请人：清华大学
地址：100084 北京市海淀区清华园
国籍：CN
代理机构：北京清亦华知识产权代理事务所(普通合伙)
代理人：张润
更多信息请下载全文后查看。