【CN109740674A】一种图像处理方法装置设备和存储介质【专利】
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( 57 )摘要 本申请公开了一种图像处理方法、装置、设
备 和存储介 质。该方法包括 ：获取 相机采集的 当 前帧图 像 ，并提取当前帧图 像的 视觉特征 ；根据 当前帧图像的视觉特征，生成当前帧图像的特征 向量；将当前帧图像的特征向量划分为多个子向 量 ，并量化多个子向 量 ，生成当前帧图 像的 视觉 特征的特征索引；将当前帧图像的视觉特征的特 征索引和各训练图像的视觉特征的特征索引进 行匹配，确定当前帧图像和各训练图像的匹配特 征对；各训练图像的视觉特征的特征索引是基于 子码书得到的 ；将匹配特征对的数量大于第一预 设阈 值的 训练图 像 确定为当前帧图 像的 相似图 像。本技术方案可以实现图像的快速识别。
权利要求书3页 说明书10页 附图5页
CN 109740674 A
CN 109740674 A
权 利 要 求 书
1/3 页
1 .一种图像处理方法，其特征在于，所述方法包括： 获取相机采集的当前帧图像，并提取所述当前帧图像的视觉特征； 将所述当前帧图 像的 视觉特征 划分为多个子向 量 ，并量化所述多个子向 量 ，生成所述 当前帧图像的视觉特征的特征索引； 将所述当前帧图像的视觉特征的特征索引和预先训练得到的图像训练集中各训练图 像的 视觉特征的 特征 索 引进行匹 配 ，确定所述当前帧图 像 和所述各 训练图 像的 匹 配特征 对 ；其中 ，所述各训练图像的视觉特征的特征索引是基于子码书得到的 ，所述子码书是将所 述各训练图像的视觉特征所在的空间切分为多个子空间，并在每个所述子空间内进行训练 得到的码书； 将所述匹配特征对的 数量大于第一预设阈 值的 训练图 像 确定为所述当前帧图 像的 相 似图像。 2 .根据权利要求1所述的方法，其特征在于，所述各训练图像的视觉特征的特征索引按 照如下方式确定： 获取图像训练集，并提取所述图像训练集中各训练图像的视觉特征； 将所述各 训练图 像的 视觉特征 划分为M个子空间 ，并 在每个所述子空间内进行聚类分 析，获得所述M个由k个码字组成的子码书； 根据至少一个所述子码书，生成所述训练图像的视觉特征的特征索引。 3Baidu Nhomakorabea.根据权利要求1所述的方法，其特征在于，提取所述当前帧图像的视觉特征之后，所 述方法还包括： 根据当前帧图像的视觉特征，生成当前帧图像的词袋向量； 计算所述当前帧图 像的 词袋向 量 和预先 训练得到的 所述各 训练图 像的 词袋向 量的 相 似性，确定所述当前帧图像和所述各训练图像的相似度； 将相似度大于第二预设阈值的训练图像确定为拟相似图像；则 将所述当前帧图像的视觉特征的特征索引和预先训练得到的图像训练集中各训练图 像的 视觉特征的 特征 索 引进行匹 配 ，确定所述当前帧图 像 和所述各 训练图 像的 匹 配特征 对： 将所述当前帧图像的视觉特征的特征索引和所述拟相似图像的视觉特征进行匹配，确 定所述当前帧图像和所述拟相似图像的匹配特征对。 4 .根据权利要求1所述的方法，其特征在于，将所述匹配特征对的数量大于第一预设阈 值的训练图像确定为所述当前帧图像的相似图像之后，所述方法还包括： 根据所述当前帧图像和所述相似图像的匹配特征对，确定由所述相似图像到所述当前 帧图像的第一相机位姿； 继续获取所述当前帧图像的下一帧图像； 根据所述第一相机位姿，确定所述相似图像在所述下一帧图像中的位置。 5 .根据权利要求4所述的方法，其特征在于，根据所述当前帧图像和所述相似图像的匹 配特征对，确定由所述相似图像到所述当前帧图像的第一相机位姿，包括： 根据所述当前帧图像和所述相似图像的匹配特征对，确定所述当前帧图像和所述相似 图像的匹配特征点对； 根据所述相似图像中的匹配特征点的3D坐标和所述当前帧图像中的匹配特征点的2D
后的2D坐标之后，所述方法还包括： 依次判断所述当前帧图像中每个匹配特征点投影后的2D坐标是否位于所述下一帧图
像的图像坐标范围内； 根据判断结果，确定所述当前帧图像中投影后的2D坐标位于所述下一帧图像的图像坐
标范围内的匹配特征点的数量；则 根据所述当前帧图像中的匹配特征点投影后的2D坐标，确定所述相似图像在所述下一
2
CN 109740674 A
权 利 要 求 书
2/3 页
坐标，确定所述第一相机位姿。 6 .根据权利要求4所述的方法，其特征在于，根据所述第一相机位姿，确定所述相似图
像在所述下一帧图像中的位置，包括： 将所述相似图像中的匹配特征点的3D坐标按照所述第一相机位姿投影到所述当前帧
图像，确定所述当前帧图像中的匹配特征点的2D坐标和3D坐标； 根据所述当前帧图像中的匹配特征点的2D坐标和3D坐标，使用基于光度误差的最小二
帧图像中的位置，包括： 当所述当前帧图像中投影后的2D坐标位于所述下一帧图像的图像坐标范围内的匹配
(74)专利代理机构 北京志霖恒远知识产权代理 事务所(普通合伙) 11435
代理人 王俊博
(51)Int .Cl . G06K 9/62(2006 .01) G06K 9/46(2006 .01)
(10)申请公布号 CN 109740674 A (43)申请公布日 2019.05.10
( 54 )发明 名称 一种图像处理方法、装置、设备和存储介质
乘法确定由所述当前帧图像到所述下一帧图像的第二相机位姿； 将所述当前帧图像中的匹配特征点的3D坐标按照所述第二相机位姿进行投影，得到所
述当前帧图像中的匹配特征点投影后的2D坐标； 根据所述当前帧图像中的匹配特征点投影后的2D坐标，确定所述相似图像在所述下一
帧图像中的位置。 7 .根据权利要求6所述的方法，其特征在于，得到所述当前帧图像中的匹配特征点投影
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910011494 .6
(22)申请日 2019 .01 .07
(71)申请人 京东方科技集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路10号 申请人 北京京东方光电科技有限公司
(72)发明人 马福强 陈丽莉 楚明磊 吕耀宇 薛鸿臻 闫桂新
备 和存储介 质。该方法包括 ：获取 相机采集的 当 前帧图 像 ，并提取当前帧图 像的 视觉特征 ；根据 当前帧图像的视觉特征，生成当前帧图像的特征 向量；将当前帧图像的特征向量划分为多个子向 量 ，并量化多个子向 量 ，生成当前帧图 像的 视觉 特征的特征索引；将当前帧图像的视觉特征的特 征索引和各训练图像的视觉特征的特征索引进 行匹配，确定当前帧图像和各训练图像的匹配特 征对；各训练图像的视觉特征的特征索引是基于 子码书得到的 ；将匹配特征对的数量大于第一预 设阈 值的 训练图 像 确定为当前帧图 像的 相似图 像。本技术方案可以实现图像的快速识别。
权利要求书3页 说明书10页 附图5页
CN 109740674 A
CN 109740674 A
权 利 要 求 书
1/3 页
1 .一种图像处理方法，其特征在于，所述方法包括： 获取相机采集的当前帧图像，并提取所述当前帧图像的视觉特征； 将所述当前帧图 像的 视觉特征 划分为多个子向 量 ，并量化所述多个子向 量 ，生成所述 当前帧图像的视觉特征的特征索引； 将所述当前帧图像的视觉特征的特征索引和预先训练得到的图像训练集中各训练图 像的 视觉特征的 特征 索 引进行匹 配 ，确定所述当前帧图 像 和所述各 训练图 像的 匹 配特征 对 ；其中 ，所述各训练图像的视觉特征的特征索引是基于子码书得到的 ，所述子码书是将所 述各训练图像的视觉特征所在的空间切分为多个子空间，并在每个所述子空间内进行训练 得到的码书； 将所述匹配特征对的 数量大于第一预设阈 值的 训练图 像 确定为所述当前帧图 像的 相 似图像。 2 .根据权利要求1所述的方法，其特征在于，所述各训练图像的视觉特征的特征索引按 照如下方式确定： 获取图像训练集，并提取所述图像训练集中各训练图像的视觉特征； 将所述各 训练图 像的 视觉特征 划分为M个子空间 ，并 在每个所述子空间内进行聚类分 析，获得所述M个由k个码字组成的子码书； 根据至少一个所述子码书，生成所述训练图像的视觉特征的特征索引。 3Baidu Nhomakorabea.根据权利要求1所述的方法，其特征在于，提取所述当前帧图像的视觉特征之后，所 述方法还包括： 根据当前帧图像的视觉特征，生成当前帧图像的词袋向量； 计算所述当前帧图 像的 词袋向 量 和预先 训练得到的 所述各 训练图 像的 词袋向 量的 相 似性，确定所述当前帧图像和所述各训练图像的相似度； 将相似度大于第二预设阈值的训练图像确定为拟相似图像；则 将所述当前帧图像的视觉特征的特征索引和预先训练得到的图像训练集中各训练图 像的 视觉特征的 特征 索 引进行匹 配 ，确定所述当前帧图 像 和所述各 训练图 像的 匹 配特征 对： 将所述当前帧图像的视觉特征的特征索引和所述拟相似图像的视觉特征进行匹配，确 定所述当前帧图像和所述拟相似图像的匹配特征对。 4 .根据权利要求1所述的方法，其特征在于，将所述匹配特征对的数量大于第一预设阈 值的训练图像确定为所述当前帧图像的相似图像之后，所述方法还包括： 根据所述当前帧图像和所述相似图像的匹配特征对，确定由所述相似图像到所述当前 帧图像的第一相机位姿； 继续获取所述当前帧图像的下一帧图像； 根据所述第一相机位姿，确定所述相似图像在所述下一帧图像中的位置。 5 .根据权利要求4所述的方法，其特征在于，根据所述当前帧图像和所述相似图像的匹 配特征对，确定由所述相似图像到所述当前帧图像的第一相机位姿，包括： 根据所述当前帧图像和所述相似图像的匹配特征对，确定所述当前帧图像和所述相似 图像的匹配特征点对； 根据所述相似图像中的匹配特征点的3D坐标和所述当前帧图像中的匹配特征点的2D
后的2D坐标之后，所述方法还包括： 依次判断所述当前帧图像中每个匹配特征点投影后的2D坐标是否位于所述下一帧图
像的图像坐标范围内； 根据判断结果，确定所述当前帧图像中投影后的2D坐标位于所述下一帧图像的图像坐
标范围内的匹配特征点的数量；则 根据所述当前帧图像中的匹配特征点投影后的2D坐标，确定所述相似图像在所述下一
2
CN 109740674 A
权 利 要 求 书
2/3 页
坐标，确定所述第一相机位姿。 6 .根据权利要求4所述的方法，其特征在于，根据所述第一相机位姿，确定所述相似图
像在所述下一帧图像中的位置，包括： 将所述相似图像中的匹配特征点的3D坐标按照所述第一相机位姿投影到所述当前帧
图像，确定所述当前帧图像中的匹配特征点的2D坐标和3D坐标； 根据所述当前帧图像中的匹配特征点的2D坐标和3D坐标，使用基于光度误差的最小二
帧图像中的位置，包括： 当所述当前帧图像中投影后的2D坐标位于所述下一帧图像的图像坐标范围内的匹配
(74)专利代理机构 北京志霖恒远知识产权代理 事务所(普通合伙) 11435
代理人 王俊博
(51)Int .Cl . G06K 9/62(2006 .01) G06K 9/46(2006 .01)
(10)申请公布号 CN 109740674 A (43)申请公布日 2019.05.10
( 54 )发明 名称 一种图像处理方法、装置、设备和存储介质
乘法确定由所述当前帧图像到所述下一帧图像的第二相机位姿； 将所述当前帧图像中的匹配特征点的3D坐标按照所述第二相机位姿进行投影，得到所
述当前帧图像中的匹配特征点投影后的2D坐标； 根据所述当前帧图像中的匹配特征点投影后的2D坐标，确定所述相似图像在所述下一
帧图像中的位置。 7 .根据权利要求6所述的方法，其特征在于，得到所述当前帧图像中的匹配特征点投影
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910011494 .6
(22)申请日 2019 .01 .07
(71)申请人 京东方科技集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路10号 申请人 北京京东方光电科技有限公司
(72)发明人 马福强 陈丽莉 楚明磊 吕耀宇 薛鸿臻 闫桂新