【CN109801325A】一种双目立体视觉系统获取视差图的方法及装置【专利】

权利要求书3页 说明书11页 附图4页
CN 109801325 A
CN 109801325 A
权 利 要 求 书
1/3 页
1 .一种双目立体视觉系统获取视差图的方法，其特征在于，包括 获取同 一场景平行 拍摄的 左图 像 和右图 像 ，其中 ，所述左图 像 和所述右图 像包括多个 像素； 基于预设窗口以 及滑动步长 ，分 别以 所述 左图 像以 及所述右图 像中 每个像素为中 心 ， 建立多个与所述预设窗口形状以及大小相同的子区域； 确定各个所述子区域中心的第一像素，并基于预设的采样步长分别对各个所述子区域 的像素进行采样，得到多个第二像素； 以所述第一像素为对称中心，比较各个所述子区域中每一对关于所述对称中心对称的 所述第二像素的灰度值，得到所述各个子区域对应的census序列； 基于预设的视差范围以及所述各个子区域对应的census序列获得视差图。 2 .如权利要求1所述的方法，其特征在于，所述预设窗口为M*M的正方形，其中，所述M为 大于1的奇数。 3 .如权利要求2所述的方法，其特征在于，基于预设的采样步长分别对各个所述子区域 的像素进行采样，包括： 获取所述各个子区域所包含的像素的行列数； 基于所述预设的采样步长以及所述行列数，分别在行和列两个方向上对所述各个子区 域的像素进行采样。 4 .如权利要求1所述的方法，其特征在于，比较各个所述子区域中每一对关于所述对称 中心对称的所述第二像素的灰度值，得到所述各个子区域对应的census序列，包括： 基于所述对称中心，将各个所述子区域中每一对关于所述对称中心对称的所述第二像 素的灰度值进行比较，得到多个二进制码元； 基于各个所述子区域中所述第二像素所处的 位置 ，将所述多个二进 制码元进行合并 ， 得到所述各个子区域对应的census序列。 5 .如权利要求1-4任一所述的方法，其特征在于，基于预设的视差范围以及所述各个子 区域对应的census序列获得视差图 ，包括 ： 基于所述预设的视差范围以及所述各个子区域对应的census序列进行匹配代价计算， 获得以所述左图像为参考图像的第一匹配代价矩阵 ，以 及以所述右图像为参考图像的 第二 匹配代价矩阵 ； 通过局部代价聚合的方法 ，分别对所述第一匹配代价矩阵以 及所述第二匹配代价矩阵 进行匹配代价聚合计算 ，得到以 所述左图像为参考图像的 第一匹配代价聚合矩阵 ，以 及以 所述右图像为参考图像的 第二匹配代价聚合矩阵 ，其中 ，所述第一匹配代价矩阵以 及所述 第二匹配代价聚合矩阵包括多个代价聚合值； 基于胜者全得WTA策略以 及所述代价聚 合值 ，分 别得到所述 左图 像以 及所述右图 像中 各个所述像素的初始视差值； 基于所述左图像以及所述右图像中各个所述初始视差值，通过亚像素处理以及左右一 致性验证，获得所述视差图。 6 .如权利要求5所述的方法，其特征在于，基于所述左图像以及所述右图像中各个所述 初始视差值 ，通过亚像素处理以 及左右一致性验证 ，获得所述视差图 ，包括 ： 分别获取所述左图像以及所述右图像中各个所述初始视差值对应的第一代价聚合值，
若不存在 ，则基于所述 左图 像以 及所述右图 像各个所述亚像素级 别的 视差值 ，得到所 述视差图。
7 .一种双目立体视觉系统获取视差图的装置，其特征在于，包括 获取模块 ，用于获取同一场景平行 拍摄的 左图 像和右图 像 ，其中 ，所述左图 像和所述右 图像包括多个像素； 分块模块 ，用于基于预设窗口以 及滑动步长 ，分 别以 所述 左图 像以 及所述右图 像中 每 个像素为中心，建立多个与所述预设窗口形状以及大小相同的子区域； 采样模块 ，用于 确定各个所述子区 域中 心的 第一像素 ，并基于预设的 采样步长分 别对 各个所述子区域的像素进行采样，得到多个第二像素； 处理模块 ，用于以 所述 第一像素为对称中 心 ，比 较各个所述子区 域中 每一对关于所述 对称中心对称的所述第二像素的灰度值，得到所述各个子区域对应的census序列； 所述处理模块，还用于基于预设的视差范围以及所述各个子区域对应的census序列获 得视差图。 8 .如权利要求7所述的装置，其特征在于，所述预设窗口为M*M的正方形，其中，所述M为 大于1的奇数。 9 .如权利要求8所述的装置，其特征在于，所述获取模块，还用于获取所述各个子区域 所包含的像素的行列数； 所述采样模块 ，还 用于基于所述预设的 采样步长以 及所述行 列数 ，分 别在行 和列两个 方向上对所述各个子区域的像素进行采样。 10 .如权利要求7所述的装置，其特征在于，所述处理模块，具体用于： 基于所述对称中心，将各个所述子区域中每一对关于所述对称中心对称的所述第二像 素的灰度值进行比较，得到多个二进制码元； 基于各个所述子区域中所述第二像素所处的 位置 ，将所述多个二进制码元进行合并 ， 得到所述各个子区域对应的census序列。 11 .如权利要求7-10任一所述的装置，其特征在于，所述处理模块，还具体用于： 基于所述预设的视差范围以及所述各个子区域对应的census编码进行匹配代价计算， 获得以所述左图像为参考图像的第一匹配代价矩阵 ，以 及以所述右图像为参考图像的 第二 匹配代价矩阵 ； 通过局部代价聚合的方法 ，分别对所述第一匹配代价矩阵以 及所述第二匹配代价矩阵 进行匹配代价聚合计算 ，得到以 所述左图像为参考图像的 第一匹配代价聚合矩阵 ，以 及以 所述右图像为参考图像的 第二匹配代价聚合矩阵 ，其中 ，所述第一匹配代价矩阵以 及所述 第二匹配代价聚合矩阵包括多个代价聚合值；
及装置 ( 57 )摘要
本申请公开了一种双目立体视觉系统获取 视差图的 方法及装置 ，该方法包括 ：获取同 一场 景平行拍摄的左图像和右图像，基于预设窗口以 及滑动步长，分别以所述左图像以及所述右图像 中每个像素为中心，建立多个与所述预设窗口形 状以及大小相同的子区域，确定各个所述子区域 中心的第一像素，并基于预设的采样步长分别对 各个所述子区域的像素进行采样，得到多个第二 像素 ，以 所述第一像素为对称中心 ，比 较各个所 述子区域中每一对关于所述对称中心对称的所 述第二像素的灰度值，得到所述各个子区域对应 的census序列，基于预设的视差范围以及所述各 个子区域对应的census序列获得视差图。解决了 现有技术中获取视差图的效率较低的技术问题。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910028220 .8
(22)申请日 2019 .01 .11
(71)申请人 深兰人工智能芯片研究院（江苏）有 限公司
地址 213161 江苏省常州市武进区常武中 路18号常州科教城创研港4号楼103
(72)发明人 陈海波
(74)专利代理机构 北京同达信恒知识产权代理 有限公司 11291
代理人 黄志华
(51)Int .Cl . G06T 7/593(2017 .01)
(10)申请公布号 CN 109801325 A (43)申请公布日 2019.05.24
( 54 )发明 名称 一种双目立体视觉系统获取视差图的方法
2
CN 109801325 A
权 利 要 求 书
2/3 页
并对各个所述ห้องสมุดไป่ตู้始视差值进行线性插值计算，得到每一个所述初始视差值相邻的视差值对 应第二代价聚合值；
基于各个所述初始视差值 、所述 第一代价聚 合值以 及第二代价聚 合值 ，计算得到各个 所述像素对应的亚像素级别的视差值；
判断所述左图 像 和所述右图 像中是否存在任一同 名点的 像素对应的 亚像素级别的 视 差值之差的绝对值大于预设的阈值，所述同名点是指所述场景中任一点在所述左图像和所 述右图像中的像点；