对极约束下的相位相关图像匹配算法_许斌
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图1 从不同角度拍摄的石膏牙齿模型
图 3 中是在一个 7 × 7 像素的匹配窗口（ 以参考点为中心 选定的图像区域） 内拟合得到的二维互相位相关函数的峰值 模型。图中的函数有一个明显的峰值， 这是两幅图像有很高相 似度的证明， 根据理论论证， 待匹配的两幅图像相似度越高， 函 数的峰值越明显， 相反如果两幅图像完全不相似， 则相位相关 不会出现明显的峰值。以上就是基于 函数处于随机混乱状态， 在实际应用中， 可以通过二 相位相关的图像匹配的基本原理， 维函数拟合得到式（ 5 ） 中的 α、 δ1 和 δ2 三个参数， 也就确定了 参考点和待匹配点之间的偏移量 。
提出了一种稠密匹配（ 对图像上大部分点而不是仅对特征点 进行匹配） 的新策略。 该策略综合了以对极几何约束为代表 的全局约束和以灰度相似 、 单应矩阵为代表的局部约束， 在每 次匹配过程中， 选取当前灰度相似性最大的匹配点对， 在它的
收稿日期： 2013-03-20 ; 修回日期： 2013-06-05
0
引言
在计算机视觉中， 为了获得空间物体的三维几何信息， 必
周围小区域内寻找更多的匹配点对， 重复这种过程直至匹配点 对充满整幅图像， 最后再应用对极几何约束去除错误匹配 。 Takita 等人［4］ 提出的相位相关匹配算法， 以待配准图片上的兴 然后通过计算 POC 趣点为中心建立不同分辨率的相关区域， （ phase only correlation） 相关函数来实现图像匹配， 该算法是目 前实现亚像素级匹配的主要算法 。 本文在重点研究了当下最流行的高精度相位相关匹配算 法
· 616·
计 算 机 应 用 研 究
第 31 卷
且相关拍摄位置已知（ 两部摄像机的镜头光心位置与成像平 面在世界坐标系中的坐标已知） 。
式（ 4 ） 是互相位相关函数的定义式 。 在实际实验中由于 两幅图片的位差微小， 且在相同环境下同时拍摄， 可以假定 f （ n1 ， n2 ） 和 g （ n1 ， n2 ） 的差别完全由位差决定， 然后得到近似计 算式：
Phaseonly correlation image matching algorithm under epipolar geometry constraint
XU Bin1 ，LI Zhongke1 ，SUN Yuchun2
（ 1 ． College of Science，Second Artillery Engineering University，Xi’ an 710025 ，China； 2 ． School of Stomatology，Peking University，Beijing 100081 ，China）
2ห้องสมุดไป่ตู้
对极约束下 POC 匹配原理
camera2 O2 O1 camera1 1 0.8 r(n１,n2) P′C2(x y) 0.6 PC2(x y) 0.4 Lconstr 0.2 0 3 2 1 2 3 0 1 0 -1 -1 PC1(x y) -2 -2 n１ -3 -3 n2 plane1 plane2
本文采用的摄像机模型是经典的针孔摄像机模型， 这种模 型结构简单且准确性高 。图 2 中的点 P 为实物模型上的一点， YW ， Z W ） 。 O1 和 O2 是摄像机 在世界坐标系中的坐标为（ X W ， camera1 和 camera2 的 光 心， plane1 和 plane2 是 camera1 和 camera2 的成 像 平 面。 经 过 摄 像 机 标 定 后 O1 、 O2 和 plane1 、 plane2 在世界坐标系中的坐标为已知 。点 P C1 为 P 在 plane1 上 设定 P C1 在 plane1 上的坐 的成像点。在一个图像匹配问题中， 标已知， 如果找到点 P 在 plane2 上的投影点， 就可以在摄像机 YW ， ZW ） ， 标定中得到的基础矩阵系统中计算出（ X W ， 即得到了 一个三维点的数据。 摄像机在对实物进行成像时， 丢失了一个维度的空间信 息， 如图 2 所示。当在 plane1 上确定 P C1 后， 只能确定点 P 在直 线 P C1 O1 上， 图中的 P' 就是 P 的一个可能位置。 P' C2 是 P' 在 plane2 上的成像点。从图 2 中可以看出， P C2 和 P' C2 两个点都在 O2 、 P C1 三点确定的平面与 plane2 的交线上， 由 O1 、 事实上当 P C1 确定后， P C2 所有的可能位置都在这条交线上 。这种空间几 何关系， 就称为对极几何关系， 对摄像机进行标定的过程就是 在 plane2 上 建立对极几何关系的过程 。对极几何关系建立后， 寻找 P C2 的过程就从平面范围内的二维搜索， 变成了线段上的 一维搜索。
P(Ｘw,Ｙw,Zw)
P′(Ｘw,Ｙw,Zw)
图2
摄像机标定后的 对极几何约束
图 3 二维互相位 相关函数示意图
下面在互相位相关函数中引入对极几何约束， 过程如下： a） 建立层级匹配窗口。 建立层级匹配窗口的目的是当参 能够在 POC 函数上得到 考点和待匹配点之间的位差较大时， 使得位差判断可以进行下去 。 具体方法是在图像 峰值模型， （ 包括参考图像和待配准图像） 上， 以参考点为中心， 建立一个 然后按照式（ 6 ） 和 长宽 2 倍于拟定匹配窗口宽度的初始窗口， （ 7 ） 分别在参考图像和待匹配图像中计算层级窗口 。
角上不同的两张图片中选取对应实物上同一点的点对， 然后通 过基础矩阵计算出实物上点的三维坐标， 进而得到数字点云模 型。本文中算法针对的待匹配图像为从不同角度（ 相差很小） 对同一实物拍摄的两张 BMP 真彩图像（ 如图 1 所示， 图中的两 幅图片为了便于区别， 角度差选取比实际应用中要大一些） ，
Abstract： To the question that classic phaseonly correlatoin algorithm is not appropriate in the field of high resolution dense this paper introduced a new dense matching algorithm． Based on dense matching matching because of amount of calculation， strategy and relying on the phaseonly correlation fuction under epipolar geometry constraint， it transformed two dimension fuction fitting into one dimension fuction fitting and greatly shortened the running time of the algorithm with same matching accuracy to classic phaseonly correlation algorithm． Experiments show that the algorithm achieves higher accuracy and spends less so the algorithm has very high practicability． time to matching algorithm with a similar matching strategy based on gray， Key words： threedimension surface reconstruction； epipolar geometry constraint； points matching； phaseonly correlation fuction； fuction fitting
题， 提出了一种新型的相位相关稠密匹配算法。在稠密匹配 策略 基 础上将 对 极几何约束引入 相 位 相 关 函 数， 实 现二维函数拟合到一维函数拟合的转变， 达到了在保持匹配精度的同时大幅缩短算法运行时间 的 目 的。 实 验 表 明， 本算法在匹配精度和算法运行时间上都优于采用相似匹配策略的基于灰度的匹配算法， 具有很强的实用性。 关键词： 三维曲面重建; 对极几何约束; 点对匹配; 相位相关函数; 函数拟合 中图分类号： TP391 文献标志码： A 文章编号： 1001-3695 ( 2014 ) 02-0615-04 3695． 2014． 02． 072 doi： 10． 3969 / j． issn． 1001-
r （ n1 ， n2 ） sin｛ π（ n1 + δ1 ） ｝ sin｛ π（ n2 + δ2 ） ｝ τ N1 N2 π π sin｛ （ n + δ1 ） ｝ sin｛ （ n + δ2 ） ｝ N1 1 N2 2 （ 5）
n2 ） 和 g （ n1 ， n2 ） 的 亚 像 素 其中： τ≤1 ， δ1 和 δ2 是 图 像 f （ n 1 ， 偏移。
［5 ～ 9 ］
须对从不同视点方向获取的两幅（ 或两幅以上） 图像进行关联 对应， 进而找到某些实物模型点所对应的投影点， 这一过程就 叫做图像匹配。概括地说图像匹配的任务就是在两幅或多幅 图像中寻找实物模型上某一物理点投影到不同图像平面上的 像素点之间的对应关系（ 视差信息） 。由于图像匹配结果的精 度是决定三维重构效果的关键因素， 所以图像匹配技术一直是 计算机视觉和逆向工程领域的研究热点 。 近二十年来国内外 学者对不同环境下的图像匹配算法进行了大量研究 。 例 如 Beardsley 算法［1］ 中以图像角点作为特征点， 运用相关性进行 然 后 将 匹 配 的 结 果 用 奇 异 值 分 解 求 取 基 础 矩 阵。 匹配， Pritchett等人［2］ 提出了用单应矩阵（ homography） 取代传统的灰 度相似性和极线约束作为匹配的准则算法 。 Lhuillier 等人
［3 ］
（ phaseonly correlation algorithm ） 的基础上， 结合 Lhuil-
lier等人［3］ 提出的稠密匹配策略， 提出了一种对极几何约束下 的相位相关函数， 在保持了匹配精度的同时， 极大地缩短了算 法运行的时间。
1
摄像机模型和对极几何约束
计算机视觉中图像匹配的目的是在拍摄时间上或空间视
第 31 卷第 2 期 2014 年 2 月
计 算 机 应 用 研 究 Application Ｒesearch of Computers
Vol． 31 No． 2 Feb． 2014
对极约束下的相位相关图像匹配算法
许
摘
1 1 2 斌 ，李忠科 ，孙玉春
*
( 1． 第二炮兵工程大学 理学院 计算机室，西安 710025 ; 2． 北京大学 口腔医学院，北京 100081 ) 要： 针对经典相位相关匹配算法( POC algorithm) 因 计算 量 过 大 不适合 应用在 高 分 辨率稠密匹配场合 的 问
基金项目： 国家科技支撑计划资助项目( 2009BAI81B00 )
作者简介： 许斌( 1979-) ， 男， 博士研究生， 主要研究方向为三维图形数据处理( xubinliuxia@ sina． com ) ; 李 忠 科( 1956-) ， 男， 教授， 博导， 主要研 究方向为精密仪器设计、 光学测量; 孙玉春( 1967-) ， 男， 教授， 博士， 主要研究方向为逆向工程、 口腔修复体数字化加工．
I l （ n1 ， n2 ） = J l （ n1 ， n2 ） =
1 1 1 2 n2 + i2 ） ∑ ∑ I （ 2 n1 + i1 ， 4 i1 = 0 i2 = 0 l － 1 1 1 1 2 n2 + i2 ） ∑ ∑ J （ 2 n1 + i1 ， 4 i1 = 0 i2 = 0 l － 1 l
图 3 中是在一个 7 × 7 像素的匹配窗口（ 以参考点为中心 选定的图像区域） 内拟合得到的二维互相位相关函数的峰值 模型。图中的函数有一个明显的峰值， 这是两幅图像有很高相 似度的证明， 根据理论论证， 待匹配的两幅图像相似度越高， 函 数的峰值越明显， 相反如果两幅图像完全不相似， 则相位相关 不会出现明显的峰值。以上就是基于 函数处于随机混乱状态， 在实际应用中， 可以通过二 相位相关的图像匹配的基本原理， 维函数拟合得到式（ 5 ） 中的 α、 δ1 和 δ2 三个参数， 也就确定了 参考点和待匹配点之间的偏移量 。
提出了一种稠密匹配（ 对图像上大部分点而不是仅对特征点 进行匹配） 的新策略。 该策略综合了以对极几何约束为代表 的全局约束和以灰度相似 、 单应矩阵为代表的局部约束， 在每 次匹配过程中， 选取当前灰度相似性最大的匹配点对， 在它的
收稿日期： 2013-03-20 ; 修回日期： 2013-06-05
0
引言
在计算机视觉中， 为了获得空间物体的三维几何信息， 必
周围小区域内寻找更多的匹配点对， 重复这种过程直至匹配点 对充满整幅图像， 最后再应用对极几何约束去除错误匹配 。 Takita 等人［4］ 提出的相位相关匹配算法， 以待配准图片上的兴 然后通过计算 POC 趣点为中心建立不同分辨率的相关区域， （ phase only correlation） 相关函数来实现图像匹配， 该算法是目 前实现亚像素级匹配的主要算法 。 本文在重点研究了当下最流行的高精度相位相关匹配算 法
· 616·
计 算 机 应 用 研 究
第 31 卷
且相关拍摄位置已知（ 两部摄像机的镜头光心位置与成像平 面在世界坐标系中的坐标已知） 。
式（ 4 ） 是互相位相关函数的定义式 。 在实际实验中由于 两幅图片的位差微小， 且在相同环境下同时拍摄， 可以假定 f （ n1 ， n2 ） 和 g （ n1 ， n2 ） 的差别完全由位差决定， 然后得到近似计 算式：
Phaseonly correlation image matching algorithm under epipolar geometry constraint
XU Bin1 ，LI Zhongke1 ，SUN Yuchun2
（ 1 ． College of Science，Second Artillery Engineering University，Xi’ an 710025 ，China； 2 ． School of Stomatology，Peking University，Beijing 100081 ，China）
2ห้องสมุดไป่ตู้
对极约束下 POC 匹配原理
camera2 O2 O1 camera1 1 0.8 r(n１,n2) P′C2(x y) 0.6 PC2(x y) 0.4 Lconstr 0.2 0 3 2 1 2 3 0 1 0 -1 -1 PC1(x y) -2 -2 n１ -3 -3 n2 plane1 plane2
本文采用的摄像机模型是经典的针孔摄像机模型， 这种模 型结构简单且准确性高 。图 2 中的点 P 为实物模型上的一点， YW ， Z W ） 。 O1 和 O2 是摄像机 在世界坐标系中的坐标为（ X W ， camera1 和 camera2 的 光 心， plane1 和 plane2 是 camera1 和 camera2 的成 像 平 面。 经 过 摄 像 机 标 定 后 O1 、 O2 和 plane1 、 plane2 在世界坐标系中的坐标为已知 。点 P C1 为 P 在 plane1 上 设定 P C1 在 plane1 上的坐 的成像点。在一个图像匹配问题中， 标已知， 如果找到点 P 在 plane2 上的投影点， 就可以在摄像机 YW ， ZW ） ， 标定中得到的基础矩阵系统中计算出（ X W ， 即得到了 一个三维点的数据。 摄像机在对实物进行成像时， 丢失了一个维度的空间信 息， 如图 2 所示。当在 plane1 上确定 P C1 后， 只能确定点 P 在直 线 P C1 O1 上， 图中的 P' 就是 P 的一个可能位置。 P' C2 是 P' 在 plane2 上的成像点。从图 2 中可以看出， P C2 和 P' C2 两个点都在 O2 、 P C1 三点确定的平面与 plane2 的交线上， 由 O1 、 事实上当 P C1 确定后， P C2 所有的可能位置都在这条交线上 。这种空间几 何关系， 就称为对极几何关系， 对摄像机进行标定的过程就是 在 plane2 上 建立对极几何关系的过程 。对极几何关系建立后， 寻找 P C2 的过程就从平面范围内的二维搜索， 变成了线段上的 一维搜索。
P(Ｘw,Ｙw,Zw)
P′(Ｘw,Ｙw,Zw)
图2
摄像机标定后的 对极几何约束
图 3 二维互相位 相关函数示意图
下面在互相位相关函数中引入对极几何约束， 过程如下： a） 建立层级匹配窗口。 建立层级匹配窗口的目的是当参 能够在 POC 函数上得到 考点和待匹配点之间的位差较大时， 使得位差判断可以进行下去 。 具体方法是在图像 峰值模型， （ 包括参考图像和待配准图像） 上， 以参考点为中心， 建立一个 然后按照式（ 6 ） 和 长宽 2 倍于拟定匹配窗口宽度的初始窗口， （ 7 ） 分别在参考图像和待匹配图像中计算层级窗口 。
角上不同的两张图片中选取对应实物上同一点的点对， 然后通 过基础矩阵计算出实物上点的三维坐标， 进而得到数字点云模 型。本文中算法针对的待匹配图像为从不同角度（ 相差很小） 对同一实物拍摄的两张 BMP 真彩图像（ 如图 1 所示， 图中的两 幅图片为了便于区别， 角度差选取比实际应用中要大一些） ，
Abstract： To the question that classic phaseonly correlatoin algorithm is not appropriate in the field of high resolution dense this paper introduced a new dense matching algorithm． Based on dense matching matching because of amount of calculation， strategy and relying on the phaseonly correlation fuction under epipolar geometry constraint， it transformed two dimension fuction fitting into one dimension fuction fitting and greatly shortened the running time of the algorithm with same matching accuracy to classic phaseonly correlation algorithm． Experiments show that the algorithm achieves higher accuracy and spends less so the algorithm has very high practicability． time to matching algorithm with a similar matching strategy based on gray， Key words： threedimension surface reconstruction； epipolar geometry constraint； points matching； phaseonly correlation fuction； fuction fitting
题， 提出了一种新型的相位相关稠密匹配算法。在稠密匹配 策略 基 础上将 对 极几何约束引入 相 位 相 关 函 数， 实 现二维函数拟合到一维函数拟合的转变， 达到了在保持匹配精度的同时大幅缩短算法运行时间 的 目 的。 实 验 表 明， 本算法在匹配精度和算法运行时间上都优于采用相似匹配策略的基于灰度的匹配算法， 具有很强的实用性。 关键词： 三维曲面重建; 对极几何约束; 点对匹配; 相位相关函数; 函数拟合 中图分类号： TP391 文献标志码： A 文章编号： 1001-3695 ( 2014 ) 02-0615-04 3695． 2014． 02． 072 doi： 10． 3969 / j． issn． 1001-
r （ n1 ， n2 ） sin｛ π（ n1 + δ1 ） ｝ sin｛ π（ n2 + δ2 ） ｝ τ N1 N2 π π sin｛ （ n + δ1 ） ｝ sin｛ （ n + δ2 ） ｝ N1 1 N2 2 （ 5）
n2 ） 和 g （ n1 ， n2 ） 的 亚 像 素 其中： τ≤1 ， δ1 和 δ2 是 图 像 f （ n 1 ， 偏移。
［5 ～ 9 ］
须对从不同视点方向获取的两幅（ 或两幅以上） 图像进行关联 对应， 进而找到某些实物模型点所对应的投影点， 这一过程就 叫做图像匹配。概括地说图像匹配的任务就是在两幅或多幅 图像中寻找实物模型上某一物理点投影到不同图像平面上的 像素点之间的对应关系（ 视差信息） 。由于图像匹配结果的精 度是决定三维重构效果的关键因素， 所以图像匹配技术一直是 计算机视觉和逆向工程领域的研究热点 。 近二十年来国内外 学者对不同环境下的图像匹配算法进行了大量研究 。 例 如 Beardsley 算法［1］ 中以图像角点作为特征点， 运用相关性进行 然 后 将 匹 配 的 结 果 用 奇 异 值 分 解 求 取 基 础 矩 阵。 匹配， Pritchett等人［2］ 提出了用单应矩阵（ homography） 取代传统的灰 度相似性和极线约束作为匹配的准则算法 。 Lhuillier 等人
［3 ］
（ phaseonly correlation algorithm ） 的基础上， 结合 Lhuil-
lier等人［3］ 提出的稠密匹配策略， 提出了一种对极几何约束下 的相位相关函数， 在保持了匹配精度的同时， 极大地缩短了算 法运行的时间。
1
摄像机模型和对极几何约束
计算机视觉中图像匹配的目的是在拍摄时间上或空间视
第 31 卷第 2 期 2014 年 2 月
计 算 机 应 用 研 究 Application Ｒesearch of Computers
Vol． 31 No． 2 Feb． 2014
对极约束下的相位相关图像匹配算法
许
摘
1 1 2 斌 ，李忠科 ，孙玉春
*
( 1． 第二炮兵工程大学 理学院 计算机室，西安 710025 ; 2． 北京大学 口腔医学院，北京 100081 ) 要： 针对经典相位相关匹配算法( POC algorithm) 因 计算 量 过 大 不适合 应用在 高 分 辨率稠密匹配场合 的 问
基金项目： 国家科技支撑计划资助项目( 2009BAI81B00 )
作者简介： 许斌( 1979-) ， 男， 博士研究生， 主要研究方向为三维图形数据处理( xubinliuxia@ sina． com ) ; 李 忠 科( 1956-) ， 男， 教授， 博导， 主要研 究方向为精密仪器设计、 光学测量; 孙玉春( 1967-) ， 男， 教授， 博士， 主要研究方向为逆向工程、 口腔修复体数字化加工．
I l （ n1 ， n2 ） = J l （ n1 ， n2 ） =
1 1 1 2 n2 + i2 ） ∑ ∑ I （ 2 n1 + i1 ， 4 i1 = 0 i2 = 0 l － 1 1 1 1 2 n2 + i2 ） ∑ ∑ J （ 2 n1 + i1 ， 4 i1 = 0 i2 = 0 l － 1 l