基于相关系数法分区影像匹配的研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2012 年 12 月 第6 期
城市勘测 Urban Geotechnical Investigation ＆ Surveying
文章编号： 1672 － 8262( 2012) 06 － 61 － 03
中图分类号： P231． 1
Dec． 2012 No． 6
文献标识码： B
基于相关系数法分区影像匹配的研究
（ 1） 算法的结果与相关系数的阈值选择有关［5］， 右像亮度较大，地物起伏不明显区域内像素的相关系 数的值整体偏低。而阈值越高，则所得同名点越少，正 确率也越高。但若降低阈值，则只在局部范围内同名 点的数量有增加，难以做到整幅影像均匀分布；
（ 2） 由于左右影像存在一定的几何畸变和辐射畸 变，对应特征点也存在一定的灰度误差，而本算法采用 一维搜索，甚至可能同名特征点并没有落在搜索区中；
（ 3） 突起的树木及遮挡等都会影响影像匹配。一 个好的特征点如果没有匹配点，可能提示被遮挡或存 在断裂，或是附近有突出物干扰［6］。
（ 4） 目标区和搜索区的大小对结果有一定影响。
5 分区影像匹配策略
相关系数法影像匹配一般采用整体匹配的方式， 由于匹配的精度与影像纹理有关，纹理越丰富则匹配 精度越高，笔者认为采用分区影像匹配可大大改善灰 度匹配结果。以本数据为例，在两幅影像特征都明显， 纹理信息丰富且灰度及反差相差不大的区域 （ 如房 角） 设定较高的阈值，在亮度、反差及纹理相差较大的 区域（ 如左上角山坡） 设定较低的阈值，在纹理信息都 不丰富的区域可以考虑不提取同名点； 在相对变形大 的区域定义较大的搜索窗口，在相对变形小的区域定 义较小的搜索窗口。区域由目视判别之后进行人工划 分，也可由算子提取边缘进行影像分割。这样，由于是 基于特征点的相关系数法，既考虑了灰度特征也考虑 了几何特征，可以使整个影像范围内同名点分布均匀 且控制精度不受太大影响。
* 收稿日期： 2012—05—09 作者简介： 周惠慧（ 1991—） ，女，大学本科学生，专业： 遥感信息工程学院摄影测量与遥感方向。
62
但数量还是较多，如图 1 所示。
城市勘测
2012 年 12 月
若目标区小，搜索区大，会出现很大的粗差。为了获得 较高的精度，应选择小的目标区与搜索区［7］。
i
+
r，j +
c
)
2
பைடு நூலகம்
当选取窗口的相关系数最大且大于设定的阈值， 则搜索区窗口的中心像素为求得的同名点。对于一维 相关，r≡0。
相关系数是灰度线性变换的不变量，因此，采用相 关系数法可以克服影像线性畸变的影响。
3 算法的设计与实现
在核线影像上，只需进行一维搜索。只需在目标 点所在核线的同名核线上逐像素计算。但是，若目标 区太长，灰度信号的重心与几何重心并不重合，且影像 存在几何变形，就会产生相关误差。因此一维相关目 标区的选取实际上与二维相同，一般情况下，搜索区为
－
1 m·n
(
mn
∑∑g
i = 1j = 1
i，j )
(
mn
∑∑g'
i = 1j = 1
i
+
r，j +
c
)
槡[ ] [ ] m n i∑= 1j∑= 1g2i，j
－
1 m·n
(
mn
∑∑g
i = 1j = 1
i，j )
2
mn
i∑= 1j∑= 1g'2i + r，j + c
－
1 m·n
(
mn
∑∑g'
i = 1j = 1
g'i + r，j + c
－ 珔g'r，c ）
2
式中：
珔 g'c，r
=
1 m·n
mn
∑∑g'
i = 1j = 1
i
+
r，j +
c
；
珔 g =
1 m·n
mn
i∑= 1j∑= 1gi，j
考虑到计算量，相关系数的实用公式为：
ρ（ c，r） =
mn
∑∑（
i = 1j = 1
gi，j ·g' i + r，j + c ）
的改进［J］． 应用光学，2007． 28( 5) ［5］ 吉大纯，李学军，侯金宝． 影像匹配中的若干基本问题研
究［J］． 计算机技术与发展，2010，20( 5) ． ［6］ 江万寿，郑顺义，张祖勋等． 航空影像特征匹配研究［J］．
武汉大学学报·信息科学版，2003，28( 5) ． ［7］ 张祖勋． 数字相关及其精度评定［J］． 测绘学报，1984，
参考文献 ［1］ 张剑清，潘励，王树根． 摄影测量学［M］． 武汉: 武汉大学
出版社，2009． ［2］ 耿则勋，张保明，范大昭． 数字摄影测量学［M］． 北京: 测
绘出版社，2010． ［3］ 寇蓉． 相关系数与最小二乘影像匹配算法的研究［J］．
内蒙古科技与经济，2010，17． ［4］ 刘莹，曹剑中，许朝晖等． 基于灰度相关的图像匹配算法
（ 5） 特征点分布较密集的区域，一些同名点受到 相关系数更大的同名点的抑制，没有被提取出来。
图 1 不同灰度影像 Moravec 算子特征提取结果
再采用相关系数法对左右影像进行灰度匹配，如 图 2 所示。
图 2 相关系数法影像匹配同名点分布对比图
从图 1 的左右像片来看，左片的反差较大，纹理信 息更为丰富，右片的特征点应包含在左片的特征点之 内，理论上来说，采用相关系数影像匹配提取的同名点 数量与分布应该与右片的特征点基本一致。图 2 中左 片为图 1 中的右片，作为参照影像，右片为采用相关系 数法对图 1 中左右影像进行灰度匹配提取的同名点影 像。由图 2 可以看出，右像中大量特征点没有满足与 参照影像对应同名点相匹配的要求，最终满足要求成 为匹配点的点比参照影像本来的特征点数量要少得 多。比如，参照影像中房屋集中区域提取出了比较多 的特征点，但右像中得到的匹配点却很少，道路沿线及 山坡纹理信息丰富的一些特征明显的地区也没有满足 要求的点。经分析有如下原因：
周惠慧*
（ 武汉大学遥感信息工程学院，湖北 武汉 430079） 摘 要： 基于相关系数的灰度匹配是以相关系数作为相似性测度的灰度匹配。相关系数匹配是众多匹配方法中最简 单，速度最快也是最成熟的方法。本文介绍了相关系数影像匹配方法的原理、算法的设计与实现，利用核线影像对作 为数据源，进行了影像匹配试验，提出了简单易行的分区匹配方法，并进行了比较分析，得出了有益的结论。 关键词： 影像匹配; 相关系数法; 同名点; 同名核线; 分区匹配
13( 1) ．
Research for Partition Image Matching Based on Correlation Coefficient
Zhou Huihui （ School of Remote Sensing and Information Engineering of Wuhan University，Wuhan 430079，China） Abstract： Image － matching based on correlation coefficient is a way of gray leveled correlation which uses correlation coefficient as the similarity measure． Not only this method is the simplest，fastest，the most mature． This article uses a couple of epipolar as origin data，matches the image pair by the way of correlation coefficient，and think about its principle，the design and realization of the method，the analysis of the result and how it can be improved． Through the experiment of image － matching mentioned above，simple method of block image － matching is brought in，which provides beneficial conclusions． Key words： Image matching； Correlation coefficient； Homologous points； Corresponding epipolar line； Block image － matching
1前言
影像匹配实质上是在两幅或多幅影像上识别同名 点的过程，同名点的确定是以匹配测度为基础的。目 前，影像匹配的算法主要分为基于灰度的匹配和基于 特征的匹配。相关系数法是一种基于灰度的匹配［1］， 它还可 作 为 其 他 匹 配 如 最 小 二 乘 法 等 算 法 的 初 匹 配［2］。这种方法基于统计理论，对像点进行灰度检测， 并利用一定的算法进行相似性度量，即计算相关系数。 当相关系数最大时，就认为是同名像点。采用核线影 像作为数据源时，这种方法计算量更小，简单易行，且 其匹配精度可达到一个像素。但是，相关系数法影像 匹配常采用整体影像匹配方式，匹配精度容易受到两 幅（ 或多幅） 影像灰度及纹理不一致的影响，笔者在试 验的基础上，采用分区影像匹配的方式，提高了相关系 数法影像匹配的精度。
将影像划分为如图 3 所示的四大区域。以右上区域 为原默认设置，搜索窗口大小为 5 × 5，相关系数的阈值为 0. 5； 右下区域搜索窗口大小变为 7 × 7，阈值变为 0. 8； 左 下区域搜索窗口大小变为 5 × 5，阈值变为 0. 65； 左上区域 搜索窗口大小变为 3 × 3，阈值变为 0. 3。若有左右影像同 名地物被划分在不同区域，则为默认设置，由于这样的区 域较少，因此对整体匹配的影响忽略不计。分区影像匹 配的结果如图 4。图中右片的同名点数量远远多于图 2 中右片的同名点数量，同名点分布也更均匀。
图 3 影像分区
图 4 分区影像匹配的同名点提取结果
第6 期
周惠慧 . 基于相关系数法分区影像匹配的研究
63
6结论
影像匹配是计算机视觉及数字摄影测量的核心问 题。相关系数法作为一种基础算法，得到了广泛的应 用。但由于影像和算法本身的原因，使其实用性受到 一定制约。本文就其原理、算法本身、结果等进行了分 析，提出了一种改进的方法———分区域设定阈值与搜 索窗口大小。由图 4 我们看出，改进后的结果将比原 结果信息更加丰富，分布更加均匀，同时准确性不会受 到很大的影响，可以为影像匹配的最小二乘法提供更 加理想的初始值。
右影像灰度函数为 g'（ x，y） ，搜索窗口中心像素为（ i +
r，j + c） ，则两窗口间相关系数的值为：
mn
ρ（ c，r） =
∑∑（
i = 1j = 1
gi，j
－ 珔g） （
g'i + r，j + c
－ 珔g'）
mn
mn
槡∑∑（ i = 1j = 1
gi，j
－ 珔g） 2·∑∑（ i = 1j = 1
2 相关系数法的原理
相关系数是标准化的协方差函数，协方差函数除
以两信号的方差即得相关系数。相关系数法就是以相
关系数为匹配测度，判断左右影像中一定大小窗口中
像素的相似性，若相关系数符合一定的判断条件，则窗 口内的中心像素被提取为一对同名点［3］。若左影像的
灰度函数为 g（ x，y） ，目标窗口中心像素坐标为（ i，j） ，
右像核线及其上下一到两行像素的灰度阵列。 本试验先在像对中分别利用 Moravec 算子提取一
定数量特征点，然后逐对计算位于同名核线上特征点 的相关系数。具体实现时，目标区和搜索区的每个窗 口平均灰度只需计算一次［4］。这两项措施可以减少计 算量，提高运行速度。
4 结果分析
为了说明问题，对左右影像的灰度和纹理差进行 了调整，使右片的灰度质量和纹理清晰度明显低于左 片，利用 Moravec 算子提取出左右影像的特征点（ 红色 为特征点，以下同） ，可见右片的特征点明显少于左片，
城市勘测 Urban Geotechnical Investigation ＆ Surveying
文章编号： 1672 － 8262( 2012) 06 － 61 － 03
中图分类号： P231． 1
Dec． 2012 No． 6
文献标识码： B
基于相关系数法分区影像匹配的研究
（ 1） 算法的结果与相关系数的阈值选择有关［5］， 右像亮度较大，地物起伏不明显区域内像素的相关系 数的值整体偏低。而阈值越高，则所得同名点越少，正 确率也越高。但若降低阈值，则只在局部范围内同名 点的数量有增加，难以做到整幅影像均匀分布；
（ 2） 由于左右影像存在一定的几何畸变和辐射畸 变，对应特征点也存在一定的灰度误差，而本算法采用 一维搜索，甚至可能同名特征点并没有落在搜索区中；
（ 3） 突起的树木及遮挡等都会影响影像匹配。一 个好的特征点如果没有匹配点，可能提示被遮挡或存 在断裂，或是附近有突出物干扰［6］。
（ 4） 目标区和搜索区的大小对结果有一定影响。
5 分区影像匹配策略
相关系数法影像匹配一般采用整体匹配的方式， 由于匹配的精度与影像纹理有关，纹理越丰富则匹配 精度越高，笔者认为采用分区影像匹配可大大改善灰 度匹配结果。以本数据为例，在两幅影像特征都明显， 纹理信息丰富且灰度及反差相差不大的区域 （ 如房 角） 设定较高的阈值，在亮度、反差及纹理相差较大的 区域（ 如左上角山坡） 设定较低的阈值，在纹理信息都 不丰富的区域可以考虑不提取同名点； 在相对变形大 的区域定义较大的搜索窗口，在相对变形小的区域定 义较小的搜索窗口。区域由目视判别之后进行人工划 分，也可由算子提取边缘进行影像分割。这样，由于是 基于特征点的相关系数法，既考虑了灰度特征也考虑 了几何特征，可以使整个影像范围内同名点分布均匀 且控制精度不受太大影响。
* 收稿日期： 2012—05—09 作者简介： 周惠慧（ 1991—） ，女，大学本科学生，专业： 遥感信息工程学院摄影测量与遥感方向。
62
但数量还是较多，如图 1 所示。
城市勘测
2012 年 12 月
若目标区小，搜索区大，会出现很大的粗差。为了获得 较高的精度，应选择小的目标区与搜索区［7］。
i
+
r，j +
c
)
2
பைடு நூலகம்
当选取窗口的相关系数最大且大于设定的阈值， 则搜索区窗口的中心像素为求得的同名点。对于一维 相关，r≡0。
相关系数是灰度线性变换的不变量，因此，采用相 关系数法可以克服影像线性畸变的影响。
3 算法的设计与实现
在核线影像上，只需进行一维搜索。只需在目标 点所在核线的同名核线上逐像素计算。但是，若目标 区太长，灰度信号的重心与几何重心并不重合，且影像 存在几何变形，就会产生相关误差。因此一维相关目 标区的选取实际上与二维相同，一般情况下，搜索区为
－
1 m·n
(
mn
∑∑g
i = 1j = 1
i，j )
(
mn
∑∑g'
i = 1j = 1
i
+
r，j +
c
)
槡[ ] [ ] m n i∑= 1j∑= 1g2i，j
－
1 m·n
(
mn
∑∑g
i = 1j = 1
i，j )
2
mn
i∑= 1j∑= 1g'2i + r，j + c
－
1 m·n
(
mn
∑∑g'
i = 1j = 1
g'i + r，j + c
－ 珔g'r，c ）
2
式中：
珔 g'c，r
=
1 m·n
mn
∑∑g'
i = 1j = 1
i
+
r，j +
c
；
珔 g =
1 m·n
mn
i∑= 1j∑= 1gi，j
考虑到计算量，相关系数的实用公式为：
ρ（ c，r） =
mn
∑∑（
i = 1j = 1
gi，j ·g' i + r，j + c ）
的改进［J］． 应用光学，2007． 28( 5) ［5］ 吉大纯，李学军，侯金宝． 影像匹配中的若干基本问题研
究［J］． 计算机技术与发展，2010，20( 5) ． ［6］ 江万寿，郑顺义，张祖勋等． 航空影像特征匹配研究［J］．
武汉大学学报·信息科学版，2003，28( 5) ． ［7］ 张祖勋． 数字相关及其精度评定［J］． 测绘学报，1984，
参考文献 ［1］ 张剑清，潘励，王树根． 摄影测量学［M］． 武汉: 武汉大学
出版社，2009． ［2］ 耿则勋，张保明，范大昭． 数字摄影测量学［M］． 北京: 测
绘出版社，2010． ［3］ 寇蓉． 相关系数与最小二乘影像匹配算法的研究［J］．
内蒙古科技与经济，2010，17． ［4］ 刘莹，曹剑中，许朝晖等． 基于灰度相关的图像匹配算法
（ 5） 特征点分布较密集的区域，一些同名点受到 相关系数更大的同名点的抑制，没有被提取出来。
图 1 不同灰度影像 Moravec 算子特征提取结果
再采用相关系数法对左右影像进行灰度匹配，如 图 2 所示。
图 2 相关系数法影像匹配同名点分布对比图
从图 1 的左右像片来看，左片的反差较大，纹理信 息更为丰富，右片的特征点应包含在左片的特征点之 内，理论上来说，采用相关系数影像匹配提取的同名点 数量与分布应该与右片的特征点基本一致。图 2 中左 片为图 1 中的右片，作为参照影像，右片为采用相关系 数法对图 1 中左右影像进行灰度匹配提取的同名点影 像。由图 2 可以看出，右像中大量特征点没有满足与 参照影像对应同名点相匹配的要求，最终满足要求成 为匹配点的点比参照影像本来的特征点数量要少得 多。比如，参照影像中房屋集中区域提取出了比较多 的特征点，但右像中得到的匹配点却很少，道路沿线及 山坡纹理信息丰富的一些特征明显的地区也没有满足 要求的点。经分析有如下原因：
周惠慧*
（ 武汉大学遥感信息工程学院，湖北 武汉 430079） 摘 要： 基于相关系数的灰度匹配是以相关系数作为相似性测度的灰度匹配。相关系数匹配是众多匹配方法中最简 单，速度最快也是最成熟的方法。本文介绍了相关系数影像匹配方法的原理、算法的设计与实现，利用核线影像对作 为数据源，进行了影像匹配试验，提出了简单易行的分区匹配方法，并进行了比较分析，得出了有益的结论。 关键词： 影像匹配; 相关系数法; 同名点; 同名核线; 分区匹配
13( 1) ．
Research for Partition Image Matching Based on Correlation Coefficient
Zhou Huihui （ School of Remote Sensing and Information Engineering of Wuhan University，Wuhan 430079，China） Abstract： Image － matching based on correlation coefficient is a way of gray leveled correlation which uses correlation coefficient as the similarity measure． Not only this method is the simplest，fastest，the most mature． This article uses a couple of epipolar as origin data，matches the image pair by the way of correlation coefficient，and think about its principle，the design and realization of the method，the analysis of the result and how it can be improved． Through the experiment of image － matching mentioned above，simple method of block image － matching is brought in，which provides beneficial conclusions． Key words： Image matching； Correlation coefficient； Homologous points； Corresponding epipolar line； Block image － matching
1前言
影像匹配实质上是在两幅或多幅影像上识别同名 点的过程，同名点的确定是以匹配测度为基础的。目 前，影像匹配的算法主要分为基于灰度的匹配和基于 特征的匹配。相关系数法是一种基于灰度的匹配［1］， 它还可 作 为 其 他 匹 配 如 最 小 二 乘 法 等 算 法 的 初 匹 配［2］。这种方法基于统计理论，对像点进行灰度检测， 并利用一定的算法进行相似性度量，即计算相关系数。 当相关系数最大时，就认为是同名像点。采用核线影 像作为数据源时，这种方法计算量更小，简单易行，且 其匹配精度可达到一个像素。但是，相关系数法影像 匹配常采用整体影像匹配方式，匹配精度容易受到两 幅（ 或多幅） 影像灰度及纹理不一致的影响，笔者在试 验的基础上，采用分区影像匹配的方式，提高了相关系 数法影像匹配的精度。
将影像划分为如图 3 所示的四大区域。以右上区域 为原默认设置，搜索窗口大小为 5 × 5，相关系数的阈值为 0. 5； 右下区域搜索窗口大小变为 7 × 7，阈值变为 0. 8； 左 下区域搜索窗口大小变为 5 × 5，阈值变为 0. 65； 左上区域 搜索窗口大小变为 3 × 3，阈值变为 0. 3。若有左右影像同 名地物被划分在不同区域，则为默认设置，由于这样的区 域较少，因此对整体匹配的影响忽略不计。分区影像匹 配的结果如图 4。图中右片的同名点数量远远多于图 2 中右片的同名点数量，同名点分布也更均匀。
图 3 影像分区
图 4 分区影像匹配的同名点提取结果
第6 期
周惠慧 . 基于相关系数法分区影像匹配的研究
63
6结论
影像匹配是计算机视觉及数字摄影测量的核心问 题。相关系数法作为一种基础算法，得到了广泛的应 用。但由于影像和算法本身的原因，使其实用性受到 一定制约。本文就其原理、算法本身、结果等进行了分 析，提出了一种改进的方法———分区域设定阈值与搜 索窗口大小。由图 4 我们看出，改进后的结果将比原 结果信息更加丰富，分布更加均匀，同时准确性不会受 到很大的影响，可以为影像匹配的最小二乘法提供更 加理想的初始值。
右影像灰度函数为 g'（ x，y） ，搜索窗口中心像素为（ i +
r，j + c） ，则两窗口间相关系数的值为：
mn
ρ（ c，r） =
∑∑（
i = 1j = 1
gi，j
－ 珔g） （
g'i + r，j + c
－ 珔g'）
mn
mn
槡∑∑（ i = 1j = 1
gi，j
－ 珔g） 2·∑∑（ i = 1j = 1
2 相关系数法的原理
相关系数是标准化的协方差函数，协方差函数除
以两信号的方差即得相关系数。相关系数法就是以相
关系数为匹配测度，判断左右影像中一定大小窗口中
像素的相似性，若相关系数符合一定的判断条件，则窗 口内的中心像素被提取为一对同名点［3］。若左影像的
灰度函数为 g（ x，y） ，目标窗口中心像素坐标为（ i，j） ，
右像核线及其上下一到两行像素的灰度阵列。 本试验先在像对中分别利用 Moravec 算子提取一
定数量特征点，然后逐对计算位于同名核线上特征点 的相关系数。具体实现时，目标区和搜索区的每个窗 口平均灰度只需计算一次［4］。这两项措施可以减少计 算量，提高运行速度。
4 结果分析
为了说明问题，对左右影像的灰度和纹理差进行 了调整，使右片的灰度质量和纹理清晰度明显低于左 片，利用 Moravec 算子提取出左右影像的特征点（ 红色 为特征点，以下同） ，可见右片的特征点明显少于左片，