双目立体视觉区域局部匹配算法的改进及其实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据匹配基元的不同，现有的立体匹配方法可大致 分为三类：基于特征的匹配‘４矗］，基于区域的匹配‘６３和 基于相位的匹配【７］。
本文重点研究双目视觉立体匹配中基于区域的局 部匹配算法，对基于ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ） 的区域匹配算法通过模板滑动进行了改进。经分析和 多次实验结果表明，该改进算法具有有效性和快速性。
ＨＥ Ｒｅｎｊｉｅ
（Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ ｓｃｈｏｏＩ．Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ，７１０１２９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｍａｔｃｈ ａｌｇｏｒｉｔｈｍ ｉｓ ｏｎｅ ｏｆ ｋｅｙ ｔｅｃｈｎｉｑｕｅｓ ｉｎ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ．Ｔｈｅ ｓｉｍｉｌａｒｉｔｙ ｆｕｎｃｔｉｏｎｓ，ｔｈｅ ｒｅ— ｇｉｏｎａｌ ｒｅｌａｔｅｄ ｍａｔｃｈ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ａｒｅ ｄｉｓｃｕｓｓｅｄ ａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍｉｃ ｃｏｍｐｌｅｘｉｔｙ ｉｓ ａｎａｌｙｚｅｄ．Ｍｏｒｅｏｖｅｒ， ａ ｎｅｗ ｉｍｐｒｏｖｅｄ ｒｅｇｉｏｎａｌ ｒｅｌａｔｅｄ ｍａｔｃｈ ａｌｇｏｒｉｔｈｍ ｂｙ ｓｌｉｄｉｎｇ ｐａｔｔｅｒｎ ｐｌａｔｅ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｄｅｃｒｅａｓｅ ｔｈｅ ｍａｔｃｈｉｎｇ ｔｉｍｅ ａｎｄ ａ ｔｅｓｔ ｓｏｆｔｗａｒｅ ｉｓ ｄｅｓｉｇｎｅｄ ｂｙ ｕｓｉｎｇ ＶＣ＋＋ａｎｄ ＯＰＥＮ—ＣＶ．Ａ ｎｕｍｂｅｒ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ａｒｅ ｃａｒｒｉｅｄ Ｏｕｔ ｔｈｒｏｕｇｈ ｔｈｅ ｔｗｏ—ｃａｍｅｒａ ｓｙｓ— ｔｅｍ ａｎｄ ｔｈｅ ｓｔａｎｄａｒｄ ｔｅｓｔ ｉｍａｇｅｓ ａｓ ｗｅｌｌ ａｓ ｐｒａｃｔｉｃａｌ ｓｅｎｓｅ ｉｍａｇｅｓ．Ｔｈｅ ａｎａｌｙｔｉｃａｌ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｉｍ— ｐｒｏｖｅｄ ｍｅｔｈｏｄ ｉｓ ｅｆｆｅｃｔｉｖｅ ａｎｄ ｉｔｓ ｍａｔｃｈｉｎｇ ｔｉｍｅ ｉｓ ｄｅｃｒｅａｓｅｄ ｇｒｅａｔｌｙ．
卉，＼
ｒ耥ｉ
图３ 系统算法流程图 ２．３ 实验结果
部分实验结果如图４所示。
图４ 实验结果
由图４可知ｎ０］，实验得到的图片较好地完成了对 现实场景中的匹配，可以较直接地从所得视差图中获得 物体的深度信息。
同时，图像边缘处的匹配精度受到图像边界的影
。螺葺较奎，真实罂图片中噪声较大，导致误匹配较
多。如何减少误差，提高精度是现在和今后重点考虑的 问题之一。
图１局部相关算法原理示意图
１．３局部相关匹配算法的时间复杂度
在图１（ａ）中坐标为（ｚ，ｙ）的像素点，算法要计算
图１（ｂ）中所有相关像素的相似性。根据极线约束以及
视差约束，在图１（ｂ）中只需计算同一极线上，视差范围
内的像素相似性即可，需要的计算量为：
Ｔ（。．ｖ）＝ｄ。，行２
（１）
式中：ｒｌ为正方形窗口边长；ｄ。，为最大视差。设Ｗ为图
万方数据
图２试验系统
表２相机标定参数表｛以像素为单位）
参数指标
左相机
右相机
焦距
６９９．８５
６９６．１５
相机中心
［３９２．３４ ２８３．９４］
［３８９．２６ ３０８．１８］
畸变
［一ｏ．２７０ ２０ ０．４５４ ４８３［一ｏ．２３９ ７５ ０．２５６ ２２］
旋转角／ｒａｄ
口＝０．０１３ ７７，口一０．００１ ０７，ｙ一０．０００ ３８
ｔｉｐｌｅ Ｃａｍｅｒａｓ ｗｉｔｈ Ｄｉｓｊｏｉｎｔ Ｖｉｅｗｓ［Ａ］．Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａ— ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ［Ｃ］．２００３（２）：
表１列出了目前几种主要的相似性测度函数［６］。 其中，Ｊ。（ｚ，ｙ），ＪＲ（ｚ，ｙ）分别代表左右图像中像素坐 标（ｚ，ｙ）处的灰度值；ＪＬ（ｚ，３，），Ｊ。（ｚ，ｙ）分别表示左右 困中以坐标（ｚ，ｙ）为中心，在窗ｉ＝ｌ范围Ｕ内像素灰度的 平均值。由于ＳＡＤ相似性测度函数在时间以及匹配质 量方面较其他测度函数更具有优势，且实现较简单邛］。 这里研究选择ＳＡＤ作为局部相关匹配算法的相似性测 度函数。 １．２局部相关匹配算法原理
由之前的计算结果得到，有迭代公式：
Ｐ（ｘ＋１，Ｙ，ｄ）一Ｐ（ｘ，Ｙ，ｄ）＋［Ｉ ｆＬ（ｚ＋竹＋１，ｙ）一
ＪＲ（ｚ＋打＋１＋ｄ，ｙ）Ｉ—Ｉ ＪＬ（ｚ一以，ｙ）一
ＪＲ（ｚ一，ｌ＋ｄ，ｙ）Ｉ］
（３）
即在模板滑动时，不需要重新计算整个窗口的
ＳＡＤ，而只需计算薪的一列ＳＡＤ。分析可知，改进后算
法的时间复杂度由Ｏ（ＷＨｄ。。ｎ２）降为Ｏ（ＷＨｄ。。咒），
双目立体视觉区域局部匹配算法的改进及其实现
何人杰
（西北工业大学电子信息学院陕西西安７１０１２９）
摘要：匹配算法是双目立体视觉中关键技术之一。这里讨论双目立体视觉区域局部匹配的相似性测度函数、局部相
关匹配算法，并分析其复杂度，进而提出模板滑动的匹配算法。在ＶＣ＋＋平台上，通过双相机实验系统的标准测试图及实际
［６］Ｋｕｋ Ｊｉｎ Ｙｏｏｎ，Ｉｎ Ｓｏ Ｋｗｅｏｎ．Ａｄａｐｔｉｖｅ Ｓｕｐｐｏｒｔ—Ｗｅｉｇｈｔ Ａｐｐｒｏａｃｈ ｆｏｒ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ Ｓｅａｒｃｈ［Ａ］．ＡＰＲＩＬ［Ｃ］．
２００６，பைடு நூலகம்８（４）：６５０—６５５．
Ｌ７Ｊ徐奕，周军，周源华．立体视觉匹配技术ＬＪＪ．计算机工程与
应用，２００３，３９（１５）：３８８—３９２．
名称
公式
ＳＡＤ
∑
Ｊ１．（ｚ＋ｉ，ｙ＋』）一ＩＲ（ｘ＋ｄｚ＋ｆ，ｙ＋』）
‘Ｉ·ｊ）∈Ｕ
∑Ｉ［ＪｌＪ（ｚ＋ｆ，ｙ＋Ｊ）一五ｉｊ石－］一
ＺＳＡＤ
‘‘·ｊ）∈Ｕ
［ＩＲ（ｘ＋以＋ｆ，Ｙ＋Ｊ）一五ｉｉ干刁万］
ＳＳＤ
∑［ＪＩＪ（ｚ＋ｉ，ｙ＋Ｊ）一ＩＲ（ｚ＋ｄ，＋ｆ，ｙ＋Ｊ）］２
∑［１１，（ｚ＋ｉ，，＋Ｊ）一ｉ了而］一
像的宽度；Ｈ为图像的高度，对于整幅图片，全部相似
性的计算量为：
Ｔ一
∑ 丁“Ｄ—ＷＨｄ。。，ｚ２
（２）
０≤ｉ＜Ｗ．０≤ｊ＜Ｈ
易知，局部相关匹配算法的时间复杂度为
Ｏ（ＷＨｄ。，恕２）。
１．４局部相关匹配算法的改进
若假设匹配窗口的边长为２，ｚ＋１，对于每行像素，
Ｈ
其相似性测度函数为Ｐ（ｘ，Ｙ，ｄ）一∑Ｉ ＩＬ（工＋ｉ，ｙ）一
场景图对所提方法进行验证。分析和实验结果都表明了该改进算法的有效性和快速性。
关键词：双目立体视觉；区域相关，立体匹配；标准测试图
中图分类号：ＴＰ３９１
文献标识码：Ａ
文章编号：１００４—３７３Ｘ（２００９）１２—０６８—０３
Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ Ｒｅｇｉｏｎａｌ Ｒｅｌａｔｅｄ Ｍａｔｃｈ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｂｉｎｏｃｕｌａｒ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ ａｎｄ Ｉｔｓ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ
局部相关匹配算法是以基准图像中待匹配点为中 心像素来创建一个大小为”×Ｉｔ／的矩形窗，由该窗口内
的像素灰度分布来表征该像素。在第二幅图像中，沿极
线在视差范围内取出与基准点邻域同样大小为挖×力的
像素邻域，依次与匹配点的窗口进行比较，最大相似性
对应的点就是最佳匹配。整个匹配过程如图１所示。
襄１几种相似性测度函数
ＺＳＳＤ ‘ｆ·ｊ）∈Ｕ ［ＩＲ（ｘ＋以＋ｉ，Ｙ＋，）－－—ＩＲ（Ｘ＋—ｄ．，ｙ）］２
∑［ＪＩ．（ｚ＋ｉ，，＋Ｊ）一ＪＲ（ｚ＋ｄ，＋ｉ，ｙ＋，）］２
＾／∑ＩＬ（ｚ＋ｉ，ｙ＋，）２∑ＩＲ（ｘ＋ｄ，＋ｆ．ｙ＋Ｊ）２
Ｖ（ｉ·Ｊ，ＥＵ
ｔｉ，Ｊ）∈Ｕ
ＳＣＰ
∑Ｉｉ，（ｚ＋ｉ，ｙ＋ｊ）ＩＲ（Ｘ＋以＋ｉ，ｙ＋Ｊ）
ＪＲ（ｚ＋ｉ＋ｄ，３，）Ｉ；在模板向右滑动时，Ｐ（ｘ＋１，Ｙ，ｄ）可
算法实时性有了较大提升。
２双目立体视觉区域局部匹配算法的实现
２．１ 实验环境 该研究的实验主要是通过计算机编程实现区域局
部匹配算法，并在双相机系统上利用标准和实际场景图 像进行验证性实验的。以ＶＣ＋＋６．０及ｏＰＥＮＣＶ为编 程环境，完成验证软件设计。
该研究的验证实验使用了西安交通大学系统工程 所的实验设备（如图２所示）。丽只摄像机平行放置，其 位置姿态参数已由标定结果给出，如表２所示。
［８］Ｃｙｇａｎｅｋ Ｂ，Ｂｏｒｇｏｓｚ Ｊ．Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｐｅｒｆｏｒｍａｎｃｅ
ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ＳｏｍｅＡｒｅａ—ｂａｓｅｄ ＳｔｅｒｅｏＡｌｇｏｒｉｔｈｍｓ ［Ａ］·ＣＡＩＰ［Ｃ］·２００１，２１（２４）：７０９—７１６·
［９］夏永泉·计算机视觉中双目匹配相关技术的研究［Ｄ］·南京：
相对位移／ｍｍ
ｔｌ一８７．９２１，ｔ２—１．２０５，ｔ３—４．９８０
摄像机与处理计算机之间通过双１３９４总线连接， 计算机中配备２块６４位ＰＣＩ一１３９４卡，以适应摄像机 高速图像流的要求。摄像机的主要参数如表３所示。
衰３摄像机参数
摄像机特性 ＣＣＤ传感器 ＣＣＤ最大像素
参数 Ｓｏｎｙ Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ ＣＣＤｓ
［１０］南三三茹箍ｅｓｔ眦渊。‰Ｒ雠眦ｈ［ＥＢ伽
。
。
。。ｈｔｔｐ：／／。ａ：ｍｉ“ｌ三ｕｒｙ．。ｄｕ，２００８．
作者简介 何人杰 男．１９８６年出生．硕士研究生．研究方向为计算机视就与图像处理．
（上接第６３页） ［７３陈伟宏．基于多摄像头的目标跟踪算法研究［Ｄ］．长沙：湖南
大学，２００５． Ｅ８］Ｊａｖｅｄ Ｏ，Ｒａｓｈｅｅｄ ｚ，Ｓｈａｆｉｑｕｅ Ｋ，ｅｔ ａ１．Ｔｒａｃｋｉｎｇ Ａｃｒｏｓｓ Ｍｍ一
Ｂａｓｅｄ Ｄｅｎｓｅ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ ｕｓｉｎｇ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ ａｎｄ Ｃｏｌｏｒ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅ·
ｌｌｉｇｅｎｃｅ，２００４，４（３）：１７９—１８６．
［５］高峰，文贡坚，吕金建．一种准自动高精度图像配准算法 口］．现代电子技术，２００７，３０（６）：５６—５９．
收稿日期：２００８—０９—１１ ６８
万方数据
１双目立体视觉区域局部匹配的理论基础
１．１相似性测度函数 匹配算法的实质就是估计待匹配点和候选匹配点
之间的相似性程度，评价这种相似性程度度量方法有多 种。由于单个像素点所包含的信息太少，因而只依据单 个像素点是的信息建立度量方法可靠性较差。为了提 高相似性度量方法的可靠性，一般需要在匹配点上的一 个小邻域内的像素点集合中进行。
参考文献
Ｉ－１］章毓晋．图像工程（下册）图像理解ｉ－Ｍ］．２版．北京：清华大 学出版社，２００７．
［２］何明一，卫保国．数字图像处理［Ｍ］．北京：科学出版
社，２００８．
［３］游素亚．立体视觉研究的现状与进展［Ｊ］．中国图像图形学
报，１９９７，２（１）：１—２．
［４］Ｈａｊａｒ Ｓａｄｅｇｈｉ，Ｐａｙｍａｎ Ｍｏａｌｌｅｍ。Ｍｏｎａｄｊｅｍｉ Ｓ Ａ．Ｆｅａｔｕｒｅ
通过ＳＡＤ约束计算能匿最小匹配点
通过畦艇＾计霄街纠的税差． 获铂整幅ｌ冬Ｉ的税置图
３结语
这里对双目立体视觉中的区域局部匹配算法进行 讨论，对现有ＳＡＤ算法进行了改进，较显著地提高了匹 配速度。在实验平台上较好地完成了对标准图像及现 实场景图像的视差图获取，验证了算法的有效性和快 速性。
对卉右图像进行采样 创建模板，ｘ．Ｎｉ蹦进行搜索
Ｋｅｙｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ；ｒｅｇｉｏｎａｌ ｒｅｌａｔｅｄ；ｓｔｅｒｅｏ ｍａｔｃｈ ｌ ｓｔａｎｄａｒｄ ｔｅｓｔ ｉｍａｇｅ
０引 言
立体视觉是计算机视觉的一个重要分支，主要研究 如何借助成像技术从图像中获取场景中物体的三维信 息［１。３］。立体视觉的基本方法是从两个或者多个视点 去观察同一场景。获得在不同视角下的一组图像；然后 通过三角测量原理获得不同图像中对应像素间的视差， 并从中获得深度信息，进而与平面信息整合形成立体图 像。立体匹配是立体视觉算法中最重要也是最困难的 部分。
１ ６２４×１ ２２４
像素大小 支持图像大小
４．４ ｐｍ×４．４川ｎ
３２０×２４０（３０）．６４０×４８０ｆ３０）． ８００×６００（３０），１ ６００×１ ２００（１５）
快门 图像输出方式
０．０１～６６．６３ ｍｓ · 双１３９４总线输出
６９
２．２软件设计流程图 系统算法流程图如图３所示。
开始
从摄像机获铷片右图像 对左也图像校正
本文重点研究双目视觉立体匹配中基于区域的局 部匹配算法，对基于ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ） 的区域匹配算法通过模板滑动进行了改进。经分析和 多次实验结果表明，该改进算法具有有效性和快速性。
ＨＥ Ｒｅｎｊｉｅ
（Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ ｓｃｈｏｏＩ．Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ，７１０１２９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｍａｔｃｈ ａｌｇｏｒｉｔｈｍ ｉｓ ｏｎｅ ｏｆ ｋｅｙ ｔｅｃｈｎｉｑｕｅｓ ｉｎ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ．Ｔｈｅ ｓｉｍｉｌａｒｉｔｙ ｆｕｎｃｔｉｏｎｓ，ｔｈｅ ｒｅ— ｇｉｏｎａｌ ｒｅｌａｔｅｄ ｍａｔｃｈ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ａｒｅ ｄｉｓｃｕｓｓｅｄ ａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍｉｃ ｃｏｍｐｌｅｘｉｔｙ ｉｓ ａｎａｌｙｚｅｄ．Ｍｏｒｅｏｖｅｒ， ａ ｎｅｗ ｉｍｐｒｏｖｅｄ ｒｅｇｉｏｎａｌ ｒｅｌａｔｅｄ ｍａｔｃｈ ａｌｇｏｒｉｔｈｍ ｂｙ ｓｌｉｄｉｎｇ ｐａｔｔｅｒｎ ｐｌａｔｅ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｄｅｃｒｅａｓｅ ｔｈｅ ｍａｔｃｈｉｎｇ ｔｉｍｅ ａｎｄ ａ ｔｅｓｔ ｓｏｆｔｗａｒｅ ｉｓ ｄｅｓｉｇｎｅｄ ｂｙ ｕｓｉｎｇ ＶＣ＋＋ａｎｄ ＯＰＥＮ—ＣＶ．Ａ ｎｕｍｂｅｒ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ａｒｅ ｃａｒｒｉｅｄ Ｏｕｔ ｔｈｒｏｕｇｈ ｔｈｅ ｔｗｏ—ｃａｍｅｒａ ｓｙｓ— ｔｅｍ ａｎｄ ｔｈｅ ｓｔａｎｄａｒｄ ｔｅｓｔ ｉｍａｇｅｓ ａｓ ｗｅｌｌ ａｓ ｐｒａｃｔｉｃａｌ ｓｅｎｓｅ ｉｍａｇｅｓ．Ｔｈｅ ａｎａｌｙｔｉｃａｌ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｉｍ— ｐｒｏｖｅｄ ｍｅｔｈｏｄ ｉｓ ｅｆｆｅｃｔｉｖｅ ａｎｄ ｉｔｓ ｍａｔｃｈｉｎｇ ｔｉｍｅ ｉｓ ｄｅｃｒｅａｓｅｄ ｇｒｅａｔｌｙ．
卉，＼
ｒ耥ｉ
图３ 系统算法流程图 ２．３ 实验结果
部分实验结果如图４所示。
图４ 实验结果
由图４可知ｎ０］，实验得到的图片较好地完成了对 现实场景中的匹配，可以较直接地从所得视差图中获得 物体的深度信息。
同时，图像边缘处的匹配精度受到图像边界的影
。螺葺较奎，真实罂图片中噪声较大，导致误匹配较
多。如何减少误差，提高精度是现在和今后重点考虑的 问题之一。
图１局部相关算法原理示意图
１．３局部相关匹配算法的时间复杂度
在图１（ａ）中坐标为（ｚ，ｙ）的像素点，算法要计算
图１（ｂ）中所有相关像素的相似性。根据极线约束以及
视差约束，在图１（ｂ）中只需计算同一极线上，视差范围
内的像素相似性即可，需要的计算量为：
Ｔ（。．ｖ）＝ｄ。，行２
（１）
式中：ｒｌ为正方形窗口边长；ｄ。，为最大视差。设Ｗ为图
万方数据
图２试验系统
表２相机标定参数表｛以像素为单位）
参数指标
左相机
右相机
焦距
６９９．８５
６９６．１５
相机中心
［３９２．３４ ２８３．９４］
［３８９．２６ ３０８．１８］
畸变
［一ｏ．２７０ ２０ ０．４５４ ４８３［一ｏ．２３９ ７５ ０．２５６ ２２］
旋转角／ｒａｄ
口＝０．０１３ ７７，口一０．００１ ０７，ｙ一０．０００ ３８
ｔｉｐｌｅ Ｃａｍｅｒａｓ ｗｉｔｈ Ｄｉｓｊｏｉｎｔ Ｖｉｅｗｓ［Ａ］．Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａ— ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ［Ｃ］．２００３（２）：
表１列出了目前几种主要的相似性测度函数［６］。 其中，Ｊ。（ｚ，ｙ），ＪＲ（ｚ，ｙ）分别代表左右图像中像素坐 标（ｚ，ｙ）处的灰度值；ＪＬ（ｚ，３，），Ｊ。（ｚ，ｙ）分别表示左右 困中以坐标（ｚ，ｙ）为中心，在窗ｉ＝ｌ范围Ｕ内像素灰度的 平均值。由于ＳＡＤ相似性测度函数在时间以及匹配质 量方面较其他测度函数更具有优势，且实现较简单邛］。 这里研究选择ＳＡＤ作为局部相关匹配算法的相似性测 度函数。 １．２局部相关匹配算法原理
由之前的计算结果得到，有迭代公式：
Ｐ（ｘ＋１，Ｙ，ｄ）一Ｐ（ｘ，Ｙ，ｄ）＋［Ｉ ｆＬ（ｚ＋竹＋１，ｙ）一
ＪＲ（ｚ＋打＋１＋ｄ，ｙ）Ｉ—Ｉ ＪＬ（ｚ一以，ｙ）一
ＪＲ（ｚ一，ｌ＋ｄ，ｙ）Ｉ］
（３）
即在模板滑动时，不需要重新计算整个窗口的
ＳＡＤ，而只需计算薪的一列ＳＡＤ。分析可知，改进后算
法的时间复杂度由Ｏ（ＷＨｄ。。ｎ２）降为Ｏ（ＷＨｄ。。咒），
双目立体视觉区域局部匹配算法的改进及其实现
何人杰
（西北工业大学电子信息学院陕西西安７１０１２９）
摘要：匹配算法是双目立体视觉中关键技术之一。这里讨论双目立体视觉区域局部匹配的相似性测度函数、局部相
关匹配算法，并分析其复杂度，进而提出模板滑动的匹配算法。在ＶＣ＋＋平台上，通过双相机实验系统的标准测试图及实际
［６］Ｋｕｋ Ｊｉｎ Ｙｏｏｎ，Ｉｎ Ｓｏ Ｋｗｅｏｎ．Ａｄａｐｔｉｖｅ Ｓｕｐｐｏｒｔ—Ｗｅｉｇｈｔ Ａｐｐｒｏａｃｈ ｆｏｒ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ Ｓｅａｒｃｈ［Ａ］．ＡＰＲＩＬ［Ｃ］．
２００６，பைடு நூலகம்８（４）：６５０—６５５．
Ｌ７Ｊ徐奕，周军，周源华．立体视觉匹配技术ＬＪＪ．计算机工程与
应用，２００３，３９（１５）：３８８—３９２．
名称
公式
ＳＡＤ
∑
Ｊ１．（ｚ＋ｉ，ｙ＋』）一ＩＲ（ｘ＋ｄｚ＋ｆ，ｙ＋』）
‘Ｉ·ｊ）∈Ｕ
∑Ｉ［ＪｌＪ（ｚ＋ｆ，ｙ＋Ｊ）一五ｉｊ石－］一
ＺＳＡＤ
‘‘·ｊ）∈Ｕ
［ＩＲ（ｘ＋以＋ｆ，Ｙ＋Ｊ）一五ｉｉ干刁万］
ＳＳＤ
∑［ＪＩＪ（ｚ＋ｉ，ｙ＋Ｊ）一ＩＲ（ｚ＋ｄ，＋ｆ，ｙ＋Ｊ）］２
∑［１１，（ｚ＋ｉ，，＋Ｊ）一ｉ了而］一
像的宽度；Ｈ为图像的高度，对于整幅图片，全部相似
性的计算量为：
Ｔ一
∑ 丁“Ｄ—ＷＨｄ。。，ｚ２
（２）
０≤ｉ＜Ｗ．０≤ｊ＜Ｈ
易知，局部相关匹配算法的时间复杂度为
Ｏ（ＷＨｄ。，恕２）。
１．４局部相关匹配算法的改进
若假设匹配窗口的边长为２，ｚ＋１，对于每行像素，
Ｈ
其相似性测度函数为Ｐ（ｘ，Ｙ，ｄ）一∑Ｉ ＩＬ（工＋ｉ，ｙ）一
场景图对所提方法进行验证。分析和实验结果都表明了该改进算法的有效性和快速性。
关键词：双目立体视觉；区域相关，立体匹配；标准测试图
中图分类号：ＴＰ３９１
文献标识码：Ａ
文章编号：１００４—３７３Ｘ（２００９）１２—０６８—０３
Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ Ｒｅｇｉｏｎａｌ Ｒｅｌａｔｅｄ Ｍａｔｃｈ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｂｉｎｏｃｕｌａｒ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ ａｎｄ Ｉｔｓ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ
局部相关匹配算法是以基准图像中待匹配点为中 心像素来创建一个大小为”×Ｉｔ／的矩形窗，由该窗口内
的像素灰度分布来表征该像素。在第二幅图像中，沿极
线在视差范围内取出与基准点邻域同样大小为挖×力的
像素邻域，依次与匹配点的窗口进行比较，最大相似性
对应的点就是最佳匹配。整个匹配过程如图１所示。
襄１几种相似性测度函数
ＺＳＳＤ ‘ｆ·ｊ）∈Ｕ ［ＩＲ（ｘ＋以＋ｉ，Ｙ＋，）－－—ＩＲ（Ｘ＋—ｄ．，ｙ）］２
∑［ＪＩ．（ｚ＋ｉ，，＋Ｊ）一ＪＲ（ｚ＋ｄ，＋ｉ，ｙ＋，）］２
＾／∑ＩＬ（ｚ＋ｉ，ｙ＋，）２∑ＩＲ（ｘ＋ｄ，＋ｆ．ｙ＋Ｊ）２
Ｖ（ｉ·Ｊ，ＥＵ
ｔｉ，Ｊ）∈Ｕ
ＳＣＰ
∑Ｉｉ，（ｚ＋ｉ，ｙ＋ｊ）ＩＲ（Ｘ＋以＋ｉ，ｙ＋Ｊ）
ＪＲ（ｚ＋ｉ＋ｄ，３，）Ｉ；在模板向右滑动时，Ｐ（ｘ＋１，Ｙ，ｄ）可
算法实时性有了较大提升。
２双目立体视觉区域局部匹配算法的实现
２．１ 实验环境 该研究的实验主要是通过计算机编程实现区域局
部匹配算法，并在双相机系统上利用标准和实际场景图 像进行验证性实验的。以ＶＣ＋＋６．０及ｏＰＥＮＣＶ为编 程环境，完成验证软件设计。
该研究的验证实验使用了西安交通大学系统工程 所的实验设备（如图２所示）。丽只摄像机平行放置，其 位置姿态参数已由标定结果给出，如表２所示。
［８］Ｃｙｇａｎｅｋ Ｂ，Ｂｏｒｇｏｓｚ Ｊ．Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｐｅｒｆｏｒｍａｎｃｅ
ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ＳｏｍｅＡｒｅａ—ｂａｓｅｄ ＳｔｅｒｅｏＡｌｇｏｒｉｔｈｍｓ ［Ａ］·ＣＡＩＰ［Ｃ］·２００１，２１（２４）：７０９—７１６·
［９］夏永泉·计算机视觉中双目匹配相关技术的研究［Ｄ］·南京：
相对位移／ｍｍ
ｔｌ一８７．９２１，ｔ２—１．２０５，ｔ３—４．９８０
摄像机与处理计算机之间通过双１３９４总线连接， 计算机中配备２块６４位ＰＣＩ一１３９４卡，以适应摄像机 高速图像流的要求。摄像机的主要参数如表３所示。
衰３摄像机参数
摄像机特性 ＣＣＤ传感器 ＣＣＤ最大像素
参数 Ｓｏｎｙ Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ ＣＣＤｓ
［１０］南三三茹箍ｅｓｔ眦渊。‰Ｒ雠眦ｈ［ＥＢ伽
。
。
。。ｈｔｔｐ：／／。ａ：ｍｉ“ｌ三ｕｒｙ．。ｄｕ，２００８．
作者简介 何人杰 男．１９８６年出生．硕士研究生．研究方向为计算机视就与图像处理．
（上接第６３页） ［７３陈伟宏．基于多摄像头的目标跟踪算法研究［Ｄ］．长沙：湖南
大学，２００５． Ｅ８］Ｊａｖｅｄ Ｏ，Ｒａｓｈｅｅｄ ｚ，Ｓｈａｆｉｑｕｅ Ｋ，ｅｔ ａ１．Ｔｒａｃｋｉｎｇ Ａｃｒｏｓｓ Ｍｍ一
Ｂａｓｅｄ Ｄｅｎｓｅ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ ｕｓｉｎｇ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ ａｎｄ Ｃｏｌｏｒ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅ·
ｌｌｉｇｅｎｃｅ，２００４，４（３）：１７９—１８６．
［５］高峰，文贡坚，吕金建．一种准自动高精度图像配准算法 口］．现代电子技术，２００７，３０（６）：５６—５９．
收稿日期：２００８—０９—１１ ６８
万方数据
１双目立体视觉区域局部匹配的理论基础
１．１相似性测度函数 匹配算法的实质就是估计待匹配点和候选匹配点
之间的相似性程度，评价这种相似性程度度量方法有多 种。由于单个像素点所包含的信息太少，因而只依据单 个像素点是的信息建立度量方法可靠性较差。为了提 高相似性度量方法的可靠性，一般需要在匹配点上的一 个小邻域内的像素点集合中进行。
参考文献
Ｉ－１］章毓晋．图像工程（下册）图像理解ｉ－Ｍ］．２版．北京：清华大 学出版社，２００７．
［２］何明一，卫保国．数字图像处理［Ｍ］．北京：科学出版
社，２００８．
［３］游素亚．立体视觉研究的现状与进展［Ｊ］．中国图像图形学
报，１９９７，２（１）：１—２．
［４］Ｈａｊａｒ Ｓａｄｅｇｈｉ，Ｐａｙｍａｎ Ｍｏａｌｌｅｍ。Ｍｏｎａｄｊｅｍｉ Ｓ Ａ．Ｆｅａｔｕｒｅ
通过ＳＡＤ约束计算能匿最小匹配点
通过畦艇＾计霄街纠的税差． 获铂整幅ｌ冬Ｉ的税置图
３结语
这里对双目立体视觉中的区域局部匹配算法进行 讨论，对现有ＳＡＤ算法进行了改进，较显著地提高了匹 配速度。在实验平台上较好地完成了对标准图像及现 实场景图像的视差图获取，验证了算法的有效性和快 速性。
对卉右图像进行采样 创建模板，ｘ．Ｎｉ蹦进行搜索
Ｋｅｙｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ；ｒｅｇｉｏｎａｌ ｒｅｌａｔｅｄ；ｓｔｅｒｅｏ ｍａｔｃｈ ｌ ｓｔａｎｄａｒｄ ｔｅｓｔ ｉｍａｇｅ
０引 言
立体视觉是计算机视觉的一个重要分支，主要研究 如何借助成像技术从图像中获取场景中物体的三维信 息［１。３］。立体视觉的基本方法是从两个或者多个视点 去观察同一场景。获得在不同视角下的一组图像；然后 通过三角测量原理获得不同图像中对应像素间的视差， 并从中获得深度信息，进而与平面信息整合形成立体图 像。立体匹配是立体视觉算法中最重要也是最困难的 部分。
１ ６２４×１ ２２４
像素大小 支持图像大小
４．４ ｐｍ×４．４川ｎ
３２０×２４０（３０）．６４０×４８０ｆ３０）． ８００×６００（３０），１ ６００×１ ２００（１５）
快门 图像输出方式
０．０１～６６．６３ ｍｓ · 双１３９４总线输出
６９
２．２软件设计流程图 系统算法流程图如图３所示。
开始
从摄像机获铷片右图像 对左也图像校正