直线立体匹配中遮挡问题的解

直线立体匹配中遮挡问题的解王继阳①，文贡坚①，李德仁②（①国防科技大学 电子科学与工程学院，长沙 410073；②武汉大学 测绘遥感信息工程国家重点实验室，武汉 430079）【摘 要】遮挡会引起不同视角图像中特征间“一配多”和“多配多”的复杂对应关系，是特征立体匹配面临的主要难题之一。

本文提出一个遮挡存在条件下直线特征间对应关系的求解模型，在此基础上实现了一种能够完整建立各种对应关系的直线立体匹配算法。

【关键词】直线立体匹配；复杂对应性；遮挡；直线特征编组【中图分类号】 TP391 【文献标识码】A 【文章编号】1009-2307（2011）03- -Solution of occlusion in stereo line matchingAbstract: Occlusion is one of the difficulties involved in stereo matching, which can result in various com pl ex cor r espondences such as “one-to-m any”and “m any-to-m any” ones among the features extracted from different images. The paper proposed a mathematic model for establishing the correspondences between line features from different images under occlusion, based on which an algorithm for stereo line matching was put forward.Key words: stereo line matching; complex correspondence; occlusion; line feature groupingWANG Ji-yang①, WEN Gong-jian①, LI De-ren②(①National University of Defense Technology, Changsha 410073, China; ②Wuhan University, LIESMRS, Wuhan 430079, China)1 引言遮挡作为立体观测中的一种常见现象，会造成不同视角图像中同名直线特征间的属性差异或同名直线特征在一个或多个视角图像中不可见，成为直线立体匹配无法回避的难题之一。

已有匹配方法对遮挡问题的处理包括：一是采用一种左-右匹配验证的方法[1,2]，认为只有从左视角到右视角的匹配结果与从右视角到左视角的匹配结果相一致才是可靠的；二是将遮挡与提取过程不理想造成的直线特征非完整性等同起来，在描述直线特征不确定性的统一框架下进行求解[3,4]。

这些处理方法存在两个问题：首先，遮挡与直线提取过程性质不同，针对提取过程不确定性问题的求解并不能准确和完整解决遮挡问题；其次，已有方法通常以直线特征间的一一对应关系作为约束，得到的匹配结果只能是“一配一”的关系，忽略了遮挡问题造成的直线特征间“一配多”甚至“多配多”等复杂对应关系，得到的匹配结果是不完整的。

本文针对遮挡存在条件下直线立体匹配问题展开研究，提出一种新的直线立体匹配方法，以建立完整、可靠的直线间对应关系为目标，区别对待遮挡问题和直线提取过程中的不确定性问题，从三维空间出发，引入新的直线特征编组概念，建立遮挡存在情况下投影直线间对应关系的求解模型，通过近似直线提取过程中的不确定性，求解直线特征间“一配一”、“一配多”及“多配多”等对应关系。

为方便，空间直线简称空间直线，左（右）图像中投影直线和提取直线分别称为左（右）投影直线和左（右）直线。

2 遮挡存在情况下投影直线间对应关系由于遮挡形式的不同，可能造成一条空间直线在图像中的投影断裂，或者两条或多条非共线空间直线在某一视角图像中的投影发生共线连接而另一视角图像中的投影直线非共线（本文称这样的两条或多条空间直线为联合空间直线结构）。

此时，左、右投影直线之间对应关系不再只是简单的“一配一”，而是会出现“一配多”甚至“多配多”的关系。

2.1 投影直线间对应性问题的可解空间本文并不期望完全解决遮挡造成的不完整问题，而是在重建结果的完整性和可靠性之间进行折中。

根据不同的投影情况，对空间直线各部分的可重建性进行如下界定：①确定可重建部分，对应的左右投影直线部分都存在；②推断可重建部分，对应的左右投影直线不同时存在，但它与所属空间直线的一个确定可重建部分相连，根据同名像点位于同名核线上的约束以及直线的可延长特点，该部分空间直线在另一幅图像中缺失的投影可以被推断出来；③不可重建部分，左右投影直线均不存在，或者仅有一条投影直线DOI：CNKI:11-4415/P.20101130.1621.032 网络出版时间：2010-11-30 16:21网络出版地址：/kcms/detail/11.4415.p.20101130.1621.032.html存在，但它不是推断可重建的。

2.2 直线特征编组的定义要想正确地建立所有投影直线间的完整对应关系，只有将由一组对应关系关联的所有投影直线作为一个整体来考虑。

然而，遮挡也可能使同一条空间直线或同一个联合空间直线结构的投影直线间的关联关系被割裂。

接下来，定义可分割性的概念，从投影直线间的可关联性来区分不同的空间直线或联合空间直线结构。

定义1：可分割性。

对于一条空间直线或一个联合空间直线结构，如果存在一种方式将它分割成两个不同的部分，它们各自在至少一个视角中的投影直线是完整或部分可见的，并且这种分割不会破坏它作为一个整体时得到的所有投影直线，则它是可分割的，否则是不可分割的。

定义2：直线特征编组（LFG）。

由不可分割的一条空间直线或一个联合空间直线结构的确定可重建部分和推断可重建部分的所有左右投影直线组成的非空投影直线集，其中的空间直线或联合空间直线结构可以是实际存在的完整结构，或以是在保证所有投影直线完整的前提下对可分割的空间直线或联合空间直线结构进行分割得到的子结构。

基于左、右投影直线集1P 和2P ，根据左、右投影直线之间的对应关系，生成一个12N N ×大小的对应关系矩阵，记为{}ij m ，如果11il P ∈与22j l P ∈相对应，则1ij m =，否则0ij m =；根据同一图像中投影直线间的相容关系，生成两个相容关系矩阵，分别为11N N ×大小的{}L ip C 和22N N ×大小的{}R jq C ，如果11i l P ∈与11p l P ∈相容，则1L L ip pi C C ==，否则0L L ip pi C C ==，如果22j l P ∈与22q l P ∈相容，则1R R jq qj C C =，否则0R R jq qj C C ==。

根据定义2，容易证明下面的定理。

定理1：如果投影直线集{}221121,1,2,,;1,2,,ji b a g l l i n P P j n ===⊂833是一个LFG，那么，它一定满足如下条件：1）对应性。

∀1i a l g ∈，∃2rb l g ∈，s.t.1i r a b m =；∀2j bl g ∈，∃1t a l g ∈，s.t. 1t j a b m =。

2）相容性。

∀11,p i aa l l g ∈，一定有1i p L a a C =；∀22,j q b b l l g ∈，一定有1j qR b b C=。

3）完整性。

∀11u l P ∈，如果∃2rb l g ∈，s.t. ,1r u b m =，一定有1u l g ∈；∀22v l P ∈，如果∃1t a l g ∈，s.t. ,1t a v m =，一定有2vl g ∈。

对于任意一个非空投影直线集，如果它满足完整性条件，则称它是完整的，否则是不完整的。

4）连贯性。

∀12,g ΨΨ⊂，1Ψ≠∅，2Ψ≠∅，s.t.12g ΨΨ=8且12ΨΨ=∅1，那么1Ψ和2Ψ一定都是不完整的。

定理1表明对应性、相容性、连贯性和完整性是投影直线集成为LFG 的必要条件，进一步证明，它们也是投影直线集成为LFG 的充分条件。

LFG 内投影直线间对应关系是确定的，提取到所有LFG 就可以完整建立所有投影直线间对应关系，直线匹配问题可转化为LFG 提取问题。

2.3投影直线匹配问题的数学模型如果1ij m =，则用1i l 和2j l 生成一个匹配对ij M 。

对于任意匹配对ij M 和pq M ，如果1Lip C =并且1R jq C =，则称它们是相容的，否则是不相容的；如果i p =或者j q =，则称它们是直接可组合的。

依据直接可组合关系对所有匹配对进行连接，之间存在通路的任意两个匹配对如果不是直接可组合的，则称它们是间接可组合的。

由1P 和2P 定义一个无向图，记为(),G V E =，每个节点对应于一个投影直线匹配对，如果任意两个匹配对相容且直接或间接可组合，则连接它们在G 中对应的节点，图G 被称为投影直线匹配关系图。

根据定义，显然可以得到下面的结论。

定理2：投影直线匹配关系图(),G V E =的每个极大团（Maximal Clique）对应的投影直线集是一个LFG。

极大团表示该图的节点数最多的完全子图。

根据建立的数学模型和定理1的结论，对于12P P 8的任意子集，如果它是一个LFG，则它一定生成G 的一个极大团。

结合定理2的结论，一个LFG 等价于图G 中的一个极大团，提取LFG 的问题转化为由图G 中提取所有的极大团。

根据定理1中的完整性和定理2，可直接得出结论：任意两个LFG 不包含相同投影直线。

3 直线立体匹配问题的解直线立体匹配的实质是为左右图像提取出的直线建立对应关系。

实际上，真正具有对应关系的是左右投影直线，而不是左右直线，这是由于提取过程中的不确定性造成提取直线与投影直线并不一致。

已经建立了求解投影直线间对应关系的数学模型，接下来将利用提取直线近似投影直线，建立提取直线匹配关系图，生成所有LFG 假设，并设计优化算法从中选择最可靠的作为直线立体匹配问题的解。

进行直线提取，分别得到左右直线集{}1111,2,,iS s i N ′==3和{}2221,2,,j S s j N ′==3。

3.1建立直线匹配关系图利用1S 和2S 建立提取直线匹配关系图，记为(),G V E ′′′=。

1）节点V ′的建立图G ′的节点是一个左右直线匹配对假设，节点的属性是这两条直线的对应性测度。