第5章 基于两幅图像的仿射重构与欧氏重构

第五章基于两幅图像的仿射重构与欧氏重构上一章我们利用多视图（至少需要三幅图像），求解摄像机内参数，从而由射影重构直接实现欧氏重构。

但在某些场合我们仅有两幅图像，能否由射影重构来实现欧氏重构？换句话说，我们能否从两幅图像来求解摄像机的内参数？如果没有摄像机的运动或场景的结构信息，基本矩阵是两幅图像间的唯一约束，它只能构成摄像机内参数的两个独立约束，而摄像机一般有5个内参数，因此从二幅图像我们不可能确定摄像机的内参数。

所以，仅有两幅图像，而没有摄像机的运动或场景的结构信息可利用时，我们不可能从射影重构来实现欧氏重构。

因为在实际应用中，控制摄像机作纯平移、纯旋转等运动是比较困难的，尤其是在手持拍摄的情况下更是如此，所以本章将主要讨论当场景的结构具有什么样的信息时，我们可能通过两幅图像由射影重构来实现欧氏重构。

本章内容：（1）讨论在不求解摄像机内参数的情况下，如何从射影重构（这里主要指求解两幅图像间的基本矩阵）实现仿射重构。

（2）证明了可逆矩阵为无穷远平面单应矩阵的充分条件，以及从基本矩阵不能唯一确定无穷远平面单应矩阵。

（3）系统地分析了如何利用场景中的结构信息，来唯一地确定无穷远平面的单应矩阵，以及如何通过绝对二次曲线的像求解将仿射重构变换为欧氏重构的单应矩阵。

（4）总结了三种关于绝对二次曲线的像的约束，并利用这些约束求解绝对二次曲线的像，进而实现从仿射重构恢复欧氏重构。

在本章中，我们仍假定摄像机在运动（运动参数未知）过程中其内参数是保持不变的。

5.1从射影重构到仿射重构5.1.1仿射重构的本质仿射重构的数学定义如下：x 假设摄像机从2个视点对P个三维空间物体点拍摄2幅图像，其中j （j=1,2,…,P）为第j个三维空间物体点，它在第i（i=1,2）幅图像上的像点为)(im，j如果两个摄像机的投影矩阵为：][)()()(111a A P =][)()()(222a A P =使得对于两幅图像上的对应点)2()1(j j m m ↔，由方程)()()()(A j 11j 1j s x P m = )()()()(A j 22j 2j s x P m =所确定的空间点}{)(A j x （指反投影）与实际空间点}{j x 之间相差一个仿射变换，则称两个摄像机投影矩阵][)()()(111a A P =、][)()()(222a A P =为仿射重构的。

仿射重构的本质是确定无穷远平面的单应矩阵。

已知两个摄像机投影矩阵][)()()(111a A P =、][)()()(222a A P =是仿射重构的，则无穷远平面的单应矩阵为：112-∞=)()()(A A H (5.1)这是因为无穷远平面π∞上的空间点的齐次坐标为T T jj 0)(~x x =，在两幅图像中的像点分别为j )1()1(j x A m =、j 2)2(j x A m )(=，因此，对π∞上的空间点j x 有)()()()()(1j 1122j m A A m -= (5.2)进一步可以验证式(5.2)在摄像机的3D 仿射变换下是不变的。

所以，无穷远平面的单应矩阵可以由仿射重构计算出来，并且反过来也成立。

不失一般性，在本章中我们将第一个摄像机的坐标系作为世界坐标系。

这样，根据上述讨论，我们有：][)(01I P =][)(e A P '=2 (5.3)是仿射重构的，其中e '是第二幅图像上的极点。

则无穷远平面的单应矩阵是A H =∞ (5.4)反过来，如果得到无穷远平面的单应矩阵H ∞，则仿射重构的摄像机投影矩阵可以取为][)(01I P =][)(e H P '=∞2 (5.5)从几何上也能说明仿射重构的本质是确定无穷远平面的单应矩阵。

一个变换为仿射变换的充要条件是保持无穷远平面不变，即保持无穷远平面不变是仿射变换的唯一几何特性，所以仿射重构的本质是确定无穷远平面的单应矩阵。

研究表明没有摄像机的运动信息或场景的结构信息，仅已知两幅图像间的基本矩阵，我们无法确定无穷远平面的单应矩阵。

如果摄像机仅作纯平移运动，则可以从两幅图像实现仿射重构。

理解这一事实的一个简单办法是：无穷远平面上的一个空间点j x ，在由摄像机平移运动前、后的两幅图像上的像是同一点，即无穷远平面的单应矩阵是一个单位矩阵I 。

因此，假设摄像机的运动是一个纯平移运动，则仿射重构可以选取两个摄像机投影矩阵为[]01I P =)([]e I P '=)(2 (5.6)在实际应用中，控制摄像机作纯平移等运动是比较困难的，尤其是在手持拍摄的情况下更是如此。

因此，下面我们主要讨论场景具有什么样的结构信息时，我们可以从两幅图像进行仿射重构。

5.1.2可逆矩阵为无穷远平面单应矩阵的充要条件无穷远平面的单应矩阵必为可逆矩阵，因此我们在讨论一个矩阵为单应矩阵的充分必要条件时，总假定矩阵是可逆的。

由于在相差一个非零常数因子的情况下，1KRK H -∞=，所以一个矩阵H 为单应矩阵的充要条件是H 与旋转矩阵相似。

本节我们主要给出便于应用的充要条件。

为此，我们先给出引理1：设H 为可逆矩阵，则（1）若H 有复特征值，则H 为无穷远平面单应矩阵的充要条件是H 所有特征值的模均相等；（2）若H 无复特征值，则H 为无穷远平面单应矩阵的充要条件为H 所有特征值的模均相等且可对角化。

注1：引理1中的情形（1）是最常见的情况。

情形（2）是极不常见的，因情形（2）等价于摄像机的旋转运动的旋转角是π,θ0=。

因此，在本章中我们仅讨论情形（1），即假定H 是具有复特征值的可逆矩阵。

证明：在证明中，我们不妨假定det(H )=1，否则用3)det(H H代替H 即可。

（1）的证明：必要性显然成立，下面证明充分性。

因det(H )=1且所有特征值的模均相等，所以不妨令H 的特征值为1、θi e 、θi e -（πθ,0≠），相应的特征向量分别为1t 、32i t t f +=、32i t t f -=*。

由⎩⎨⎧==f Hf t Ht θi e 11 可知⎪⎩⎪⎨⎧⋅+⋅=⋅-⋅==32332211tt Ht t t Ht t Ht θθθθcos sin sin cos 因此)(],,[],,[321321θx R t t t t t t H =其中⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-=θθθθθcos sin 0sin cos 0001)(x R 是旋转矩阵。

对],,[321t t t 作RQ 分解 KQ t t t =],,[321其中K 为上三角矩阵，Q 为正交矩阵。

于是我们有1)(-=K Q θKQR H T x其中T Q QR x )(θ是旋转矩阵，故H 是无穷远平面的单应矩阵。

（2）的证明：必要性：H 为无穷远平面的单应矩阵，则H 与旋转矩阵相似，所以H 与旋转矩阵有相同的特征值。

由于H 的特征值是实数，所以H 的特征值只能是1±，故所有特征值的模均相等且与矩阵E ＝)1,1,1(diag 或E ＝)1,1,1(--diag 相似，因此H 可对角化。

充分性：由于1)det(=H 且所有特征值的模均相等，因此H 的特征值只能是1±。

又H 可对角化，所以存在可逆矩阵T 使得1-=TET H对T 作RQ 分解T ＝KQ其中K 为上三角矩阵，Q 为正交矩阵。

于是我们有1-=K KQEQ H T其中T QEQ 是旋转矩阵，故H 是无穷远平面的单应矩阵。

注1：引理1中的情形（1）是最常见的情况。

情形（2）是极不常见的，因情形（2）等价于摄像机的旋转运动的旋转角是π,θ0=。

因此，在本章中我们仅讨论情形（1），即假定H 是具有复特征值的可逆矩阵。

定理1：设H 是具有复特征值的可逆矩阵，令c b a p 23+++=-=λλλλλ)det()(H I则H 为无穷远平面单应矩阵的充要条件为033=-ca b （5.7）证明：定理的必要性证明由[2][3]所给出，下面证明充分性。

令321,,λλλ是0)(=λp 的三个根，则必有⎪⎩⎪⎨⎧-=++=++-=321323121321)(λλλλλλλλλλλλc b a 将上式代入（5.7）式，我们得到0))()((213222312321=---λλλλλλλλλ 这样必有0,0,0213222312321=-=-=-λλλλλλλλλ 于是213222312321||||||,||||||,||||||λλλλλλλλλ=== （5.8）由于有复根，因此有一对共轭复根。

由于共轭复根的模必相等，于是从（5.8）中任何一式均可导致三个根的模值相等，由引理1的情形（1），H 必为无穷远平面的单应矩阵。

5.1.3从基本矩阵不能唯一确定无穷远平面单应矩阵考虑下述关于矩阵X 的方程：X e F ⨯'=][ （5.9）引理2（1）矩阵方程（5.9）的所有解为：T x e H X '-=3T 321R x x x ∈=∀),,(x （5.10）（2）对于空间任一平面π的单应矩阵πH ，均存在3R ∈πx 使得Tππx e H H '-= （5.11） 其中H 是一个秩3的矩阵，它是方程（5.9）的一个特解。

证明： （1）的证明：方程（5.9）是一个线性方程，H 是它的一个特解。

我们只须证明对应的齐次方程0h ='⨯X e ][的通解为T h x e X '= )),,((3T 321R x x x ∈=∀x 即可。

令⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=321654987h x x x x x x x x x X 直接从方程⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡'-''-'-0e e e 01e 1012120321654987=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡x x x x x x x x x可解得：319218117x e x x e x x e x '='='=,, 326225124x e x x e x x e x '='='=,, (5.12) 所以有T 321322212312111h x x x x e x e x e x e x e x e x e X '=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡''''''= 3T 321R x x x ∈=∀),,(x (5.13) （2）的证明：因为对任一平面π的单应矩阵πH ，πH e ⨯'][为基本矩阵。

由于同一对视点下的基本矩阵在相差一个非零常数因子的情况下是唯一的，所在存在非零常数πs 使得F H e ='⨯ππ][s于是ππH s 是方程（5.9）的一个解。

这样由引理2中的结论（1）可知，存在3R x ∈π使得Ts πππx e H H '-= 引理2中的结论（2）说明了同一对视点下所有平面单应矩阵之间的关系。