一种新的基于主动视觉系统的摄像机自标定方法_雷成

第23卷　第11期2000年11月计 算 机 学 报CHIN ESE PU TERSV ol.23N o.11N ov.2000一种新的基于主动视觉系统的摄像机自标定方法雷　成1)　吴福朝1),2)　胡占义1)1)(中国科学院自动化所模式识别国家重点实验室　北京100080)2)(安徽大学人工智能研究所　合肥230039)收稿日期:2000-02-23;修改稿收到日期:2000-09-20.本课题得到国家自然科学基金(69975021,69875001)、国家“八六三”高技术研究发展计划(863-512-98-20-03)和国家“九七三”计划(G1998030502-3)资助.雷　成,男,1974年生,博士研究生,研究方向为三维视觉、特征提取与遗传算法.吴福朝,男,1957年生,教授,博士生导师,主要研究方向为三维视觉、主动视觉、模式识别以及特征提取.胡占义,男,1961年生,获博士学位,研究员,博士生导师,主要研究方向为三维视觉、机器人导航、主动视觉、特征提取和模式识别等.摘　要　摄像机标定是从二维图像获取三维信息必不可少的步骤.该文提出了一种新的基于主动视觉系统的摄像机自标定方法,通过控制摄像机平台作4次平移运动(其中任意3次均不在同一平面上)即可线性地标定摄像机的内参数以及摄像机坐标系与平台坐标系之间的旋转矩阵.同时,还分别给出了利用立体视觉方法和纯极点方法唯一求解摄像机坐标系与平台坐标系之间的平移向量的充要条件.关键词　摄像机自标定,主动视觉系统,解的唯一性中图法分类号:T P 391A New Camera Self -Calibration Method Based on Active Vision SystemLEI Cheng 1)　W U Fu-Chao1),2)　HU Zhan-Yi1)1)(Nati onal Labor atory of Pattern Recogn ition ,Institute of Automati on ,Chinese A cademy of Sciences ,B eijin g 100080)2)(Institute of Artif icia l Intelligence ,Anh ui Un iversity ,Hefei 230039)Abstract　Cam era calibra tion is an indispensable step to obtain 3D informa tion from 2D images .In this paper,a new cam era ca libration m ethod based o n activ e v isio n sy stem is proposed.It is prov ed rigo rously tha t,by contro lling the cam era platfo rm to underg o 4translations o f which no any 3transla tions are co -plana r ,the cam era 's intrinsic pa ram eters and the camera 's orientation m atrix w ith respect to the pla tform can be calibra ted linea rly and simultaneously.In additio n,the platfo rm 's displacement vecto r can be determined using either stereo v isio n based method o r epipole based m ethod ,a nd the sufficient and necessary co nditio n of a unique solution fo r the above tw o methods find out respectiv ely.Keywords camera self -calibratio n ,activ e vision ,uniqueness o f so lution1　引　言摄像机标定在三维重建、运动分析以及视觉机器人导航等领域均有着十分重要的应用.因此,如何鲁棒地标定摄像机的内外参数,一直是计算机视觉领域的研究热点.传统的标定方法是通过测量一个结构已知的物体(如标定块)在图像平面中的成像来标定摄像机的.由于此类方法需要有精度很高的标定块,所以其实际应用受到了很大限制.自从1992年Ha rtley [1]和Faugeras [2]等人首次提出摄像机自标定的思想后,摄像机自标定及相关研究已成为目前计算机视觉领域的研究热点之一.近年来在国际计算机视觉会议(ICCV )、欧洲计算机视觉会议(ECCV )、计算机视觉和模式识别会议(CV PR )、国际模式识别会议(IC PR )及其相关领域的重要国际杂志上大量相关内容文章的问世充分说明了这一点[1—13].摄像机自标定技术中有一类重要的方法是基于主动视觉系统的自标定方法.所谓主动视觉系统是指,摄像机被固定在一个可以精确控制的平台上,且平台的运动参数可以从计算机中读出.在基于主动视觉系统的自标定方法中,不再需要额外的标定块,而只需控制摄像机作特殊的运动,利用在不同位置上所拍摄的多幅图像便可同时标定出摄像机的内参数和摄像机坐标系与平台坐标系之间的旋转矩阵和平移向量.目前文献中已有一些关于基于主动视觉系统的摄像机自标定方法的报道.其中具有代表性的工作是马颂德研究员[3]所提出的基于两组三正交运动的线性方法,以及在其基础上由杨长江等人[14]所提出的改进方法.W ei G Q [4]则提出了一种结合利用主动视觉和摄像机模型辨识技术来进行机器人手眼自标定的非线性方法.李华等人[15]后来对基于主动视觉系统的摄像机自标定方法作了进一步研究,提出了利用5组平面正交运动来标定摄像机所有5个摄像机内参数的线性方法.在上述这些文献中,基本上均未对解的唯一性进行讨论.鉴于此,本文工作主要有如下两个方面:(1)我们严格证明了通过摄像机平台的4次平移运动(其中任意3次均不在同一平面上)即可线性求解摄像机的内参数,以及摄像机坐标系与平台坐标系之间的旋转矩阵;(2)我们得到了利用立体视觉方法以及极点方法唯一确定摄像机坐标系与平台坐标系之间的平移向量的充要条件.据我们所知,本文工作在文献中还没有类似的报道.图1　极几何约束示意图2　极几何约束(Epipolar Geometry )与基本矩阵(Fundamental Matrix )如图1所示,摄像机在光心分别为o ,o ′处所拍摄的两幅图像的对应点之间存在唯一的几何约束——极几何约束.设e ′(e )为光心o (o ′)在像平面I ′(I )上的投影,即极点(epipo le ),像平面I (I ′)上所有通过极点e (e ′)的直线为l (l ′),即极线(epipola r line),则两幅图像上任一对对应点m ∈I ,m ′∈I ′之间均满足如下的关系:m ′∈I ′位于m 的对应极线l ′ I ′上,而m ∈I 则在m ′的对应极线l I 上.极几何约束可以用一个3阶的秩为2的矩阵——基本矩阵F 来表示,即F 满足如下关系:m ′TFm =0,　m T F T m ′=0(1)其中与m ′对应的极线为Fm ,与m 对应的极线为F Tm ′.如果假定摄像机内参数阵为K ,而两个不同视点摄像机坐标系之间的变换关系为X ′c =R X c +T ,则基本矩阵F 可以表示为F =λF K-T[t ]×RK-1(2)而两个极点则分别为e =λe KR -1T ,　e ′=λ′e KT (3)其中λF ,λe ,λ′e 分别为非零常数因子,[t ]×则表示由向量c =(t x ,t y ,t z )T 定义的反对称矩阵,即[t ]×=0-t zt y t z 0-t x -t yt x.3　通过主动视觉平台纯平移运动对内参数阵K 以及摄像机坐标系与平台坐标系之间的旋转矩阵R p 的标定3.1　主动视觉系统各坐标系之间的变换关系如图2所示,设平台坐标系为o p -x p y p z p ,摄像机坐标系为o c -x c y c z c .摄像机坐标系与平台坐标之间的关系为X c =R p X p +T p(4)其中,X c ,X p 分别表示空间同一点在摄像机坐标系与平台坐标系中的向量坐标,R p ,T p 分别为摄像机坐标系相对于平台坐标系的旋转矩阵和平移向量(以下简称为平台的姿态和位置).当平台作刚体运动(R ,T )时,平台新坐标系o np -x n p y np z np 与初始坐标系o p -x p y p z p 之间的关系为X np =RX p +T(5)而同时由于摄像机被固定在平台上,所以摄像机相对于平台仍保持原有的姿态和位置,因此X nc =R p X np +T p(6)113111期雷　成等:一种新的基于主动视觉系统的摄像机自标定方法将式(5)代入式(6),可得X nc =R p RX p +(R p T +T p )(7)即摄像机新坐标系o nc -x nc y nc z n c 与平台初始坐标系o p -x p y p z p 之间的关系.而由式(4)可以推出X p =R -1p (X c -T p ),代入式(7),得X nc =R p RR -1p X c +(R p T +(E -R p RR -1p )T p )(8)其中E 为单位矩阵.将式(6)代入式(8),则可得X c =R p R -1X np +(T p -R p R -1T )(9)即摄像机初始坐标系o c -x c y c z c 与平台新坐标系o np -x n p y np z np 之间的关系.图2　主动视觉系统坐标系变换示意图3.2　纯平移运动情况下矩阵A (=KR p )的约束方程当平台作纯平移运动时,则X np =X p +T 1,即R =E ,T =T 1,将其代入式(8),可知摄像机新坐标系与初始坐标系之间的关系为X nc =X c +R p T 1由式(3),可知 KR p T 1=λ′1e ′1(10)因此,如果已知平台的平移运动向量和极点,则可以求解矩阵KR p ,然后利用QR 矩阵分解方法便可求出摄像机的内参数矩阵K ,以及摄像机坐标系与平台坐标系之间的旋转矩阵R p .具体方法如下:记A =KR p =a 1a 2a 3a 4a 5a 6a 7a 8a 9,当摄像机平台作N 次平移运动T i (i =1,2,3,…,N ),即X n pi =X p +T i 时,由式(10)可得方程组:A T i =λ′i e ′i(11)对于其中任一次平移T i ,如果令T i =(t i 1,t i 2,t i 3)T,e ′i =(e ′i 1,e ′i 2,1)T,则由式(11)可以推出:a 1t i 1+a 2t i 2+a 3t i 3=λ′i e ′i 1a 4t i 1+a 5t i 2+a 6t i 3=λ′i e ′i 2a 7t i 1+a 8t i 2+a 9t i 3=λ′i从中消去λ′i ,同时令a =(a 1,a 2,a 3,a 4,a 5,a 6,a 7,a 8,a 9)T ,我们可以得到如下两个线性方程:(t i 1,t i 2,t i 3,0,0,0,-e ′i 1t i 1,-e ′i 1t i 2,-e ′i 1t i 3)a =0(0,0,0,t i 1,t i 2,t i 3,-e′i 2t i 1,-e ′i 2t i 2,-e ′i 2t i 3)a =0由于a 有9个未知数,因此平台至少需要作4次平移运动,才可对a 即A 进行求解.设平台作N (>=4)次平移运动,可得到由2N 个线性方程所构成的方程组:Ba =0(12)B =t 11t 12t 13000-e ′11t 11-e ′11t 12-e ′11t 13000t 11t 12t 13-e ′12t 11-e ′12t 12-e ′12t 13………………………t N 1t N 2t N 3000-e ′N 1t N 1-e ′N 1t N 2-e ′N 1t N 3000t N 1t N 2t N 3-e ′N 2t N 1-e ′N 2t N 2-e ′N 2t N 3(13)方程组(12)的解为B TB 的最小特征值所对应的特征向量,由此可以求出a ,即A .关于A (即KR p )解的唯一性问题,我们有如下命题.命题1.　若{T i |i =1,2,3,4}中的任三个向量不共面,则方程组(11)在相差一个非零因子的意义下有唯一解.证明见附录.3.3　求解内参数阵K 与姿态在求出矩阵A 即KR p 后,我们只需对A 进行QR 分解即可求出内参数矩阵K 与姿态R p .令A =[a ij ]3×1132计 算 机 学 报　2000年其中,a1,a2,a3与q1,q2,q3分别为A与R-的行向量,则k ij,q i可以由下式确定:k33=a3a T3,q3=a3 k33,k23=q3a T2,k22=(a2-k23q3)(a2-k23q3)T,q2=a2-k23q3k22,k13=q3a T1,k12=q2a T1,k11=(a1-k13q3-k21q2)(a1-k13q3-k12q2)T,q1=a1-k13q3-k21q2k11,其中,k11>0,k22>0,k33>0,q i(i=1,2,3)为两两正交的向量.另外,不难证明上述分解是唯一的.所以我们可以求得K=1k33K-,　R p=R-(14) 4　通过平台平移和旋转运动对摄像机坐标系与平台坐标系之间的平移向量T p的标定在求出姿态R p和摄像机内参数阵K后,我们可以利用以下两种方法来求解平移向量T p.4.1　立体视觉重构的方法首先,控制平台从初始位置作平移运动,利用立体视觉的方法重构空间点在摄像机坐标系下的坐标,方法如下:由于X n p=X p+T,所以R=E,T=T,将其代入式(8),则可知摄像机新坐标系o nc-x n c y nc z nc与摄像机初始坐标o c-x c y c z c之间有如下关系X nc=X c+R p T=X c+T0(15)其中T0=R p T,由于我们已经求出R p,因而通过适当选取T,可以使T0=(d,0,0)T,即摄像机沿x c轴平移d个单位.选取运动前后两幅图像上的一对匹配点:m= (m1,m2,1)T m′=(m′1,m′2,1)T,重构对应空间点M在摄像机初始坐标系中的向量坐标M c,由式(15),我们有KM c=λ(m1,m2,1)T,KM c+KT0=λ′(m′1,m′2,1)T.两式相减,可得λ′(m′1,m′2,1)T-λ(m1,m2,1)T=KT0,写成矩阵形式:Cλ′λ=KT0(16)其中,C=m′1-m1m′2-m21-1,其解为λ′*λ*=(C T C)-1C T KT0(17)则可以求得M c=λ*K-1(m1,m2,1)T(18) (为了提高重构精度,T0=(d,0,0)T中的d应尽可能地大).随后,将平台恢复到初始位置,作旋转运动R1.将R=R1,T=0代入式(8),则可知摄像机当前坐标系o nc-x nc y nc z nc与初始坐标系o c-x c y c z c之间的关系为X nc=R-1X c+(E-R-1)T p(19)其中R-1=R p R1R-1p.然后,再利用上述方法重构空间点M在当前摄像机坐标系下的向量坐标M c1,将X n c=M c1,X c=M c 代入式(19),有M c1=R-1M c+(E-R-1)T p于是可以得到关于T p的一个约束方程:(E-R-1)T p=M c1-R-1M c(20)由于对任何不等于单位矩阵的旋转矩阵R,均有rank(E-R)=2,所以方程(20)并不能唯一地确定T p.为此,需要再次将平台恢复到初始位置,继而作另一次旋转运动R2,重复前面的过程我们可得到关于T p的另一个约束方程:(E-R-2)T p=M c2-R-2M c(21)由此便可以线性地求解T p.关于T p解的唯一性问题,我们有如下命题.命题2.　若R1,R2的旋转轴不相同,则上述约束方程组关于T p有唯一解:T p=E-R-1E-R-2+M c1-R-1M cM c2-R-2M c(22)其中“A+”表示矩阵A的广义逆,证明详见附录. 4.2　极点约束的方法由上文的讨论不难看出,基于重构空间点来求解T p的方法是比较烦琐的,一个很自然的问题是,我们能不能不用重构的方法,而仅仅通过图像信息来确定T p呢?答案是肯定的.我们可以仅利用图像113311期雷　成等:一种新的基于主动视觉系统的摄像机自标定方法极点的信息来确定T p .这是因为,当平台自初始位置作刚体运动(R ,T )时,令e ′为运动后图像的极点,则由X nc =R p RR -1p X c +(R p T +(E -R p RR -1p )T p )可知,λe ′=K (R p T +(E -R p RR -1p )T p ).整理可得(E -R -)T p -λK -1e ′=-R p T .其中R -=R p RR -1p .由于K ,R p 已标定好,T 是平台运动的已知量,e ′可以从图像中求出,所以上式为关于T p 的线性约束方程.于是控制平台作多次运动(R i ,T i ),便可得关于T p 的线性约束方程组:(E -R -i )T p -λi K -1e ′i =-R p T i(23)而关于T p 解的唯一性问题,我们有如下命题.命题3.若平台所作两次运动(R 1,T 1),(R 2,T 2)满足下述条件:(1)R 1,R 2的旋转轴不相同;(2)T i 不在与R i 旋转轴正交的平面上,i =1,2.则上述方程组关于(T p ,λ1,λ2)有唯一解.证明见附录.5　自标定算法综上所述,可得如下的摄像机自标定算法(1)标定摄像机内参数矩阵K 以及平台的姿态R p ;(1.1)平台分别自初始位置作N (≥4)次已知运动参数的平移运动,建立关于矩阵A 的约束方程(式(11));(1.2)求解矩阵A (式(12)和(13));(1.3)将A 分解为上三角阵与正交矩阵的积,得到内参数阵K 与平台的姿态R p (式(14)).(2)标定位置向量T p :可利用4.1节所述的重构空间点的方法(式(22)),或4.2节所述的利用极点的方法来求解平移向量T p (式(23)).6　实　验6.1　模拟实验由于在利用上述自标定算法对摄像机进行标定时,需要计算平移运动前后各图像间的基本矩阵和极点.因此,能否准确地求解基本矩阵和极点将直接影响标定结果的好坏.而在本文所提出的标定方法中,由于摄像机随平台作纯平移运动,所以由式(2)可知纯平移运动前后两幅图像之间的基本矩阵F 为反对称阵,因此只需两个参数便可以在相差一个非零常数因子的意义下确定F .所以本文在求解基本矩阵F 和极点e (e ′)时,提出了利用两对对应点来求解基本矩阵和极点的方法(称之为2点算法),并与传统的8点算法进行了比较.通过模拟实验可以看出,利用2点算法可以显著地改善自标定结果的鲁棒性.图3和图4所示为标定过程中分别利用2点算法和8点算法的情况下,所得内参数矩阵各参数项的均值和方差与噪声之间的关系曲线.(a )内参数f u (b )内参数f v (c )内参数u(d )内参数v 0 (e )内参数s图3　内参数矩阵各参数项的均值曲线1134计 算 机 学 报　2000年(a)内参数f u (b)内参数f v (c)内参数u(d)内参数v 0 (e)内参数s图4　内参数矩阵各参数项的方差曲线其中模拟实验条件如下,图像大小:512×512;内参数真实值:f u =1000,f v =800,u 0=600,v 0=256,s =0.3;噪声为随机噪声,噪声级变化范围为0.0—3.0像素,且每种噪声级下共进行100次实验.从上面的模拟实验结果可以看出,利用本文所提出的基于主动视觉系统的摄像机自标定方法,同时在计算极点和基本矩阵时利用2点算法来进行求解,可以较为鲁棒地标定摄像机.另外,本文还验证了两种标定平移向量方法有唯一解的充要条件,同时对两种方法的鲁棒性也进行了研究.实验发现,利用极点标定平移向量的方法,其鲁棒性要低于立体视觉方法的鲁棒性,这主要是由于在存在噪声的情况下,利用传统方法求解极点一般不十分鲁棒造成的.平移向量标定结果统计表给出了利用立体视觉方法所进行标定时,不同噪声级(0—1.0像素)分别进行100次实验的情况下,标定值与真实值之间的绝对误差的平均值1100∑100i =1|T pi -T pi |,其中T p =(-30,20,-45)T 为平移向量真实值,T p =(t 1,t 2,t 3)T为标定值.可以看出,在噪声级不太高的情况下,本方法可以较为精确地标定平移向量,统计结果如表 1.表1　平移向量标定结果统计表噪声级(像素)绝对误差平均值0.00.26×10e-100.13×10e-100.23×10e-100.10.490.320.600.2 4.66 2.55 3.810.3 4.46 5.36 3.370.4 5.91 5.60 3.860.5 5.54 2.12 1.710.6 2.67 4.60 4.860.7 4.28 2.94 5.540.8 6.979.32 5.050.917.73 6.6816.071.020.9613.259.666.2　真实图像实验由于本文方法要求平台在空间内作4次以上的已知运动参数的平移运动,且其中任意3次均不能在同一平面内,同时要求在运动过程中摄像机坐标系与平台坐标系之间的关系不能变化,目前我们还没有这样的设备,我们目前所拥有的设备仅能在同一平面作平移运动,因此我们暂时还无法用真实图像来进行实验.7　结束语本文研究了一种新的基于主动视觉系统的摄像113511期雷　成等:一种新的基于主动视觉系统的摄像机自标定方法机自标定方法.我们从理论上严格证明了只通过4次平台的纯平移运动(其中任意3次不共面),便可以线性地标定摄像机的内参数以及摄像机坐标系与平台坐标系之间的旋转矩阵.此外还证明了利用立体视觉方法以及极点方法均可以线性求解摄像机坐标系与平台坐标系之间的平移向量,同时分别给出了利用上述方法唯一求解平移向量的充要条件.据我们所知,文献中还没有类似的报道.通过模拟实验,表明本文方法具有较强的鲁棒性,但由于条件所限,目前还无法用真实图像来进行实验,下一步我们打算与拥有相关设备的其它单位联系,以完成真实图像的实验.参考文献1Rich ard I Hartley.Es timation of relativ e cam era positions for uncalib rated cameras.In:Proceedings of the ECCV '92,Santa M argh erita Ligure ,Italy ,1992.579-3872Faugeras O,Quan L,Sturm P.Self-calibration of a 1Dprojectiv e camera and its application to th e self-calib ration of a2D projectiv e camera .In:Proceedings of the ECCV '98,Freibu rg ,German y,1998.36-523M a S D .A s elf-calibration technique for activ e vision s ys tem.IEEE Trans actions on Robotics and Automation ,1996,12(1):114-1204W ei Guo-Qing,Klaus Arb ert,Gerd Hirz inger.Active s elf-calibration of robotic eyes and hand-eye relations hips w ith model id entification .IEEE Transactions on Robotics andAutomation,1998,14(1):158-1665Steph en J M aybank ,Olivier D Faug eras.A theory of s elf-calibration of a moving camera .International J ou rnal ofComp uter Vision ,1992,8(2):123-1516Luong Q T,Faugeras O D.Th e fu ndam ental matrix :Theory,algorithms ,and s tability analysis.International J ournal ofComp uter Vision,1996,17(1):43-757R ichard I Hartley .Self -calibration of s tationary cameras .International J ournal of Comp uter Vision,1997,22(1):5-238R ichard I Hartley .In defense of th e 8-point alg orith m .TPAM I,1997,19(6):580-5939M arkPollefeys,Reinhard Koch,Luc Van Gool.Self-calibration and metric recons truction in spite of varying and unk now n in ternal cam era parameters.In:Proceedings of the ICCV '98,Bombay ,India ,1998.90-9510M ark Pollefeys,Luk Van Gool,M arc Proes mans.Euclid ean 3D recons truction from image sequences with variable focal lengths.In :Proceedings of th e ECCV '96,Camb ridg e,UK,199611Sh aiAvidan ,AmnonShash ua .Threading fund am ental matrices.In:Proceedingsofth e ECCV '98,Freib urg,German y ,1998,I:124-14012BillTriggs.Autocalibrationfromplanarscenes.In :Proceedings of the ECCV '98,Cambrige,UK,1998.89-10513Peter S tu rm ,Bill Triggs .A factorization based algorith m for mu lt-imag e p ro jective s tructure and motion.In :Proceeding s of the ECCV '96,1996.709-72014Yang Chang-J iang,W ang W ei,Hu Z h an-Yi.A camerain ternal parameters s elf-calibration m ethod based on active vision .Chines e J ournal of Comp uters ,1998,21(5):428-435(in Chin es e)(杨长江,汪　威,胡占义.一种基于主动视觉的摄像机内参数自标定方法.计算机学报,1998,21(5):428-435)15Li Hua,Wu Fu-Ch ao,Hu Zhan-Yi.A n ew camera self-calibration method.Chinese J ou rnal of Compu ters,2000,23(11):1121-1129(in Chinese)(李　华,吴福朝,胡占义.一种新的线性摄像机自标定方法.计算机学报,2000,23(11):1121-1129)附　录命题1.　若{T i |i =1,2,3,4}中的任三个向量不共面,则方程组AT i =λ′i e ′i 在相差一个非零因子的意义下关于矩阵A 有唯一解.证明.引理1.　若平台平移运动X npi =X p +T i ,i =1,2,3中,{T i |i =1,2,3}线性无关,则对应的极点{e ′i |i =1,2,3}也线性无关,其中e ′i =(e ′i 1e ′i 21)T .方程组AT i -λ′i e ′i =0,i =1,2,3,4等价于下述矩阵方程组:A [T 1,T 2,T 3]=[λ′1e ′1,λ′2e ′2,λ′3e ′3]A [T 1,T 2,T 4]=[λ′1e ′1,λ′2e ′2,λ′4e ′4](A1)于是有[λ′1e ′1,λ′2e ′2,λ′3e ′3][T 1,T 2,T 3]-1=[λ′1e ′1,λ′2e ′2,λ′4e ′4][T 1,T 2,T 4]-1(A2)由于[T 1,T 2,T 3]-1=1det [T 1,T 2,T 3]r 11r 12r 13r 21r 22r 23r 31r 32r 33(A3)[T 1,T 2,T 4]-1=1det [T 1,T 2,T 4]r ′11r ′12r ′13　r ′21r ′22r ′23　r ′31r ′32r ′33　(A4)其中,r ji ,r ′ji 分别为[T 1,T 2,T 3]T 和[T 1,T 2,T 4]T的第(i ,j )元素的代数余子式.显然有r 3i =r ′3i =s i ,　i =1,2,3(A5)令d 1=det [T 1,T 2,T 3],　d 2=det [T 1,T 2,T 4](A6)将(A 3)—(A 6)代入(A 2)有d 2[λ′1e ′1,λ′2e ′2,λ′3e ′3]r 11r 12r 13r 21r 22r 23s 1s 2s 3=d 1[λ′1e ′1,λ′2e ′2,λ′4e ′4]r ′11r ′12r ′13　r ′21r ′22r ′23　s 1s 2s 3(A7)1136计 算 机 学 报　2000年由于T 1,T 2线性无关,所以s i ,i =1,2,3不可能全为零,不妨假定s 1≠0.比较(A7)两边矩阵的第1列向量,我们有(d 2-d 1)(r 11-r ′11)e ′11λ′1+(d 2-d 1)(r 21-r ′21)e ′21λ′2+d 2e ′31s 1λ′3-d 1e ′41s 1λ′4=0,(d 2-d 1)(r 11-r ′11)e ′12λ′1+(d 2-d 1)(r 21-r ′21)e ′22λ′2+ d 2e ′32s 1λ′3-d 1e ′42s 1λ′4=0,(d 2-d 1)(r 11-r ′11)λ′1+(d 2-d 1)(r 21-r ′21)λ′2+ d 2s 1λ′3-d 1s 1λ′4=0(A8)下证(d 2-d 1)≠0,(r 11-r ′11)≠0且(r 21-r ′21)≠0.因s 1≠0,则(d 2-d 1)≠0.否则,由(A8)有λ′3e ′3-λ′4e ′4=0.由引理1e ′3,e ′4线性无关,所以有λ′3=λ′4=0,这是不可能的.显然(r 11-r ′11),(r 21-r ′21)不可能同时为零,否则会得到上面同样的矛盾.不妨假定(r 11-r ′11)≠0,则必有(r 21-r ′21)≠0,否则(A 8)可化为(d 2-d 1)(r 11-r ′11)e ′11λ′1+d 2e ′31s 1λ′3-d 1e ′41s 1λ′4=0,(d 2-d 1)(r 11-r ′11)e ′12λ′1+d 2e ′32s 1λ′3-d 1e ′42s 1λ′4=0,(d 2-d 1)(r 11-r ′11)λ′1+d 2s 1λ′3-d 1s 1λ′4=0(A9)由于(A 9)关于(λ′1λ′3λ′4)的系数行列式det (d 2-d 1)(r 11-r ′11)e ′11d 2s 1e ′31-d 1s 1e ′41　(d 2-d 1)(r 11-r ′11)e ′12d 2s 1e ′22-d 1s 1e ′42　(d 2-d 1)(r 11-r ′11)d 2s 1-d 1s 1=-s 21d 1d 2(d 2-d 1)(r 11-r ′11)det e ′11e ′31e ′41　e ′12e ′32e ′42　111≠0因此有λ′1=λ′3=λ′4=0,这是不可能的.于是必有(d 2-d 1)≠0,(r 11-r ′11)≠0且(r 21-r ′21)≠0.这样,(A 9)关于(λ′1λ′3λ′4)的系数行列式det (d 2-d 1)(r 11-r ′11)e ′11(d 2-d 1)(r 21-r ′21)e ′21d 2s 1e ′31　(d 2-d 1)(r 11-r ′11)e ′12(d 2-d 1)(r 21-r ′21)e ′22d 2s 1e ′32　(d 2-d 1)(r 11-r ′11)(d 2-d 1)(r 21-r ′21)d 2s 1=s 1d 2(d 2-d 1)2(r 11-r ′11)(r 21-r ′21)det e ′11e ′21e ′31　e ′12e ′22e ′32　111≠0.因此方程(A 8)的解必为λ′1=a λ′4,　λ′2=b λ′4,　λ′3=c λ′4(A10)其中,a =d 1dete ′41e ′21e ′31　e ′42e ′22e ′32　111d 2(d 2-d 1)(r 11-r ′11)dete ′11e ′21e ′31　e ′12e ′22e ′32　111≠0,c =d 1dete ′11e ′21e ′41　e ′12e ′22e ′42　111d 2dete ′11e ′21e ′31　e ′12e ′22e ′32　111≠0.所以,将上式代入(A 1)有A =λ′4[a e ′1,b e ′2,c e ′3][T 1,T 2,T 3]-1=λ′4[a e ′1,b e ′2,e ′4][T 1,T 2,T 4]-1,即可以在相差一个非零常数的意义下唯一确定矩阵A ,从而命题得证.证毕.命题2.　若R 1,R 2的旋转轴不相同,则约束方程组(E -R -1)T p =M c 1-R -1M c (E -R-2)T p=M c 2-R -2M c关于T p 有唯一解:T p =E -R -1E -R-2+M c 1-R -1M cM c 2-R -2Mc,其中“A +”表示矩阵A 的广义逆.证明.　由于上述方程组是相容的,为了证明有唯一解,我们只须证明:rankE -R p R 1R -1p E -R p R 2R -1p=3(A11)反证,若解不唯一,因rank (E -R p R 2R -1p )=rank (E -R p R 1R -1p )=2,所以必有rankE -R p R 1R -1p E -R p R 2R -1p=2(A12)由于rank (E -R p R 2R -1p)=rankE -R p R 1R -1p E -R p R 2R -1p=2,所以E -R p R 1R -1p 的每一行向量均能由E -R p R 2R -1p 的行向量线性表示,因此 X ∈R 3×3使得E -R p R 1R -1p =X (E -R p R 2R -1p )(A13)即E -R 1=R -1p XR p (E -R 2)(A14)设E -R 1,E -R 2的奇异值分解分别为E -R 1=U 1diag (T 1,T 2,0)V T1,E -R 2=U 2diag (U 1,U 2,0)V T 2(A15)则有(参见:张贤达.《信号处理中的线性代数》.北京:科学出版社.1997.163-164):E -R 1=T 1u 11(v 11)T +T 2u 12(v 12)T E -R 2=U 1u 21(v 21)T +U 2u 22(v 22)T 其中u i j ,v i j ,分别表示U i ,V i 的第j 列向量,i =1,2,j =1,2,3.因此(E -R 1)v 13=0,　(E -R 2)v 23=0于是有v 13=±n 1,　v 23=±n 2(A16)其中,n 1,n 2表示R 1,R 2的旋转轴方向.另一方面将(A 15)代入(A 14)有113711期雷　成等:一种新的基于主动视觉系统的摄像机自标定方法U 1diag (T 1,T 2,0)V T 1=R -1p XR p U 2diag (U 1,U 2,0)V T2(A17)于是有diag (T 1,T 2,0)V T1V 2=Y diag (U 1,U 2,0)(A18)其中,Y =U T 1R -1p X R p U 2.即T 1(v 11)T v 21T 1(v 11)T v 22T 1(v 11)T v 23T 2(v 12)T v 21T 2(v 12)T v 22T 2(v 12)T v 23000=y 11U 1y 12U 20y 21U 1y 22U 20y 31U 1y 32U 2从而有(v 11)T v 23=0,　(v 12)T v 23=0因V 1为正交矩阵,所以必有v 23=±v 13.再由式(A 16),我们有n 1=±n 2,这表明R 1,R 2有相同的旋转轴,矛盾,所以命题得证.证毕.命题3.　若平台所作两次运动(R 1,T 1),(R 2,T 2)满足下述条件:(1)R 1,R 2的旋转轴不相同;(2)T i 不在与R i 旋转轴正交的平面上,i =1,2则方程组(E -R -1)T p -λ1K -1e ′=-R p T 1(E -R -2)T p -λ2K -1e ′=-R p T 2关于(T p ,λ1,λ2)有唯一解,其中R i =R p R i R -1p .首先,我们给出如下几个引理.引理2.　若R 1,R 2的旋转轴不相同,则rank E -R -1E -R -2=3(A19)其中,R-1=R pR 1R -1p,R -2=R pR 2R -1p.证明见命题2.引理3.　平台运动为(R ,T ),若T R [E -R ],则rank ([E -R-　-K -1e ])=3(A20)其中,R [E -R ]={y =(E -R )x |x ∈R 3}表示E -R 的实数值域,R-=R p RR -1p ,e 是极点,K 为摄像机内参数矩阵.证明.　若rank ([E -R -　-K -1e ])=2,因rank (E -R-)=2,所以-K -1e 能被E -R -的列向量线性表示.因此存在a ∈R 3使得-K -1e =(E -R -)a .令(T p 0,λ0)是方程(E -R -)T p-λK -1e =-R p T 的一个解,于是有(E -R -)T p 0+λ0(E -R -)a =-R pT ,-(E -R )(R -1p (T p 0-λ0a ))=T .因此T ∈R [(E -R )],与假设矛盾.引理4.　令v 1,f =v 2+i v 3,f -=v 2-i v 3分别为R 关于特征值1,e i θ,e -i θ的特征向量,其中θ是R 的旋转角,则(1)v 1⊥v 2,v 1⊥v 3;(2)v 1,v 2,v 3线性无关;(3)R ~[(E -R )]={a v 2+b v 3|a ,b ∈R 1}={x |v T 1x =0,x ∈R 3},其中R ~表示E -R 的值域.证明.　(1)因特征向量v 1,f ,f -,相互正交,v 1是实向量,所以0=(v 1,f )=(v 1,v 2+i v 3)=(v 1,v 2)-i (v 1,v 3),因此(v 1,v 2)=0,(v 1,v 3)=0,即v 1⊥v 2,v 1⊥v 3.(2)若v 1,v 2,v 3线性相关,则存在非零向量(a ,b ,c )使a v 1+b v 2+c v 3=0,于是a v 1+b -ic 2f +b +ic 2f -=0.因(a ,b ,c )≠0,则a ,b -ic 2,b +ic2≠0,于是v 1,f ,f -=0线性相关,矛盾.(3)先证R =[v 1,v 2,v 3]100co s θsin θ0-sin θcos θ[v 1,v 2,v 3]-1(A21)由于Rv 1=v 1,R (v 2+i v 3)=e i θ(v 2+i v 3),所以Rv 1=v 1,Rv 2=co s θv 2-sin θv 3,Rv 3=sin θv 2+co s θv 3,因此R [v 1,v 2,v 3]=[v 1,v 2,v 3]1000co s θsin θ0-sin θcos θ.于是式(A21)成立.再证R ~[(E -R )]={a v 2+b v 3|a ,b ∈R 1}(A22)由式(A 21),有E -R =[v 1,v 2,v 3]00001-co s θ-sin θ0sin θ1-co s θ[v 1,v 2,v 3]-1, x ∈R 3,存在y =(u ,v ,w )T ∈R 3使得x =[v 1,v 2,v 3]y ,于是(E -R )x =[v 1,v 2,v 3]00001-cos θ-sin θsin θ1-cos θuv w=a v 2+b v 3.其中,a =(1-co s θ)v -sin θw ,b =sin θv +(1-cos θ)w ,所以R ~[(E -R )] {a v 2+b v 3|a ,b ∈R 1}.反之 y =a v 2+b v 3,令v w =1-co s θ-sin θsin θ1-co s θ-1a b,x =[v 1,v 2,v 3]0u w∈R 3,则有(E -R )x =a v 2+b v 3=y ,因此R ~[(E -R )] {a v 2+b v 3|a ,b ∈R 1}.故(A22)成立.证毕.最后,因v 1⊥v 2,v 1⊥v 3,所以{a v 2+b v 3|a ,b ∈R 1}={x |v T 1x =0,x ∈R 3}由于R 关于特征值1的特征向量与旋转轴共线,所以引理4中的结论(3)表明,R ~[(E -R )]是与R 旋转轴正交的通过坐标原点的平面,我们简称它为与旋转轴正交的平面.这样利用引理3,1138计 算 机 学 报　2000年引理4可改述如下引理.引理5.　平台运动为(R,T),若平移向量T不在与旋转轴正交的平面上,则rank([E-R-　-K-1e])=3,其中,R-=R p RR-1p,e是极点,K为摄像机内参数矩阵.基于上述引理,要证明命题3,我们只须证明:rank E-R-1-K-1e10E-R-20-K-1e2=5(A23)由命题条件(2),根据引理5有rank([E-R-1-K-1e10])=rank([E-R-20-K-1e2])=3(A24)因此rank E-R-1-K-1e10E-R-20-K-1e2≥4(A25)假定rank E-R-1-K-1e10E-R-20-K-1e2=4(A26)我们先证rank E-R-1-K-1e1E-R-2=4(A27)否则必有rank E-R-1-K-1e1E-R-20=3,由命题条件(1),根据引理2有E-R-1 E-R-2=3(A28)所以存在a∈R3使得-K-1e1=E-R-1E-R-2a,于是有-K-1e1=(E-R-1)a.因此rank([E-R-1-K-1e10])=rank[E-R-1]=2,与(A24)矛盾.这样,由(A26),(A27)两式,存在非零向量b=(b1,b2,b3,b4)T∈R4使得-K-1e2=E-R-1-K-1e1E-R-2b,于是-K-1e2=(E-R-2)b*.其中,b*=(b1,b2,b3)T≠0.因此rank([E-R-20-K-1e2)])=rank[E-R-2]=2,也与(A24)矛盾.这样我们有rankE-R-1-K-1e10E-R-20-K-1e2≥5,显然rankE-R-1-K-1e10E-R-20-K-1e2≤5,故有rankE-R-1-K-1e10E-R-20-K-1e2=5.113911期雷　成等:一种新的基于主动视觉系统的摄像机自标定方法。