相机外参数的标定

本 科 毕 业 设 计 （论 文）
题 目 __________________________________
指导教师__________________________
辅导教师__________________________
学生姓名__________________________
学生学号__________________________
_______________________________
院（部）____________________________专业________________班
______年 ___月 ___日
相机外参数的标定
2010 6 16
相机外参数的估量
摘要
相机标定是摄影测量、视觉检测、计算机视觉等领域的重点研究课题之一，在测绘、工业控制、导航、军事等领域取得了极大的应用。

相机标定为视觉图像的两维信息与实际三维物体世界提供了对应、转换的定量关系。

本文围绕相机标定研究了Harris角点提取、相机模型与标定方式等内容。

主要包括：
1．对相机成像的理论前提和实际进程，进行了详细的介绍。

在分析不同投影模型和成像关系的前提下，选用最实用的透视投影成像模型。

同时，对实际成像进程中各类坐标及转换关系，进行了详细的分析和数学描述。

2．研究了图像特征点的提取问题。

在角点提取过进程中，利用的是Harris 角点提取算法，并对实际相片进行了角点的提取。

3．利用svd因式分解，通过相机成像时图像上的点和真实场景之间的关系，成立方程式，运用比例正交投影等最终肯定出相机的外参数。

关键词：相机标定；坐标系间的转换关系；svd因式分解算法；Harris角点检测
ESTIMATE THE EXTERNAL
PARAMETER OF CAMERA
Abstract
Camera calibration has been one of important topics for photogrammetry,vision inspeclion,computer vision and so has been useful in many practical applications such as mapping,industry controlling automatic navigation and calibration provides a quantitative description for the corresponding transformation between 2D information of the vision image and real 3D object world..
detailly the theory and real procession of the camera analyzing all projecting models and imaging relations,this thesis adopts the most applied perspective-imaging the same time,the real—imaging procession and all relations about transforming coordinates are introduced.
2. Of the image feature point extraction problem. In the corner over the course of extraction, using the Harris corner detection algorithm, and the actual photos were corner extraction.
svd factorization, through the camera when the image on the imaging point and the relationship between the real scene, the establishment of equations, using orthogonal projection ratio of the final determined outside the parameters of the camera.
Key words:Camera calibration;Transform relationship between the coordinate system ;svd factorization algorithm. Harris corner detection
目录
第一章绪论 (1)
引言 (1)
相机的标定发展与现状 (1)
1．3 相机标定的主要内容 (2)
1．4相机标定方式 (3)
1．5本文的主要内容 (3)
第二章相机标定的大体理论 (5)
引言 (5)
相机成像的数学模型 (5)
第三章特征点提取 (9)
概述 (9)
特征点的提取 (9)
实验结果 (10)
本章小结 (13)
第四章相机外参数的估量 (14)
引言 (14)
相机外参数的求解 (14)
第五章实验仿真和分析………………………………………………
2 2 仿真条件 (22)
仿真实验 (23)
结果分析 (34)
小结 (35)
第六章全文结束语 (36)
全文研究总结 (36)
对未来研究工作的展 (36)
第一章绪论
引言
相机标定算机图形学、计算机视觉和数字摄影测量学中的大体问题之一。

实际应用中的图像一般是通过具体的相机获取的，一般通过相机标定来肯定相机参数，进而得出空间物体表面某点的三维几何位置与其在图像中对应点之间的彼此关系。

通常情况下，相机的内参数在实验室内利用相应的方式可以进行精准标定，而外参数会随着运动或其它的影像因素不断地发生转变，需要在测量现场进行精准标定。

因此在实际应用中最主要的任务是在假设相机内参数被精准标定的情况下如何有效地标定相机外参数，所以在文章中所说的相机标定主要指相机的外参数的求解。

相机的标定发展与现状
相机标定利用地的方式是数学解析的方式,在标定的进程中一般是利用数学方式对图像中获取的数据进行处置。

相机标定的相机分为内部参数已知的相机和内部参数未知的相机。

相机标定技术主要有两大方面,即相机模型和相机标定,二者彼此关联,相机模型决定要采用的标定方式。

不同的应用，要用不同的相机标定方式。

例如，在机械导航方面，要求要自动快速的标定；在气宇方面，精度应该放在第一名。

此刻，内参数肯定的相机模型已经很成熟，主如果按照不同的精度、不同的计量选取模型。

整体上说，线性模型计算方便，运算迅速，能够进行解析，缺点是很难表达像差与相机复杂的成像进程；而非线性模型能更好地反映像差，提高模型的精度，缺点是计算量大，需要非线性优化，但鲁棒性降低。

在相机标定方式上，传统的相机标定一般是利用一个参照物和图像的约束关系，来肯定相机模型的参数，可以应用一幅以上的图像进行标定，方式和理论已经十分成熟，若是不考虑像差的影响，可利用线性标定，由于没有考虑成像因素，标定精度降低。

人们追求的永远是提高标定精度。

非线性畸变是提高计算精度所必需考虑的。

1966年，B．Hallert第一次将最小二乘法用于对镜头标定数据的处置，并将其用在座标测量上，取得了高精度的测量结果。

1975年，W．Fig考虑了相机机的各类因素，成立较为复杂的相机成像模型并用非线性优化来求解。

非线性优化对提高像机标定精度有很大的帮忙，超级适合于非线性畸变模型的标定，在能提供较好初值的情况下，可以较快地收敛，取得高精度优化结果，此刻大部
份标定程序都采用了非线性优化。

它的缺点是标定的结果依赖相机模型参数的初始给定值，而且计算速度慢。

R．Y Tsai于1986年成立了经典的Tsai相机模型，提出了两步标定法，其中参数采用线性直接求解，计算速度较快。

但该模型较简单，不能较好地解决图像问题。

J．We,,g改良了Tsai模型，使之能适应视场较大和畸变较严重的场合。

Rag G Willson在1994年利用Tsai模型，用C语占编程，分两步对固定焦距相机机进行了标定，并将标定程序发布在网上，极大地增进了该方式的应用。

80年代，随着计算机视觉学科的发展，相机机标定开始频繁，这也有力地增进了标定技术的发展。

当相机正处于工作中，光学参数工作中会有转变，往往需要很快做出调整。

此时，现场标定的概念被提出来，一般是将标定控制点混合布置在工作区域或其周围，从而能在现场做出标定调整。

而在有些工作场合，相机参数可能有转变，却又没有标定物时，就需要相性能直接做出标定，此时，自标定的概念也被提出来。

Brown于1989年指出了这二者的区别并详细讨论了成功实现自标定所需要知足的标准或条件。

随着桌面视觉系统的普及，方便、灵活、简单、精度好的相机标定程序需求增加。

微软研究院的张正友在1999年前后对此做了大量研究工作，提出了基于移动平面模板的方便灵活的相机标定方式，较好地解决了这一问题。

从传统的相机标定方式到相机自标定，从固定相机到相机可自由移动，相机标定方式层出不穷。

前面提到的文献，大部份是前几年在国际计算机视觉会议、欧洲计算机视觉会议、计算机视觉和模式识别会议、国际计算机模式识别会议及其相关领域等重要会议文献和杂志上发表的。

这一方面说明前几年相机标定方式研究是计算机视觉领域的热点，另一方面来看，也说明相机标定方式研究的高潮即将结束。

可是，对相机标定方式的研究没有止境，因为咱们老是需要运算更快精度更高利用更灵活方便的标定方式。

1．3 相机标定的主要内容
相机标定主要可以分为两个内容：成立成像模型和求解相机参数。

这两个内容是彼此关联的，不同相机模型对应不同的求解方式。

因此，应按照应用处合选择适合的相机标定方式。

相机成像模型包括线性模型和非线性模型。

线性模型是按照小孔成像原理，成立像点和对应物体表面空间点的几何位置关系，描述的是理想情况，即像点、投影中心和空间点三者是共线关系。

实际中像点位置会偏移理想像点位置，造成像点、投影中心和相应的空间点之间的共线关系受到破坏，所以需要成立非线性模型。

一个完整的成像模型应当包括线性模型和非线性模型。

1．4相机标定方式
就现有的研究功效而言，相机标定方式按照标定方式的不同，主要可以归结为以下三种：传统标定方式、自标定方式和基于主动视觉的标定方式。

（1）传统标定方式
所谓传统相机标定方式是指用一个结构己知、精度很高的空间参照物，通过点和图像点之间的对应关系来成立相机模型，然后通过优化算法来求取参数。

可分为(1)最优化算法(2)用投影矩阵(3)Tsai两步标定。

传统标定方式的长处是精度较高，适用精度高且相机的参数不转变的场所。

（2）自标定法
最近几年来发展起来相机标定技术，自标定方式处在于，相机自标定方式不需要借助于任何外在的特殊标定物，仅仅利用了图像对应点的信息，直接通过图像来完成标定任务这种标定思想给相机自标定方式提供了很大的灵活性，也使算机视觉技术面向范围更为广漠。

在许多应用中，由于常常需要改变相机的参数，因此常常需要进行标定，而传统的相机标定方式在此类情况下将变得再也不适合。

相机自标定技术的研究己经成为最近几年来计算机视觉研究领域的热点方。

（3）主动视觉的标定法
基于主动视觉的标定方式就是按照自主地获取的图像数据线性地求解相机的模型参数。

这种标定方式的主要长处是在标定进程中己知了相机的运动信息，所以相机的模型参数可以线性求解。

这种相机标定技术最具代表性的是马颂德研究员于1996年在IEEE．Trans．RA上的工作。

但利用自主相机标定的不足是系统的本钱较高，不是一般的单位和个人所能经受的。

1．5本文的主要内容
论文内容安排如下：
第一章绪论，介绍相机标定技术发展的历史与现状，分析了研究相机标定技术的意义及其在计算机视觉领域的重腹地位。

第二章介绍相机标定技术所涉及的大体理论模型和一些几何方面的知识。

第三章解决了图像处置中高精度的角点检测问题。

基于Harris角点检测的原理，利用角点邻域内图像灰度梯度与角点到邻域内任一点的矢量点乘为零的性质，取得了高精度的坐标。

第四章详细推导了相机标定方式。

第五章通过实验对本文的第三章和第四章的算法进行了验证。

最后对实验结果进行了分析和讨论。

第二章 相机标定的大体理论
引言
在相机标定中首先要解决的问题就是肯定物体的三维空间坐标和二维图像的对应关系。

物体的表面点的三维几何位置与其在图像中的对应点之间的彼此关系由相机的几何模型决定。

这些模型参数就是相机参数，而这些参数的取得进程就是相机标定。

也就是说，相机的标定就是成立相机图像像素位置与场景点位置之间的关系。

按照相机模型，由特征点图像坐标和世界坐标求解相机的模型参数，在这里咱们主要求解的是相机的外参数。

表一 相机模型参数
Table 1 Camera model parameters
表中，前两行是相机的内部参数，线性模型内参数主如果00,,,,αβμνγ。

R 和T 是旋转矩阵和平移矩阵，称为相机的外部参数;对于非线性模型的内部参数还包括1k ，2k ，1p ，2p 。

相机成像的数学模型
一、图像坐标系、相机坐标系与世界坐标系
（1）图像像素坐标系
相机收集的相片在计算机中转换为数字图像，并以M ⨯N 数组的形式在计算机内存储，M 行N 列数组中的元素是图像的点的亮度。

如下图所示，坐标（u ，v ）代表像素在数组中的列数和行数，（u ，v ）是以像素为单位的图像坐标系的坐标
（2）图像物理坐标系
图像像素坐标系只表示像素的列数、行数，并无表示出像素在图像中的物理位置，因此要成立物理单位的图像坐标，咱们把它记作成像坐标系1o xy 。

在x ，y 坐标系中，原点1o 是相机光轴与图像平面的交点。

原点一般在图像中心。

x ，y 轴别离与u ，v 轴平行。

两个坐标系之间的关系可以表示为：
0x u u dx
=+ （2-1） 0y v v dy
=+ （2-2）
（3）相机坐标系
相机坐标系O c c c x y z 是固定在相机上的直角坐标系，原点O 是概念在相机的光心，c x ，c y 轴平行于图像物理坐标系的x ，y 轴，c z 轴与光轴重合，c z 轴垂直于相机的成像平面。

相机的焦距f 是光心到平面的距离1oo 。

（4）世界坐标系
相机和物体可以活着界中的任何位置，因此需要一个坐标系来肯定相机的位置和物体相对于相机的位置，这个坐标系就是世界坐标系w w w w o x y z 。

世界坐标系中的点和相机坐标系中的点的关系可以用下边的关系式表示：
c w c w c w x x y R y T z z ⎡⎤⎡⎤⎢⎥⎢⎥=+⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
（2- 3）
这里的R 是3⨯3旋转矩阵，记作123456789r r r R r r r r r r ⎡⎤⎢⎥= ⎢⎥⎢⎥ ⎣⎦，平移矩阵x y z t T t t ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦。

R 是光
轴对于世界坐标系坐标轴的方向余璇组合，包括三个角度变量：绕x 轴旋转ψ角；绕y 轴旋转θ角；绕z 轴旋转φ角，加上T 的三个变量这六个变量称为相机的外参数。

在这四个坐标系中，前边两个是二维坐标系，而且图像坐标系是已知的，后边的是三维的坐标系。

这些坐标系之间的关系，特别是世界坐标系，相机坐标系和图像坐标系之间的关系的肯定就是相机的标定问题。

3、相机模型
咱们这里研究的是针孔相机，即把相机看成是一个点。

相机模型主如果给出对三维空间点和它对应的图像上的成像点的关系。

在这里咱们设在三维空间中的一个点p （w x ，w y ，w z ），在相机坐标系中的对应点是p （c x ，c y ，c z ），它的物理坐标和像素坐标是（x ，y ）、（u ，v ）。

（1）世界坐标系和相机坐标系的关系
2c w x M x = （2-4） 说明世界坐标系和相机坐标系之间可以用矩阵2M 来表示。

（2）相机坐标系和图像物理坐标系的变换
c c x f x z =⋅ c c y f y z =⋅ （2-5）
（3）图像物理坐标系和像素坐标系的转化
00101011001u dx
u x v v y dy ⎛⎫⎡⎤⎡⎤ ⎪⎢⎥⎢⎥ ⎪=⎢⎥⎢⎥ ⎪⎢⎥⎢⎥ ⎪⎣⎦⎣⎦ ⎪⎝
⎭ （2-6）通过上边的三个关系式可以取得世界坐标系中的p 点的坐标和其投影坐标的关
系：
121w w u z v M M x Mx ⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦
（2-7） 在这里1M 是内部参数，2M 是外部参数，M 是3⨯4的投影矩阵，表明了二维图像和三维坐标之间的关系，相机外参数求解就是获取2M 矩阵里的参数。

第三章 特征点提取
概述
图像的特征点有着普遍的应用，模式识别、三维重建等。

特征点问题主要包括特征点的提取和匹配，此刻这些问题受到了普遍的关注。

特征点，顾名思义就是有必然特征的点，咱们通常概念那些邻域转变比较大的点为特征点，如角点和咱们通常比较讨厌的噪声点，它就是一个典型的特征点。

特征点问题解决方式评价上主要依赖特征点计算的时间和精度两个方面。

特征点的提取
角点是图像中曲率比较高的点，它由景物目标的边缘较大的地方的角点组成，它不同于只在一个方向上转变的边缘像素灰度。

此刻角点的检测方式主要有两种：
一、提取图像边缘的特征，通过轮廓点来计算边缘曲率或夹角来判定角点；
二、对图像的灰度进行操作，计算图像灰度的散布曲率，以最大的曲率点来作为角点。

Harris 的角点检测就是基于图像灰度梯度进行处置的方式。

这种方式计算量少，实现的难度低。

Harris 算子是在1988年提出来的。

Harris 角点检测原理是图像的角点和自相关函数的曲率特性的关系。

自相关函数描述了局部图像灰度的转变：
2
,,,(,)u v x u y v u v E x y W I I ++=-∑ （3-1）
E （x ，y ）是由于两个窗口的偏移（x ，y ）而造成的图像灰度的转变，w 是图像的窗口，I 代表的是图像的灰度。

在角点处，图像窗口的偏移将造成自相关函数E （x ，y ）的明显转变。

对上边算式在像素点（u ，v ）展开，自相关函数E （x ，y ）可以近似的表示为
22(,)2E x y Ax By Cxy =++ （3-2） 其中，A,B,C 是二阶方向微分的近似：
2(,)A x h x y =⊗ 2(,)B y h x y =⊗ (,)C xy h x y =⊗ （3-3） []101I X I x
∂=⊗ -≈∂ []101T I Y I y ∂=⊗ -≈∂ （3-4） 这里的h （x ，y ）是一个高斯光滑滤波函数，X ，Y 是一阶方向微分，可以由图像灰度与x 向差分算子[]101 -和y 向差分算子[]101T
-表示，这样可以取
得
(,)[]x E x y x y M y ⎡⎤= ⎢⎥⎣⎦
（3-5）这里，矩阵M 是E （x ，y ）的近似Hessian 矩阵
(,)(,)(,)(,)(,)A x y C x y M x y C x y B x y ⎡⎤=⎢⎥ ⎣⎦
（3-6） 在某一点的图像灰度自相关函数的极值曲率可以由矩阵M 的特征值近似表示。

若是矩阵M 的两个特征值都比较大，说明在该点的图像灰度自相关函数的两个正交方向上的极值曲率均较大，即可以以为该点是角点。

实验结果
咱们选用两幅普通的图像进行实验，用Harris 的角点检测的方式来进行角点的检测。

图（一）
Figure （1）
利用Harris 的角点检测的方式进行提取后为
图（二）
Figure（2）
下面咱们在对另一幅图像进行Harris的角点检测:
图（三）
Figure（3）
角点检测后
图（四）
Figure（4）
通过这两副图像的特征点的提取，咱们可以看出Harris的角点检测的方式可以很好的提取图像的特征点，完全可以知足咱们下文的计算方式对特征点的需求，因此在这里运用Harris的角点检测的方式的是完全可行的。

本章小结
图像特征点的提取是相机标定前的必需步骤，其提取的好坏直接影响后面的标定精度，同时它也是提高匹配的关键环节，是完成三维重建的基础，在本章就是主要解决这些问题的：
1究图像角点的特点及检测方式。

2 研究Harris角点检测算法的原理、步骤及其特点。

Harris角点检测的原理是，将以某点为中心的图像处置子窗口作微小移动，运用一阶Taylor展开可取得移动前后该窗口内图像点的灰度改变量表达式，而按照其一阶灰度梯度可构造一个特征矩阵M，则按照灰度转变猛烈程度概念的角点可用M的函数来表示，函数值知足必然阈值的图像点即是角点。

第四章 相机外参数的估量
引言
通过相机的二维图像求解相机的外参数，图像最少个数是两幅，固然图像越多求解的也精准，可是一样会增加求解的难度。

在这里咱们研究的是两幅图像求解相机外参数的问题。

假设{},,1,1J N j n j n x ==是图像坐标系中点的集合，其中n 表
示第n 个场景点，j 表示第j 幅图像，在这里J=2。

相机外参数的求解
图像上的点与真实场景之间存在透视投影的关系：
,,1j n n j j n
P M P Z = （4-1） 其中,,,(,,1)T j n j n j n p x y =表示齐次像素坐标上的点，,1,2,3(,,,1)T n n n n p p p p =表示3D 世界坐标系上的点。

,,j in j ex j M M M =是3⨯4的相机矩阵，由相机内部标定矩阵和外部标定矩阵相乘取得。

,j n z 表示投影深度，3,T j n j n z e M p =，3T e =（0，0，1）。

相机的内部矩阵可以化简成：
,0000001j in j
j f M f ⎛⎫ ⎪= ⎪ ⎪⎝⎭ （4-2） 外部矩阵表示为：
,(,)j ex j j j M R R d =- （4-3） 这里j R 是世界坐标系到第j 个相机坐标系的旋转矩阵，j d 是相机活着界坐标系中的位置。

咱们这篇文章的最终任务就是求解j R 和j d ，即所谓的相机的外参数。

要求摄像机的矩阵j M ，就是要最小化下面的函数：
{}{}2,2113,,1,(,0)N J j n n n j j j n n j n j n j x o M P I M P y e M P ==⎛⎫⎛⎫ ⎪≡- ⎪ ⎪ ⎪⎝⎭⎝⎭∑ （4-4）
这个非线性最优问题被称为光束法平差（bundle adjustment ）
可用以下两方式近似光束法平差
一、用比例正交投影近似透视投影。

二、从头调节方程{}{}2,2113,,1,(,0)N J j n n n j j j n n j n j n j x o M P I M P y e M P ==⎛⎫⎛⎫ ⎪≡- ⎪ ⎪ ⎪⎝⎭⎝⎭
∑的每一个参数，解决双线性优化问题。

比例正交投影对,,1j n n j j n
P M P z =式进行了一个近似，应用于窄视场相机 {},,max ,j m j m j x y f （4-5） ,1j n z s ≈ （4-6） 对应的图像上点与场景点的关系可以转化为
,22(,0)(,0)j n n j I P s I M P = （4-7） 这就变成了关于比例相机矩阵j sM 和3D 点n P 的双线性问题。

令,11N j j n n P P N ==∑为图像上点坐标的平均值，11N
n n P P N ==∑为场景点坐标
的平均值，从方程,22(,0)(,0)j n n j I P s I M P =可以取得
,n j n j d M D = （4-8） 其中
,,2(,0)()j n j j n d I P P =- （4-9） 3(,0)()n n j D I p p =- （4-10） j 23M (,0)(,0)T j s I M I = （4-11）
j 200M (,0)00j j j j j f s R sf I R f ⎡⎤==⎢⎥ ⎢⎥⎣⎦ （4-12）
令,()j n C d =为2J ×N 的矩阵，从公式,j n j n d M D =可得
C M
D = （4-13） M 是2J ×3的矩阵，由J 个j M 排列起来的，D 是3×N 的矩阵，由N 个n D 排列起来的。

这个方程表明，不考虑噪声影响的话，信息矩阵C 的最高阶数为3。

对C 进行SVD 因式分解，对于J=3的情况，T C W V =∑的特征值如下图(3个以后的特征值大体上为0)
图（五）
Figure （5）
将∑的除前三个之外特征值都置为0，∑是3×3的，W 是2J ×3的，T V 是3×N 的。

对于非奇异阵A 对应一个C ：
1()()T T C MD WA A V W V -==∑=∑ （4-14） 对应一个矩阵A ，可以取得一个3D 点的位置信息和摄像机矩阵：
1T
D A V M WA
-=∑= （4-15） 一样的，可以将1AA -放置于∑和T V 之间。

这样，可以知道形状矩阵D 取决于A 里的9个参数，T AD V =∑。

这就是形状D 的仿射变换。

用SVD 分解将A 分解为T a a a U V ∑，得(())T a a a AD U V D =∑，
这代表将D 用T a V 进行旋转，然后用a ∑在对应轴上进行拉伸或缩小,最后再用a U 进行旋转。

仿射变换维持平行线和相交线，但不能维持角度和长度。

咱们可以从已知相机参数肯定A 的一些值。

假设已知射影矩阵j M 知足：
j 200M (,0)00j j j j j f s R sf I R f ⎡⎤==⎢⎥ ⎢⎥⎣⎦
（4-16） 从公式1T
D A V M WA
-=∑=可知j j M W A =，其中j W 是W 中第j 个2×3的块。

因为3T
j j R R I =，可得：
222T
T T j j j j j M M s f I W AA W == （4-17）
这里只有第j 幅图像的比例因子j sf 和3×3的正定矩阵T Q AA =是未知的。

对每一个j ，方程提供两个线性齐次方程。

这样，对于J ≥3，可以有2J ≥6个线性方程可以解出带有一个比例222T
T T j j j j j M M s f I W AA W ==因子2q r 的Q 。

最
后对Q 可以进行因式分解（假设特征值都是非负的），计算特征值，T q q q Q U U =Λ，121T q q q
A U R r =Λ。

这里q r 是Q 中未知比例因子，q R 是任意3×3的正交矩阵。

因此已经恢复了矩阵1T q q q
A K R r =，这里1
2q q q K U =Λ是已知量。

接下来就可以够恢复形状矩阵r D 和相机矩阵r M ，其中
(1T D A V -=∑,M WA =，1()()T T C MD WA A V W V -==∑=∑） （4-18）
1,1,T
q q r r q T r q r q q
D r R D D K V M M R M WK r -==∑== （4-19） 这就是欧氏重建，因为咱们通过三维比例参数q r 和旋转矩阵q R 已经恢复了物体的形状。

旋转矩阵q R 的任意性表明不能恢复初始世界坐标系。

q R 的未知性
同时影响了物体的形状q D R D =与相机矩阵T r q M M R =。

这就是说q R 同时旋转了
场景与相机。

一样，任意q r 反映了不能肯定世界坐标系的尺度。

可以拍摄一个小物体用大的尺度j sf ，不能只从图像上区分。

这里q r 通过q r D r D =缩放了形状，并从头通过1
r q
M M r =
缩放了相机的比例参数j f 。

剩余的q R 不肯定性是necker ambiguity ，即q R 可以是一个倒影((1,1,1)q R diag =-)。

用平行投影（orthographic projection ）不能区分从左面看一个凹面和从右面看一个凸面。

与前面的两种不肯定性不同，这个不肯定性在透视投影中并非存在。

当J=2时，存在另外一个不肯定性，叫做浅浮雕（bas-relief ）不肯定性。

在这个不肯定性中，有一个额外的未知参数（在q K 中），与形状总高度（overall depth ）的转变及两相机间的旋转量的大小有关。

回到透视投影，它是为了修正光束法平差。

2
,,,,1j n n j n j n j j n
x o z y M P ⎛⎫
⎪
=
- ⎪ ⎪⎝⎭
∑
（4-20）
这种形式引出了下面的因式分解法。

假设已知投影深度,j n Z ，和信息矩阵,,()j n j n C z P =。

这是一个3J ×N 的矩阵，C 是4阶因数分解。

C MP = （4-21） M 是3J ×4的相机矩阵，P 是4×N 的形状矩阵。

规格化n C CL =，这样列就具有单位长度）。

然后对n C 进行SVD 因式分解 T n C W V =∑ （4-22） 这里将除前4阶的特征值设为0。

这里，W 是3J ×4，∑是4×4，T V 是4×N 。

记n C 的第n 列为n n Z z ，n Z 从图像点,j n P 和第n 个权重矩阵,n n L 取得的3J ×N 的矩阵。

1,,(,....)T n n J n z z z =，表示第J 帧图像第n 个特征点的投影深度。

更新n z 最优化当前的因式，就是说最小化
T n n n Z z W V e -∑
（4-23）
更新n z 使得n C 的列仍然具有单位长度的约束，1n n Z z =。

n e 是第n 个标准单位向量，,,n i n i e δ=在projectiveMassageDinom 中，n z 是在梯度方向上一步更新的约束优化问题)。

一旦所有的投影深度更新，就更新单位化信息矩阵n C ,并从头利用
T
n C W V =∑进行因式分解，直到收敛为止。

收敛以后取得一个投影因式T n C W V =∑。

如前面的比例正交算法一样，对应于一个非奇异矩阵H 。

这个算法中H 是一个4×4的三维单应性矩阵。

通常，
1n C C L MP -==，其中
11
T P H V L M WH
--=∑= （4-24）
因为矩阵P 取决于3D 单应性矩阵H ，所以这被称为射影重建。

射影重建可以通过相机矩阵j M 进行约束3D 单应性矩阵H 。

特别地，从方程,000000
1j in j
j f M f ⎛⎫ ⎪
= ⎪ ⎪⎝
⎭
和,(,)j ex j j j M R R d =-可以得 2
000ˆ0000
1j T j j j f M Q M f ∞⎛⎫
⎪=
⎪ ⎪⎝
⎭
（4-25）
这与方程2
22
T T
T j j
j j j
M M s f I W AA W ==形式差不多。

从方程11
T P H V L M WH
--=∑=有
M WH =，其中W 可以从射影矩阵的因式分解取得，所以
ˆˆT T T T j j j j j j M Q M W HQ H W W Q W ∞∞∞== （4-26） 从上面可以看出，对于第
j
个摄像机，方程
ˆˆT T T T j j j j j j M Q M W HQ H W W Q W ∞∞∞==与2
200ˆ0000
1j T j j j f M Q M f ∞⎛⎫
⎪
=
⎪ ⎪⎝
⎭
提供5个关于Q ∞的线性方程（若是j f 知道就是6个方程）。

所以取得至少5J 个关于Q ∞的线性方程。

因为已知Q ∞是4×4的对称矩阵（而且秩为3，具有非负特征值），只有10。