(基本概念)点云三维重构文档

圆形标志点双目测量数据配准方法
一．引言：
针对三维测量系统的特点，我们可以利用人为制作的圆形特征点作为标志点，并将其紧附于待测物体表面。

通过检测，可以得到若干标志点在不同视角下的三维坐标。

然后依据标志点的空间几何不变性,得到不同标志点在不同视角下的匹配关系。

通过若干标志点的匹配关系,进而求得不同视角下的坐标系变换关系,最终对整个三维数据进行配准。

二. 标志点匹配：
为了便于标志点的提取，标志点设置为外方内圆、外黑内白的样式。

设置标志点时应尽量使得标志点位于两个视角的重叠区域，并且标志点处于无序状态，随机分布。

1.
用三维测量系统对实物进行测量,即可以得到不同视角下的点云数据,同时得到不同视角下的标志点的三维坐标数据
（问题一）。

假设在两个不同视角下得到的标志点集分别为：
{}x i L l l L i i ,...,2,1,|=∈= {}y i M m m M i i ,...,2,1,|=∈=
2.
对于L 中的各点分别求出其中任意两点的距离，得到距离矩阵A ，其中
⎥⎥
⎥
⎥
⎥
⎦
⎤
⎢⎢⎢⎢⎢⎣⎡=-12
1
2321213
12
1......k k k k k k l l l l l l l l l l l l l l l l l l A
同理，我们也可以得到M 中各点任意两点的距离矩阵B 。

3.
由于在不同视角下,标志点之间的相互位置并没有改变,因而它们具有空间特征不变性,比如某两个标志点之间的距离并不会因为视角的改变而改变。

这样,本文的匹配算法基于以下策略:
i ）由于三维测量系统得到的点云误差不可避免都存在一定的误
差,因此本文认为,如果两个距离值的差值不超过δ(δ的值依三维测量系统本身的精度而定),那么可以认为这两个距离值是相等的。

ii ）对于不同视角下的同一个标志点（也就是所要求得的匹配点对），它们在各自视角下与其它标志点的距离值至少有若干个是相等的。

如果相等的距离值数目超过N (N 视标志点在重叠区域的数量情况而定),那么可以认为这两个在不同视角下的标志点是一对匹配点。

基于以上策略,我们可以得到在两个视角下获得的标志点三维数据
点
集
的
子
集
{}n i P p p P i i ,
.
..,
2,1,|=∈=和{}n i Q q q Q i i ,...,2,1,|=∈=，即可以得到n 对匹配点。

三. 转换参数R 和T 的求取：
三维数据配准技术的实质是把在不同的坐标系中测量得到的数据点云进行坐标变换,问题的关键是坐标变换参数R (旋转矩阵)和T (平移向量)的求取。

假设在两个视角下获得的曲面测量三维数据点云具有部分重叠区域,那么重叠区域中的标志点在两个视角下的三维坐标显然也符合上面的转换关系。

假设已经获得两个不同视角下的标志点匹配对{}n i P p p P i i ,...,2,1,|=∈=和
{}n i Q q q Q i i ,...,2,1,|=∈=，i p 和i q 都是13⨯的向量，则在两视角下测得的三维数据点
之间的坐标转换关系R (旋转矩阵)和T (平移向量)，应该使下面的函数最小：
∑=+-=n
i i i T Rp q E 1
2
)( (1)
对于(1)式，采用SVD 矩阵分解算法，步骤如下：
1). 对于空间点集{}n i P p p P i i ,...,2,1,|=∈=和{}
n i Q q q Q i i ,...,2,1,|=∈=分别计算p 和q ，其中
∑==n
i i p n p 11 (2)
∑==n
i i q n q 1
1 (3)
2). 计算'i p 和'i q ，n i ,...,2,1=:
p p p i i -='.................................（4） q q q i i -=' (5)
将式（4）、（5）代入式（1），消去T ，就可以得到
∑=-=n
i i
i Rp q E 12
''
(6)
3）. 对于（6）采用SVD 矩阵分解法得到R 。

4）. 计算平移向量T
Rp q T -= (7)
得到旋转矩阵R 和平移向量T 后，对于点集Q 中的任一点∙
q 都可以通过下
式
)(1T q R p -=- (8)
得到点∙
q 转换到点集P 坐标系下的∙
p ，从而实现数据的配准。

下一步，将两个视角下的测量数据配准后，如何转换到统一的坐标系下？如何将两视角的数据进行拼接成一个坐标系下的。

得到了两幅图像上的对应匹配点,针对对应匹配点进行计算,通过相匹配标志点之间的外极线几何约束可得到基础矩阵,然后再通过基础矩阵对标志点进行三维重建。

问题一解决方案：
针孔相机模型
设P 是空间一点，),,(c c c Z Y X 是该点在摄像机坐标系中的坐标，),(y x 是其像点m 在图像平面上的坐标（由二维图像行列坐标),(v u 转换求得），f 为摄像机的焦距，根据透视摄影关系有：
⎪⎪⎩
⎪
⎪⎨⎧
==c c
c c Z X f x Z X f x 可以变形为：
⎥
⎥⎥⎥
⎦
⎤⎢⎢⎢⎢⎣⎡⎥⎥
⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1010
000000
1c c c c Z Y X f f y x Z ),(v u 表示以像素为单位的计算机图像坐标系坐标，),(y x 表示以毫米为单
位的成像平面坐标系坐标。

x d ，y d 分别表示图像平面上单位像素间的距离，设图像主点坐标1O 在图像坐标系中的像素坐标为),(00v u 。

则图像坐标系与灰度像素坐标系的关系可以表示为：
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦
⎤⎢
⎢⎢⎢⎣
⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡110
101
1001y x v d u s d v u y x 由于摄像机和物体可以安放在环境中的任何位置，因此还需要在环境中选择一个基准坐标系来描述摄像机的位置，并用它来描述环境中任何物体的位置，这个坐标系就叫做世界坐标系w w w Z Y X O -。

世界坐标系与摄像机坐标系
之间的关系可用旋转矩阵R 和平移向量t 来描述。

设空间中某点P 在世界坐标系和摄像机坐标系下的齐次坐标分别为)1,,,(w w w Z Y X 与)1,,,(c c c Z Y X ，则它们 之间存在如下关系：
⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡=⎥⎥
⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎥⎥⎥
⎦⎤
⎢⎢⎢⎢⎣⎡111011w w w w w w T
c c c Z Y X M Z Y X t R
Z Y X
其中R 是33⨯正交矩阵，T z y x t t t t ),,(=是三维平移向量，T )0,0,0(0=，1
M 是44⨯矩阵，表示两个坐标系之间的关系。

以上三式联立可得问题一的答案：
⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡⎥⎥⎥⎥
⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢
⎢⎢⎢⎣
⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1101010
0000000
100101
1001w w w T
c c c y x c Z Y X t R Z Y X f f v
d u s d v u Z ⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=111001
0002100w w w w w w T
v u
Z Y X M M Z Y X t R v f u s f
其中，),(00v u 是主点坐标，x u d f f =，y
v d f f =分别表示u 轴和v 轴的尺
度因子，1s f s ⨯=表示摄像机的倾斜因子。

上式也可以表示成：
[]⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡111w w w w w w Z Y X M Z Y X t R K v u λ
其中，λ是一比例因子，R 、t 分别表示旋转矩阵和平移向量。

矩阵K 是
内参数矩阵，通常表示为五参数模型。

[]t R K M =为摄像机的投影矩阵。

这些参数都可以通过相机标定来求得。