测量三维重构理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
平行四边形的相似不变量
长度比 t, 角 相似参数矩阵:
1 t cos t cos t2
X3
X4
t
X1
1
X2
平行四边形的仿射不变量
X1X4 [1,1,1]T , where X [X1 , X2 , X3 ]
Proposition 1. Suppose {mi } are the image of a parallelogram {Xi } , and let [q1 , q2 , q3 ]T [m1 , m2 , m3 ]1 m4 ,L [q2m2 q1m1 , q3m3 q1m1 ]. Then, we have: 1). Under the camera coordinate system，
（* KK T）
l * l2 0
l1,l2为两个正交平面的隐消线
1.
v1 ,v 2 是相互正交的隐消点，则有
v v1 0
T 2
2.
l1 ,l 2 为相互正交的隐消线，则
l * l1 0
T 2
3. 隐消点v与隐消线l是相互正交的，则
v l
*
，或等价地
l v
平行性与摄像机内参数
相似性,对称性与摄像机内参数
张淮峰，吴福朝 计算机学报，28（8）：1267－1276，2005
Wong,K.Y.K.,Mendonca,P.R.S.,Cipolla,R., IEEE PAMI,25(2):147-161,2003
自标定 1、基于KRUPPA方程的自标定
2、基于绝对二次曲线的自标定
T T 1 T
m3 m3
0 m5
0 m6
M [q2m2 q1m1 , q3m3 q1m1 , q5m5 q1m1 ]
Then, we have: 1). Under the camera coordinate system,
Xi 4 qi K mi , i 1...6
1、2D标定物的三幅图像求解 ； 2、Cholesky分解确定K.
基于1D标定物的标定
V2
V1
Z.Zhang,Camera calibration with 1D objects,IEEE PAMI,26(7):892-899,2004 F.C.Wu and Z.Y.Hu,Camera calibration with Moving 1D objects, Pattern recognition,38(5):755765,2005 L.Wang, F.C.Wu and Z.Y.Hu, Multi-camera calibration with 1D objects under general motions, ICCV2007
3、基于绝对二次曲面的自标定
基于KRUPPA方程的自标定
Kruppa方程 绝对二次曲线在两个视点下的像曲线分 别为 K T K 1, K T K 1，它们满足约束方 程： 两幅图像有2个独立 * T T 2次约束。如果内参 * [er ] F F s[er ] 数相同，K K ， 1 则3幅图像可以非线 F [er ] K RK 性确定内参数。
sPQ P
* *
T
1、如果P是欧氏投影矩阵，则与3D标定物等价
2、如果P是仿射投影矩阵，则与绝对二次曲线等价
3、如果P是射影投影矩阵，则需要摄像机的知识确
定绝对二次曲面的8个独立元素。
1.绝对二次曲线约束与绝对二次曲面约束等价；
2.Kruppa约束，可由绝对二次曲线约束或绝对 二次曲面约束导出； 3.如果在Kruppa约束中限制二次曲面是退化的， 则绝对二次曲线约束也可由Kruppa约束导出。
1
2). The intrinsic parameters of the camera and the similar invariants of the parallelogram satisfy:
2 (|| X2 X1 ||2 / 4 ) MTM
F.C. Wu, F.Q. Duan and Z.Y. Hu, ECCV2006 An Affine Invariant of Parallelograms and Its Application to Calibration and 3D Reconstruction
如何从图像确定H ？ 如何在射影重构空间中确定绝对二次曲面Q ？ 目前的所有自标定算法都缺乏数值稳定性， 即算法从带误差数据得到的解通常是不稳定 的 稳定性算法？ F.C.Wu, Z.H.Wang, Z.Y.Hu, Cayley transformation and Numerical stablility of calibration equation, IJCV(2009) 82:156-185
[m] PX=0
SVD分解确定P
X
P＝ [H, p4] H~KR (QR分解)
p4 ~Kt
基于2D标定物的标定 H~K[r1, r2,t]
[h1, h2]~K[r1, r2]
H K-1[h1, h2]~ [r1, r2] [h1, h2]T [h1, h2]=sI2 ( =K-T K-1 )
~ H H
T
1
T
1、内参数相同，4个独立约束， 3幅图像可以线性确定内参数；
2、内参数不同，5个独立约束。 没有摄像机的先验知识，不能 求解摄像机内参数。 3、如何求解H，则需要场景 结构的知识。
* ~ H * H
基于绝对二次曲面的自标定
* Q 的投影是DIAC，即 绝对二次曲面
基于几何结构或运动的标定
正交性
平行性 相似性 对称性
……等等
正交性与摄像机内参数 正交方向的隐消点 直线L上的无穷远点的图 像点称为直线L的隐消点 向量d是该直线的方向 , 则隐消点为 v＝Hd T v1 v 2 cos T T v1 v1 v 2 v 2
T 1
d2
d1 v2
F K RK [e ]
T T T T T 2
T r T T r
F F [er ] [e ] KK K K
* *
’
el
* T
er
* T r
F F s[er ] [e ]
基于绝对二次曲线的自标定
无穷远单应矩阵 H是无穷远平面 诱导出的两幅图 像间的二维射影变换，由二次曲线的射影变换规则， 两个视点下IAC或DIAC必满足下述方程：
X4
X3
Proposition 2. Suppose { mi } are the image of a parallelepiped{Xi }, and let
m4 , A m1 m2 [q1 , q2 , q3 , q5 , q6 ] (A A) A m4 0 0
仿射重构定理
从射影重构确定仿射重构与在射影重构空间中 确定无穷远平面是等价的
利用摄像机内参数的知识
绝对二次曲线与度量重构
度量重构定理I
绝对二次曲面与度量重构
度量重构定理II
H
v1
v v2 0 v1,v2为两个正交方向的隐消点
正交方向的隐消线 平面P上的无穷远线的图 像称为该平面的隐消线 向量n是该平面的法向 , 则隐消线为
n2
n1 H
l
T H n
K
T
l2
l1
Rn
cos
T 1
l1T * l2
T l1T * l1 l2 * l2
10.2 三维重构
1.射影重构 2.仿射重构 3.度量重构(欧氏重构)
三角原理
PX sm, PX s' m
三角原理的重构结果，是否为空间景物的欧氏 重构取决于摄像机所处的世界坐标系。 1、世界坐标系是欧氏的，即摄像机投影矩阵是 欧氏的，则重构结果是空间景物的欧氏结构； 2、世界坐标系是仿射的，即摄像机投影矩阵是 仿射的，则重构结果是空间景物的仿射结构； 3、世界坐标系是射影的，即摄像机投影矩阵是 射影的，则重构结果是空间景物的射影结构。
10. 摄像机标定与三维重构 10.1 摄像机标定
任务：确定摄像机内参数矩阵或 （欧氏）投影矩阵
Βιβλιοθήκη Baidu
方法：
1、基于标定物的标定
2、基于结构与运动的标定
3、自标定
基于标定物的标定
A、基于3D标定物的标定 B、基于2D标定物的标定 C、基于1D标定物的标定
基于3D标定物的标定
P＝K[R,t]
PX=sm
m
基本矩阵与射影重构
P=(I, 0), P’=(H, e’) 根据三角原理由对应点能得到景物的三维几何 结果。但这个结果是景物在某个射影空间中的 结构，即景物的射影结构。 在理论上，射影重构不需要任何有关摄像机的 参数（内、外参数）的景物的几何结构信息。
人们在习惯上总是在三维欧氏空间中来描述几 何物体，即希望得到景物的欧氏结构。如何从 射影重构得到欧氏重构？ 欧氏矩阵与射影矩阵之间相差一个三维射影变 换，即我们有：
(|| X2 X1 || / ) L L .
2 2 4 T
平行六面体的相似不变量 :
长度比： t1 , t 2
角： , , .
X5 t2 X1
X6 X2
1
t1
相似参数矩阵：
t1 cos t 2 cos 1 t cos 2 1 t1 t1 t 2 cos t 2 cos t1 t 2 cos t2 2
如何求解射影变换M？ 分层方法： 1、求解某个仿射坐标系下摄像机矩阵对的射 影变换，从而得到仿射重构；
2、求解某个欧氏坐标系下的摄像机矩阵对的 仿射变换，从而得到欧氏重构。
在摄像机内参数和运动参数都未知的情况下， 我们无法求解这样的射影或仿射变换，那么在 什么情况下能得到这样的射影或仿射变换？
无穷远平面与仿射重构
Xi 4 qi K1 mi , i 1...4
2). The intrinsic parameters of the camera and the similar invariants of the parallelogram satisfy: Where 4 is the projection depth of point X4; K T K 1is the IAC of the camera; v1 q2 m2 q1m1 and v 2 q3m3 q1m1 are the vanishing points of the parallelogram’s parallel sides .
长度比 t, 角 相似参数矩阵:
1 t cos t cos t2
X3
X4
t
X1
1
X2
平行四边形的仿射不变量
X1X4 [1,1,1]T , where X [X1 , X2 , X3 ]
Proposition 1. Suppose {mi } are the image of a parallelogram {Xi } , and let [q1 , q2 , q3 ]T [m1 , m2 , m3 ]1 m4 ,L [q2m2 q1m1 , q3m3 q1m1 ]. Then, we have: 1). Under the camera coordinate system，
（* KK T）
l * l2 0
l1,l2为两个正交平面的隐消线
1.
v1 ,v 2 是相互正交的隐消点，则有
v v1 0
T 2
2.
l1 ,l 2 为相互正交的隐消线，则
l * l1 0
T 2
3. 隐消点v与隐消线l是相互正交的，则
v l
*
，或等价地
l v
平行性与摄像机内参数
相似性,对称性与摄像机内参数
张淮峰，吴福朝 计算机学报，28（8）：1267－1276，2005
Wong,K.Y.K.,Mendonca,P.R.S.,Cipolla,R., IEEE PAMI,25(2):147-161,2003
自标定 1、基于KRUPPA方程的自标定
2、基于绝对二次曲线的自标定
T T 1 T
m3 m3
0 m5
0 m6
M [q2m2 q1m1 , q3m3 q1m1 , q5m5 q1m1 ]
Then, we have: 1). Under the camera coordinate system,
Xi 4 qi K mi , i 1...6
1、2D标定物的三幅图像求解 ； 2、Cholesky分解确定K.
基于1D标定物的标定
V2
V1
Z.Zhang,Camera calibration with 1D objects,IEEE PAMI,26(7):892-899,2004 F.C.Wu and Z.Y.Hu,Camera calibration with Moving 1D objects, Pattern recognition,38(5):755765,2005 L.Wang, F.C.Wu and Z.Y.Hu, Multi-camera calibration with 1D objects under general motions, ICCV2007
3、基于绝对二次曲面的自标定
基于KRUPPA方程的自标定
Kruppa方程 绝对二次曲线在两个视点下的像曲线分 别为 K T K 1, K T K 1，它们满足约束方 程： 两幅图像有2个独立 * T T 2次约束。如果内参 * [er ] F F s[er ] 数相同，K K ， 1 则3幅图像可以非线 F [er ] K RK 性确定内参数。
sPQ P
* *
T
1、如果P是欧氏投影矩阵，则与3D标定物等价
2、如果P是仿射投影矩阵，则与绝对二次曲线等价
3、如果P是射影投影矩阵，则需要摄像机的知识确
定绝对二次曲面的8个独立元素。
1.绝对二次曲线约束与绝对二次曲面约束等价；
2.Kruppa约束，可由绝对二次曲线约束或绝对 二次曲面约束导出； 3.如果在Kruppa约束中限制二次曲面是退化的， 则绝对二次曲线约束也可由Kruppa约束导出。
1
2). The intrinsic parameters of the camera and the similar invariants of the parallelogram satisfy:
2 (|| X2 X1 ||2 / 4 ) MTM
F.C. Wu, F.Q. Duan and Z.Y. Hu, ECCV2006 An Affine Invariant of Parallelograms and Its Application to Calibration and 3D Reconstruction
如何从图像确定H ？ 如何在射影重构空间中确定绝对二次曲面Q ？ 目前的所有自标定算法都缺乏数值稳定性， 即算法从带误差数据得到的解通常是不稳定 的 稳定性算法？ F.C.Wu, Z.H.Wang, Z.Y.Hu, Cayley transformation and Numerical stablility of calibration equation, IJCV(2009) 82:156-185
[m] PX=0
SVD分解确定P
X
P＝ [H, p4] H~KR (QR分解)
p4 ~Kt
基于2D标定物的标定 H~K[r1, r2,t]
[h1, h2]~K[r1, r2]
H K-1[h1, h2]~ [r1, r2] [h1, h2]T [h1, h2]=sI2 ( =K-T K-1 )
~ H H
T
1
T
1、内参数相同，4个独立约束， 3幅图像可以线性确定内参数；
2、内参数不同，5个独立约束。 没有摄像机的先验知识，不能 求解摄像机内参数。 3、如何求解H，则需要场景 结构的知识。
* ~ H * H
基于绝对二次曲面的自标定
* Q 的投影是DIAC，即 绝对二次曲面
基于几何结构或运动的标定
正交性
平行性 相似性 对称性
……等等
正交性与摄像机内参数 正交方向的隐消点 直线L上的无穷远点的图 像点称为直线L的隐消点 向量d是该直线的方向 , 则隐消点为 v＝Hd T v1 v 2 cos T T v1 v1 v 2 v 2
T 1
d2
d1 v2
F K RK [e ]
T T T T T 2
T r T T r
F F [er ] [e ] KK K K
* *
’
el
* T
er
* T r
F F s[er ] [e ]
基于绝对二次曲线的自标定
无穷远单应矩阵 H是无穷远平面 诱导出的两幅图 像间的二维射影变换，由二次曲线的射影变换规则， 两个视点下IAC或DIAC必满足下述方程：
X4
X3
Proposition 2. Suppose { mi } are the image of a parallelepiped{Xi }, and let
m4 , A m1 m2 [q1 , q2 , q3 , q5 , q6 ] (A A) A m4 0 0
仿射重构定理
从射影重构确定仿射重构与在射影重构空间中 确定无穷远平面是等价的
利用摄像机内参数的知识
绝对二次曲线与度量重构
度量重构定理I
绝对二次曲面与度量重构
度量重构定理II
H
v1
v v2 0 v1,v2为两个正交方向的隐消点
正交方向的隐消线 平面P上的无穷远线的图 像称为该平面的隐消线 向量n是该平面的法向 , 则隐消线为
n2
n1 H
l
T H n
K
T
l2
l1
Rn
cos
T 1
l1T * l2
T l1T * l1 l2 * l2
10.2 三维重构
1.射影重构 2.仿射重构 3.度量重构(欧氏重构)
三角原理
PX sm, PX s' m
三角原理的重构结果，是否为空间景物的欧氏 重构取决于摄像机所处的世界坐标系。 1、世界坐标系是欧氏的，即摄像机投影矩阵是 欧氏的，则重构结果是空间景物的欧氏结构； 2、世界坐标系是仿射的，即摄像机投影矩阵是 仿射的，则重构结果是空间景物的仿射结构； 3、世界坐标系是射影的，即摄像机投影矩阵是 射影的，则重构结果是空间景物的射影结构。
10. 摄像机标定与三维重构 10.1 摄像机标定
任务：确定摄像机内参数矩阵或 （欧氏）投影矩阵
Βιβλιοθήκη Baidu
方法：
1、基于标定物的标定
2、基于结构与运动的标定
3、自标定
基于标定物的标定
A、基于3D标定物的标定 B、基于2D标定物的标定 C、基于1D标定物的标定
基于3D标定物的标定
P＝K[R,t]
PX=sm
m
基本矩阵与射影重构
P=(I, 0), P’=(H, e’) 根据三角原理由对应点能得到景物的三维几何 结果。但这个结果是景物在某个射影空间中的 结构，即景物的射影结构。 在理论上，射影重构不需要任何有关摄像机的 参数（内、外参数）的景物的几何结构信息。
人们在习惯上总是在三维欧氏空间中来描述几 何物体，即希望得到景物的欧氏结构。如何从 射影重构得到欧氏重构？ 欧氏矩阵与射影矩阵之间相差一个三维射影变 换，即我们有：
(|| X2 X1 || / ) L L .
2 2 4 T
平行六面体的相似不变量 :
长度比： t1 , t 2
角： , , .
X5 t2 X1
X6 X2
1
t1
相似参数矩阵：
t1 cos t 2 cos 1 t cos 2 1 t1 t1 t 2 cos t 2 cos t1 t 2 cos t2 2
如何求解射影变换M？ 分层方法： 1、求解某个仿射坐标系下摄像机矩阵对的射 影变换，从而得到仿射重构；
2、求解某个欧氏坐标系下的摄像机矩阵对的 仿射变换，从而得到欧氏重构。
在摄像机内参数和运动参数都未知的情况下， 我们无法求解这样的射影或仿射变换，那么在 什么情况下能得到这样的射影或仿射变换？
无穷远平面与仿射重构
Xi 4 qi K1 mi , i 1...4
2). The intrinsic parameters of the camera and the similar invariants of the parallelogram satisfy: Where 4 is the projection depth of point X4; K T K 1is the IAC of the camera; v1 q2 m2 q1m1 and v 2 q3m3 q1m1 are the vanishing points of the parallelogram’s parallel sides .