多视角重建技术介绍

单视几何
x = y = Xc f Zc Yc f Zc
x f s y = 0 1 0
0 1 dy 0 u0 f v0 0 0 1
0 f 0
XC XC 0 0 YC = P YC 0 0 ZC ZC 1 0 1 1
min约束条件求解上述模型的方法主要是通过对构造的矩阵a进行svd分解来实现而构造矩阵a又需要寻找两幅图像上的对应点即立体匹配模拟实验效果对应点匹配传统三维重建过程step2
多视角重建技术介绍
报告人：姚刚
参考书目：An introduction to 3d vision (MASKS)
目录
引言-概念和应用领域 原理-单视几何 原理-双视几何 三维重建 多视角重建
为什么需要求基本矩阵：
1、我们能得到的只是图像上的点 2、空间距离信息我们是无法知道的，也就 是外参数无法知道
假设现在根据两幅图像上的对应点计算出了基本矩阵 F，则有：
基本矩阵的计算算法：8点算法
mi = [ui , vi ,1]T
mi ' = [ui ' , vi ' ,1]T
F = [F11 , F12 , F13 , F21 , F22 , F23 , F31 , F32 , F33 ]T
Xw Y w Zw 1
1 dx u s v = 0 1 0
0 f 0
u0 v0 1
0 R 0 T 0 0
Xw t Yw Z = M 1M 2 Pw 1 w 1
双视几何
1)如果内部参数已经标定：由于CC’,Cu,C’u’ 三个向量共面，故有
u T ⋅ [t × ( Ru ' )] = 0
ε称为本征矩阵 本征矩阵 2)如果内部参数未标定：
u T εu '= 0
F = K − T ε K ' −1
F称为基本矩阵 基本矩阵 注：推导过程非常复杂，这里就不在讲解，可以参考相关文献
单视几何
x u= + u0 dx v = y + v0 dy
1 dx u v = 0 1 0
0 1 dy 0
u0 x v0 y 1 1
x dx 0 −u0 dx u y = 0 dy −v dy v 0 1 0 0 1 1
0 0 R 0 0 T 0 1 0 Xw ax t Yw Z = 0 1 w 0 1 0 ay 0
XC Y C =R Z C 0T 1
Xw t Yw =M 1 Z w 1
'T
AF =0
数学模型： min A F
当 n>=8 时，可以线性求解 F。
约束条件 F = 1
求解上述模型的方法主要是通过对构造的矩阵A进行SVD分解来实现 而构造矩阵A又需要寻找两幅图像上的对应点，即立体匹配
模拟实验效果
0.0000000 0.0000017 -0.0017767 F = 0.0000017 -0.0000000 -0.0025000 0.0011100 -0.0025000 0.9999916
什么是多视角
Input: Corresponding “features” in multiple perspective images. Output: Camera pose, calibration, scene structure representation.
应用-ITS
应用-Unmanned Aerial Vehicles
重建分类
重建算法
基于两幅图像的重建
实验效果
多视角重建
多视角重建-(2D-3D-2D)
s 'u ' = P ' X = K ' [ R ' | T ' ] X
多视角重建-(2D-2D)
推导过程见雷邦军博士论文
K recL = K recR = K (相机相同) RcL = RcR = R
Rate: 10Hz; Accuracy: 5cm, 4o
应用- Real-Time Virtual Object Insertion
应用- Real-Time Sports Coverage
应用- Image Based Modeling and Rendering
应用- Image Alignment, Mosaicing, and Morphing
λL x imrecL = recL TL x imL λ λL x imrecR = recR TR x imR λ
TL = KRcL ( K L ) −1 TR = KRcR ( K R ) −1
重建效果
Thanks！
u '1 u1 u '1 v1 u '1 v '1 u1 A= M M M M u ' n un u ' n v n u ' n v ' n un v '1 v1 M v ' n vn v '1 M v'n u1 M un v1 1 M M vn 1
mi Fmi = 0
投影矩阵：
P = KM
K
M
：表示内部参数 ：表示外部参数
双视几何
双视几何
su = PX = K [ R | T ] X ' ' s u = ห้องสมุดไป่ตู้ ' X ' = K '[ R ' | T ' ] X
su = PX = K [ I | 0] X ' ' s u = P' X ' = K '[ R | T ] X
重建前期工作
图像底层处理 摄像机内部参数标定 特征点提取 对应点匹配
传统三维重建过程
Step1：标定K Step2：图像底层处理，提取特征点，寻找 匹配点对，估计基本矩阵F F Step3：根据估计出的基本矩阵F和已标定 的K可以构造投影矩阵P Step4：根据二维空间点，投影矩阵P可以 计算得到三维空间点坐标 Step5：连接坐标点构成线框模型 Step6：图像渲染，得到真实感的图像