计算摄像学专题第七讲

-24-
图像获取、摄像机位姿 图像获取
建立图像间的 摄像机位姿 三维一致性对应
由三维一致性对应 三维重建 重建三维物体
三维重建 = 三维分割
三维点的图像一致性对应
一致的点
-25-

三维点的图像一致性对应
不一致的点
-26-

三维点的图像一致性对应
-27-
图像一致性的挑战
• 摄像机可见性
-28-
-14-
有纹理
刚性
可变形
无纹理
多视角立体方法
多视角立体方法是:


-15-
实用的 快速的 无需外界介入的 低成本 容易扩展到室外 低精度 结果依赖于材质
多视角立体框架
-16-
图像获取
摄像机位姿
三维重建
图像获取
• 工作室
可控环境
-17-
• 不可控环境
手持设备 未知光照
• 互联网
http://media.au.tsinghua.edu.cn/likun.jsp
多摄像机系统的几何校准
J H1 P1 H1 1 Q1 Q J PQ W 1 J H I H I PI

-38-
调整每个相机的增益和亮度来匹配预定的黑水平和平均亮度值 再次调整这些量来匹配相邻相机重叠区域的颜色值 对预定值的选择敏感 仅能保证相邻相机间的颜色一致性
大规模摄像机阵列的颜色校准
从单相机到多相机 标准颜色板

-39-
第一个保证相机间颜色一致性的多相机颜色校准方法(Joshi等)

光度立体 多视角立体
国内外研究现状
动态三维重建——运动捕捉
带标记的方法

-58-
附着许多光学标记或者在衣服上印刷标记图案 需穿紧身衣服 需要额外的人工后处理工作 耗时
2.2 动态场景三维重建方法
国内外研究现状
静态三维重建


-57-
三维激光扫描仪 昂贵、耗时、被扫描者需在扫描期间保持静止不动 由 X 恢复形状（Shape from X） 由阴影恢复形状（Shape from shading） 由轮廓恢复形状（Shape from silhouette） 由立体匹配恢复形状（Shape from stereo）
-41-
全新全向颜色校准物
-42-
一张具有朗伯反射表面的硬纸 160 (8×20) 色块


6 cm × 6 cm 方块 H: 6 cm; V: 3cm
全局对应的建立
SIFT局部描述子 + 基于区域的相关性
-43-
将成对的匹配串成全局对应
E {em }1mM
m em {( i , P i )} 1i Nm


i
k

对于全局对应em中的所有相关相机，有
线性方程组的建立
动态范围整形
计算每个全局对应的平均值 将所有全局对应的平均值以升序排列 选择排序后的前t%和后t%个全局对应作为黑水平集合 水平集合 对于

-45-
和白
线性方程组的建立
相机参数设置 Point Grey Flea2 相机

线性拟合 3×4变换

迭代闭环方法(Ilie等)
仅适用于平面摄像机阵列系统
大规模摄像机阵列的颜色校准
对于非平面系统 多视角立体 + 校准(PAMI07) Yamamoto等(IMT07)

-40-
非硬件调整 人工参与
大规模摄像机阵列的颜色校准
本课题方法 设计一种新的全向颜色校准物 全自动、不需要人工参与 精确建立全局对应关系 将问题转化为线性方程组求解 保证所有相机间的颜色一致性 通过动态范围整形保证采集图像的高对比度 软硬件迭代求解，减小误差，提高求解精度
未知内容
• 视频
帧间运动小 数据量大
工作室图像获取
-18-
室外图像获取
-19-
互联网图像获取
-20-
...
视频图像获取
-21-
多视角立体框架
-22-
图像获取
摄像机位姿
三维重建
摄像机位姿
• 机器臂
-23-
小场景
• 标记 • 由运动恢复形状 (SfM)
大场景 • 从无序图片中恢复形状
多视角立体框架
视角
-11-
?
几何 材质 光照
图像
多视角立体方法
给定同样的材质、视角和光照，估计一个可以
产生与输入图像相同效果的三维模型
-12-
Real
Replica
多视角立体方法
效果主要依赖于材质和光照
-13-
有纹理
刚性
可变形
无纹理
多视角立体方法
效果主要依赖于材质和光照 没有任何一个算法可以同时解决各种情况的场景
多视角立体方法概述
多视角视频重建动态三维场景
2.1 多摄像机系统的几何和颜色校准 2.2 动态场景三维重建方法
2.3 动态场景高帧率三维重建
硬件系统设计及校准
MVML(多光照多相机)采集系统，实现动 态光场的可控采样
直径６米 40个相机 600个LED 颜色校准物
-34-
-35-
数据库发布
多视角视频数据发布
线性方程组的建立
相机间颜色一致性 g I b g I b
k k
m m
-44-
k
i m
i i
i
Nm
m { i }1i Nm
I m 1 1 m i 1 g I b g b 0 k k Βιβλιοθήκη Baidu k i i N N N m m m i m

最新的算法
非常好的精确性和完整性
很多都是针对视角少的情况
离线算法，没有反馈
不同方法*
*声明: 分类三维算法是很有挑战性的 3d Delaunay
[Labatut07]
-31-
[Vu09]
变分
区域增长
[Furakawa07] [Habecke07] [Goesele07] [Lhuillier02] [Yoon10] [Gargallo07] [Pons05] [Jin05] [Keriven98]
早期的算法：

Representing stereo data with the Delaunay triangulation, O. Faugeras et al., Artificial Intelligence, 44(1-2):41-87, 1990. A multiple-baseline stereo, M. Okutomi and T. Kanade, TPAMI, 15(4):353-363, 1993.
-36-
某些元素空缺

分组方法

以每个摄像机为顶点，以边相连，边的权重为所连两摄像机之间的公共姿态数
解决方法：合理分组

分组条件
每组中任意两摄像机的权重需大于或等于t
不同组间的i对相邻摄像机中有多于i-1对的权重大于或等于t
分组的数目i越小越好 分为i组时的最优分法对应的值 应该最大
多摄像机系统的颜色校准
目标 单相机
调整颜色响应，与标准颜色空间建立已知关系
-37-
多相机
保证相机之间的颜色一致性
方法

硬件调整(PAMI07) 后处理(IMT07)

二者兼有(ICCV05)
大规模摄像机阵列的颜色校准
从单相机到多相机 场景统计(RingCam)
-32-
深度图融合
通过对遮挡鲁棒的图像一致性方法计 算深度图，融合所有深度图
特 点 优 点 缺 点
基于平面的图像一致性提供了最好 的总体结果 许多可调的参数，即很难调至最优 结果
灵活的框架 容易参数化 图像一致性准则简单，不是最优的。 当图像纹理较少或分辨率低时，准则 不适用。
第五讲提纲
一 二
-33-
-1-
计算摄像学专题第七讲
—— 多视角立体动态三维重建 戴琼海 李坤 清华大学 自动化系
第五讲提纲
一
-2-
多视角立体方法概述
多视角视频重建动态三维场景
2.1 多摄像机系统的几何和颜色校准 2.2 动态场景三维重建方法 2.3 动态场景高帧率三维重建
二
三维模型
真实物体的“数字副本” 允许我们

多视角立体方法
比较与评测：

-30-
A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms, S. Seitz et al., CVPR 2006, vol. 1, pages 519-526. http://vision.middlebury.edu/mview/
Variational principles, surface evolution, PDE's, level set methods and the stereo problem, O. Faugeras and R. Keriven, IEEE Trans. on Image Processing, 7(3):336-344, 1998.
A portable three-dimensional digitizer, Y. Matsumoto et al., Int. Conf. on Recent Advances in 3D Imaging and Modeling, 197-205, 1997.


Photorealistic Scene Reconstruction by Voxel Coloring, S. M. Seitz and C. R. Dyer, CVPR., 1067-1073, 1997.
• 比较法则失效
–重复的纹理
–缺少纹理
–镜面反射
多视角立体方法
比较与评测：

-29-
A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms, S. Seitz et al., CVPR 2006, vol. 1, pages 519-526.
[Goesele07]
扫描技术
激光扫描仪，坐标测量仪 非常精确 非常昂贵 运用复杂
-9-
Minolta
―Michelangelo‖ project
Contura CMM
扫描技术
结构光
-10-
[Zhang02]
多视角立体方法
给定同样的材质、视角和光照，估计一个可以
产生与输入图像相同效果的三维模型


-3-
观察物体细节 衡量一些属性 重新生成不同材质
应用

文化资产保存 计算机游戏和电影 城市建模 电子商务 三维物体识别 / 场景分析
应用：文化资产
-4-
应用：艺术
-5-
Block Works Precipitate III 2004 Mild steel blocks 80 x 46 x 66 cm
Domain Series Domain VIII Crouching 1999 Mild steel bar 81 x 59 x 63 cm
应用：结构设计
-6-
应用：三维检索
-7-
? ??
? ?
?
?
?
?
应用：大尺度建模
-8-
[Furukawa10]
[Pollefeys08]
[Cornelis08]


Object-centered surface reconstruction: Combining multi-image stereo and shading, P. Fua, Y. Leclerc, International Journal of Computer Vision, vol. 16:35-56, 1995.
深度图融合 局部
[Bradley08] [Strecha06] [Pollefeys08] [Kolmogorov02]
全局
[Kolev08] [Campbell08] [Vogiatzis07] [Hernandez04]
最灵活的算法
区域增长
从一组点云开始，通过最大化图像 间的一致性增长小的平面块
-46-

软硬件迭代次数≤ 5
实验结果
t 2, r1 11, r2 17, lb 0.05 255 12, lw 0.95 255 242
-47-
在合成图像上的 实验
在真实系统上的 实验
实验结果——合成图像
-48-
48
实验结果——合成图像
-49-
实验结果——平面系统
-50-
实验结果——平面系统
-51-
-52-
实验结果——非平面系统
-53-
实验结果——非平面系统
-54-
实验结果——非平面系统
-55-
第五讲提纲
一 二
-56-
多视角立体方法概述
多视角视频重建动态三维场景
2.1 多摄像机系统的几何和颜色校准 2.2 动态场景三维重建方法
2.3 动态场景高帧率三维重建