基于图像的三维建模技术综述

1999 基于数据库 交互建模 2004 2006
Blanz Mao Muller
基于人脸数据库 基于人体数据库 基于建筑元素数据库
重庆科技学院
电气与信息工程学院
测控技术与仪器
交互法 避免建模过程的发散
依赖客户
优点
通用性较高
缺点
依赖交互操作
商业建模软件的核心 Autodesk ImageModeler；Google Sketchup
重庆科技学院
电气与信息工程学院
测控技术与仪器
应用
工业设计
传统应用方向
2 3 影视制作
文物保存
1
Cycle
4 游戏娱乐
医疗康复
重庆科技学院
5
电气与信息工程学院
鲁棒性差 精确性差 （窗口形状、大小）
1998
重庆科技学院
Boykov
基于图割的全局优化 （添加平滑性约束）
电气与信息工程学院 测控技术与仪器
亮度法
亮度信息 无手工交互 没有严格的 光照条件要求 灵活性低 建模精度高
优点
缺点
鲁棒性低
全自动
复杂性高
应用于文物数字化、 人脸自动建模
重庆科技学院
电气与信息工程学院
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类
基于图像的建模
基于图像的建模能够生成物体精确的三维几何模型， 根据图像采集时对光源是否进行主动控制，基于图像的几 何建模可以分为主动法与被动法2 种。
基于图像的建模
主动法
被动法
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 主动法
激光扫描法 优点
明暗法
灵活性低
优点
无手工交互 全自动
缺点
鲁棒性低 复杂性高
没有严格的 光照条件要求
应用于文物数字化、 人脸自动建模
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
纹理法：
基于纹理的建模（shape from texture）通过分析单张图像 中物体表面重复纹理单元的大小、形状，恢复出物体的法向、 深度等信息，并得到三维几何模型。 对于一个具有光滑表面并覆盖了重复模式（纹理单元）的 物体，当被投影在二维图像时，模式会发生一定程度的变形。 射影变形 使得与图像平面越远 的纹理单元看上去越小 使得与图像平面角度越大 的纹理单元看上去越短
重庆科技学院
电气与信息工程学院
测控技术与仪器
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 1、传统的三维建模技术
传统的三维建模主要使用基于几何造型的建模方法，由专 业美术人员通过使用几何造型软件（如AutoCAD，3DsMax， Maya等），运用计算机图形学与美术理论，创建出物体的三维 模型。
电气与信息工程学院 测控技术与仪器
建模速度快
鲁棒性高 复杂性低 效率最高
轮廓法
输入源要求高
优点
缺点
精度低 物体大致的 三维轮廓 与拓扑
通用性好 透明、 纹理欠缺、 特征点较少 的物体的建模
重庆科技学院
应用于人机交互、 运动跟踪
电气与信息工程学院
测控技术与仪器
实现方法
亮度法：
基于亮度的建模（shape from illumination）通过分析物体 多个视角下图像中亮度特征的一致性关系，恢复出其表面的深 度信息，并得到其三维几何模型。 亮 度 亮 一 Concept 度 致 一 性 致 算 性 对于满足 子 朗伯表面假设 颜色绝对差值算子 的物体，不论光源方向如何， 误差平方和算子 相同的表面点从任何方向观 归一化互相关算子 察都具有同样的亮度 特殊算子（特殊物体）
电气与信息工程学院
测控技术与仪器
实现方法
轮廓法 运动法 亮度法
明暗法
实现方法
变焦法
纹理法
交互法
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
轮廓法：
基于轮廓的建模（shape from silhouettes/contours）通 过分析物体多视角下的轮廓图像（contour）或侧影轮廓线 （silhouette），得到物体的三维模型。
1999
相机内参数自动定标
Pollefeyes
射影层次重建升级为 度量层次的重建
电气与信息工程学院 测控技术与仪器
相机焦距改变情况下
重庆科技学院
不需预先标定 相机的参数， 从而降低了对 图像采集过程 实用价值高 的限制
运动法
优点
缺点
建模精度较低
对光照条件 图像噪声具有 鲁棒性高 鲁棒性
应用于室外场景、 自然景观、建筑物等 的三维建模。
Company
LOGO
基于图像的3-D建模技术综述
组员：
目 录
ຫໍສະໝຸດ Baidu引言
基本分类
实现方法 应用
总结与展望
重庆科技学院 电气与信息工程学院 测控技术与仪器
引 言
对于计算机而言，其所能够直接获取到的数据源仅为二 维平面图像，相对于真实的三维景物无疑会存在着一定程度 的信息丢失，因此利用二维图像来重建三维物体便不可避免 的成为一个重点问题。在实际工作中采用对同一物体从不同 的角度分别成像，进而对这些数据进行分析、综合来恢复出 被摄物体的三维信息。
电气与信息工程学院 测控技术与仪器
失焦法
重庆科技学院
聚焦法
2000 1998
Yun
动态规划的优化方法 频域法
Watanabe
失焦法
1999 Rajagopalan 统计法
2005 Favaro 空域法
2007
2009
Pradeep Hasinoff
利用失焦形成的模糊 共焦立体视觉法
重庆科技学院
电气与信息工程学院
1999
Woodham
重庆科技学院
电气与信息工程学院
测控技术与仪器
1975
Horn
明暗度方程 （二维图像中各像素明暗度）
1993
Lions
基于粘性约束的建模方法
1996
Camilli
基于图像边沿已知
2004
Prados
实用方法（文献？）
重庆科技学院
电气与信息工程学院
测控技术与仪器
精确地计算 物体表面的 法向量与 建模精度高 深度值
映射 二维图像点 三维空间点
重庆科技学院
电气与信息工程学院
测控技术与仪器
1997 基于灭点 与几何约束 1999 2000
Horry Cipolla Criminisi
基于单张相片的漫游 灭点求取相机参数 单目度量技术
只能处理一些比较规则的平面与几何体
重庆科技学院
电气与信息工程学院
测控技术与仪器
基于复杂信息 直接使用交互的手段，给图像中的像素设置复杂 的深度、法向等信息，从而恢复得到三维模型。 交互建模
重庆科技学院 电气与信息工程学院 测控技术与仪器
1997
Seitz
体素颜色法
2000 1999
Kutulakos Culbertson
空间雕刻法 通用体素颜色法
2003
1998
重庆科技学院
Cheung
Faugeras
搜索空间由三维降至一维
水平集的局部优化
电气与信息工程学院 测控技术与仪器
逆向法
在图像中搜索满足亮度一致性的匹配点，使用立体视觉的 三角测量原理，由这些特征点反算其对应的三维点位置。
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 2、非传统的三维建模技术
三维漫游效果
三维全景漫游是指在由全景图像构建的全景空间里进 行切换，达到浏览各个不同场景的目的。 目前，实现三维全景漫游的技术有两种，一是在三维 全景或地图中添加其他三维全景的链接。第二种方法是采 用计算机视觉技术和计算机图形图像技术，获取全景图像 对应的环境模型，实现全景空间与真实环境的一一映射。
重庆科技学院
电气与信息工程学院
测控技术与仪器
1992
Tomasi
因式分解
射影重建
1992
Faugeras
几何约束
仿射、度量与欧氏层次的重建
重庆科技学院 电气与信息工程学院 测控技术与仪器
内部参数不变情况下 1997 Hartley
Kurppa方程 与SVD分解标
一般物体的重建， 需要知道相机的内部参数。
重庆科技学院
电气与信息工程学院
测控技术与仪器
1976 Bajesy 傅里叶变换 1990 Brown 等方性纹理重建
存在过约束 实用性较差
1992 Garding 理论联系纹理梯度与表面曲面 谱分析法 1993 2002 2005 Malik Clerc Loh 仿射变换重建 小波分解 仅适用于纹理单元 结构不发生改变
电气与信息工程学院 测控技术与仪器
重庆科技学院
实现方法
明暗法：
基于明暗度的建模（shape from shading）通过分析图像 中的明暗信息，运用反射光照模型，恢复出物体表面的法向信 息，从而得到其三维几何模型。 基于光度立体视觉的建模
使用同一视点、不同光照条件下 得到的多幅图像明暗信息，可以 增加明暗度方程的约束，提高求 解的精度与鲁棒性
基于立体视觉的建模 由于匹配点的搜索是一个高自由度的问题，简单的搜 索方法极易陷入局部最优，这将极大地影响重建效果。因 此，逆向法主要需解决匹配特征点的高效搜索问题。 搜索的空间由二维降低到一维 图像间极线的对应关系
重庆科技学院 电气与信息工程学院
极线几何约束 图像校正
测控技术与仪器
单点比较
点匹配 窗口比较
重庆科技学院 电气与信息工程学院 测控技术与仪器
正向法
对物体所在的三维空间进行均匀采样，将各采样点投影到 所有可见的二维图像中，若其投影满足亮度一致性，则说明该 三维点属于物体表面，将其保留，否则，将其剔除。 基于图像一致性的重建
图像壳（photo hull） （物体的三维采样表示） 三维模型
由于采样点在投影过程中存在的互相遮挡现象会破坏 亮度一致性的判断，因此，正向法主要需解决遮挡问题。
变焦法：
基于变焦的建模方法（shape from focus/defocus）通 过分析相机焦距、光圈与图像清晰度之间的关系，恢复出 物体的深度，从而得到其三维模型。
聚焦法
采集大量不同焦距下物体的图 像，对于每个表面区域，从中检索 出聚焦最佳的图像，从而反求出物 体的深度，并进行重建。 在图像采集的过程中，记录下 改变相机焦距的多张图像，通过分 析其不同区域的模糊程度，恢复出 物体表面深度，从而进行建模。
测控技术与仪器
实现方法
运动法：
基于运动的建模（shape-structure from motion）通过在2 幅或多幅未定标图像中检测匹配的特征点集，使用数值方法， 同时恢复出相机运动参数与场景几何，并得到物体三维模型。
Harris KLT SIFT
匹配 特征 点 检测 算子
恢复出相邻图像间 相机的位置关系
透视投影下的表面重建
2006 Forsyth 正交投影下的表面重建
重庆科技学院 电气与信息工程学院
纹理单元 拓扑改变
测控技术与仪器
纹理法 建模精度对 光照、噪声不敏感、 鲁棒性强的优势
优点
缺点
通用性较低
与明暗法 在数学上是等价的 基于不同的理论依据
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
•
缺点
Text
得到物体 精确的表 面细节特 征
成本很高 •操作不便 •后期处理 •有损处理
•
阴影法
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 被动法
并不直接控制光源，而通过被动地分析图像中各种特征信 息，逆向地重建出物体的三维模型。
对光照要求低
被动法 Text
技术成熟
成本较低
操作简单
重庆科技学院
测控技术与仪器
变焦法 物体表面的几何细节
操作复杂
优点
对光照条件不苛刻
缺点
建模效果差
在采集图像的过程中 改变相机的 焦距、光圈等设置
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
交互法：
基于交互的建模方法（shape from interaction）通过引 入少量的用户交互，为建模算法提供数据与约束信息，可以 方便、快捷、鲁棒地生成较精确的三维模型。 这种方法结合了传统手动建模与基于图像自动建模的优 势，实用性较强。
测控技术与仪器
测量变形量， 反求物体表面 法向、深度，
透视收缩变形
重庆科技学院
电气与信息工程学院
1950 特征分析法 1981
Gibson
从纹理梯度中 恢复平面的法向
Witkin
从等方性的纹理中 恢复平面的法向
方法比较简单，却需要进行精确的特征检测， 鲁棒性较低，并且对图像中纹理信息的利用率不高。
Tarini Marching Intersection 结构
电气与信息工程学院
Franco
八叉树 数据结构
兼顾速度 与精度
重庆科技学院
测控技术与仪器
2001
Matusik
多边形逼近侧影轮廓线 消除锯齿现象
2000
Snow
背景减除算子实现亮度图像建模
2004 2006
重庆科技学院
Sinha 从未定标图像中生成三维可视壳 Forbes
可视壳是所有轮廓图像反 Laurentini 投影到三维空间中形成的 三维锥壳的交集。 Martin 将物体所在的三维空间离散化成 体素，并使用正向试探，剔除投 影在轮廓区域外的体素，从而得 到物体的三维模型。
测控技术与仪器
1994
1983
重庆科技学院
电气与信息工程学院
1993
2002
2003
Szeliski