基于图像的三维建模技术综述

重庆科技学院
电气与信息工程学院
测控技术与仪器
1992 1992
Tomasi
因式分解
Faugeras
几何约束
射影重建
重庆科技学院
ห้องสมุดไป่ตู้
仿射、度量与欧氏层次的重建
电气与信息工程学院
测控技术与仪器
内部参数不变情况下
1997
Hartley
Kurppa方程 与SVD分解标
一般物体的重建， 需要知道相机的内部参数。
重庆科技学院
电气与信息工程学院
测控技术与仪器
1997
Seitz
体素颜色法
2000 1999
Kutulakos Culbertson
空间雕刻法 通用体素颜色法
2003
Cheung
搜索空间由三维降至一维
1998
Faugeras
水平集的局部优化
重庆科技学院
电气与信息工程学院
测控技术与仪器
逆向法
在图像中搜索满足亮度一致性的匹配点，使用立体视觉的 三角测量原理，由这些特征点反算其对应的三维点位置。
2000 Yun 动态规划的优化方法
1998 Watanabe 频域法 1999 Rajagopalan 统计法 2005 Favaro 空域法
2007 Pradeep 利用失焦形成的模糊
2009 Hasinoff
共焦立体视觉法
重庆科技学院
电气与信息工程学院
测控技术与仪器
物体表面的几何细节 对光照条件不苛刻
聚焦法
采集大量不同焦距下物体的图 像，对于每个表面区域，从中检索 出聚焦最佳的图像，从而反求出物 体的深度，并进行重建。
失焦法
在图像采集的过程中，记录下 改变相机焦距的多张图像，通过分 析其不同区域的模糊程度，恢复出 物体表面深度，从而进行建模。
重庆科技学院
电气与信息工程学院
测控技术与仪器
聚焦法 失焦法
深度值
明暗法
优点
缺点
无手工交互
没有严格的 光照条件要求
全自动
应用于文物数字化、 人脸自动建模
灵活性低 鲁棒性低 复杂性高
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
纹理法：
基于纹理的建模（shape from texture）通过分析单张图像 中物体表面重复纹理单元的大小、形状，恢复出物体的法向、 深度等信息，并得到三维几何模型。
1994 1983
重庆科技学院
可视壳是所有轮廓图像反 Laurentini 投影到三维空间中形成的
三维锥壳的交集。
Martin
将物体所在的三维空间离散化成 体素，并使用正向试探，剔除投 影在轮廓区域外的体素，从而得 到物体的三维模型。
电气与信息工程学院
测控技术与仪器
1993
2002
2003
Szeliski
多个视角下图像中亮度特征的一致性关系，恢复出其表面的深
度信息，并得到其三维几何模型。
亮 度 一 致 对于满足 性
Concept
朗伯表面假设
的物体，不论光源方向如何，
相同的表面点从任何方向观
察都具有同样的亮度
亮 度 一 致 性 算 子
颜色绝对差值算子 误差平方和算子 归一化互相关算子 特殊算子（特殊物体）
Tarini
Franco
八叉树 数据结构
重庆科技学院
Marching Intersection
结构
兼顾速度 与精度
电气与信息工程学院
测控技术与仪器
2001
Matusik
多边形逼近侧影轮廓线 消除锯齿现象
2000
Snow
背景减除算子实现亮度图像建模
2004 2006
Sinha Forbes
从未定标图像中生成三维可视壳
重庆科技学院
电气与信息工程学院
测控技术与仪器
正向法
对物体所在的三维空间进行均匀采样，将各采样点投影到 所有可见的二维图像中，若其投影满足亮度一致性，则说明该 三维点属于物体表面，将其保留，否则，将其剔除。
基于图像一致性的重建
图像壳（photo hull） （物体的三维采样表示）
三维模型
由于采样点在投影过程中存在的互相遮挡现象会破坏 亮度一致性的判断，因此，正向法主要需解决遮挡问题。
存在过约束 实用性较差
谱分析法
1992 Garding 理论联系纹理梯度与表面曲面
1993 Malik 仿射变换重建 2002 Clerc 小波分解
仅适用于纹理单元 结构不发生改变
2005 Loh 透视投影下的表面重建 2006 Forsyth 正交投影下的表面重建
纹理单元 拓扑改变
重庆科技学院
电气与信息工程学院
这种方法结合了传统手动建模与基于图像自动建模的优 势，实用性较强。
二维图像点
映射
三维空间点
重庆科技学院
电气与信息工程学院
测控技术与仪器
基于灭点 与几何约束
1997 1999
2000
Horry Cipolla Criminisi
基于单张相片的漫游 灭点求取相机参数 单目度量技术
只能处理一些比较规则的平面与几何体
鲁棒性差
精确性差 （窗口形状、大小）
1998
重庆科技学院
Boykov
基于图割的全局优化 （添加平滑性约束）
电气与信息工程学院
测控技术与仪器
亮度信息 建模精度高
无手工交互 全自动
没有严格的 光照条件要求
亮度法
优点 缺点
应用于文物数字化、 人脸自动建模
灵活性低 鲁棒性低 复杂性高
重庆科技学院
电气与信息工程学院
基于立体视觉的建模
由于匹配点的搜索是一个高自由度的问题，简单的搜 索方法极易陷入局部最优，这将极大地影响重建效果。因 此，逆向法主要需解决匹配特征点的高效搜索问题。
搜索的空间由二维降低到一维
极线几何约束
图像间极线的对应关系
图像校正
重庆科技学院
电气与信息工程学院
测控技术与仪器
点匹配
单点比较 窗口比较
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类
基于图像的建模
基于图像的建模能够生成物体精确的三维几何模型， 根据图像采集时对光源是否进行主动控制，基于图像的几 何建模可以分为主动法与被动法2 种。
基于图像的建模
主动法
被动法
重庆科技学院
电气与信息工程学院
测控技术与仪器
主动法
优点 •得到物体 精确的表 面细节特
重庆科技学院
电气与信息工程学院
测控技术与仪器
1975 1993
Horn Lions
明暗度方程 （二维图像中各像素明暗度）
基于粘性约束的建模方法
1996
Camilli
基于图像边沿已知
2004
Prados
实用方法（文献？）
重庆科技学院
电气与信息工程学院
测控技术与仪器
精确地计算 物体表面的 法向量与 建模精度高
测控技术与仪器
实现方法
运动法：
基于运动的建模（shape-structure from motion）通过在2 幅或多幅未定标图像中检测匹配的特征点集，使用数值方法， 同时恢复出相机运动参数与场景几何，并得到物体三维模型。
Harris KLT SIFT
匹配 特征
点
检测 算子
恢复出相邻图像间 相机的位置关系
Company
LOGO
基于图像的3-D建模技术综述
组员：
目录
引言 基本分类 实现方法 应用
总结与展望
重庆科技学院
电气与信息工程学院
测控技术与仪器
引言
对于计算机而言，其所能够直接获取到的数据源仅为二 维平面图像，相对于真实的三维景物无疑会存在着一定程度 的信息丢失，因此利用二维图像来重建三维物体便不可避免 的成为一个重点问题。在实际工作中采用对同一物体从不同 的角度分别成像，进而对这些数据进行分析、综合来恢复出 被摄物体的三维信息。
重庆科技学院
电气与信息工程学院
测控技术与仪器
基于复杂信息 直接使用交互的手段，给图像中的像素设置复杂 交互建模 的深度、法向等信息，从而恢复得到三维模型。
1999
基于数据库 交互建模
2004 2006
Blanz Mao Muller
基于人脸数据库 基于人体数据库 基于建筑元素数据库
重庆科技学院
电气与信息工程学院
重庆科技学院
电气与信息工程学院
测控技术与仪器
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类
1、传统的三维建模技术
传统的三维建模主要使用基于几何造型的建模方法，由专 业美术人员通过使用几何造型软件（如AutoCAD，3DsMax， Maya等），运用计算机图形学与美术理论，创建出物体的三维 模型。
测控技术与仪器
实现方法
运动法 明暗法
轮廓法
实现方法
亮度法 变焦法
纹理法
交互法
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
轮廓法：
基于轮廓的建模（shape from silhouettes/contours）通 过分析物体多视角下的轮廓图像（contour）或侧影轮廓线 （silhouette），得到物体的三维模型。
相机内参数自动定标
1999
Pollefeyes
相机焦距改变情况下
射影层次重建升级为 度量层次的重建
重庆科技学院
电气与信息工程学院
测控技术与仪器
不需预先标定 相机的参数， 从而降低了对 图像采集过程 实用价值高
的限制
优点
运动法
缺点
建模精度较低
对光照条件 图像噪声具有 鲁棒性高
鲁棒性
应用于室外场景、 自然景观、建筑物等
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类
2、非传统的三维建模技术
三维漫游效果
三维全景漫游是指在由全景图像构建的全景空间里进 行切换，达到浏览各个不同场景的目的。
目前，实现三维全景漫游的技术有两种，一是在三维 全景或地图中添加其他三维全景的链接。第二种方法是采 用计算机视觉技术和计算机图形图像技术，获取全景图像 对应的环境模型，实现全景空间与真实环境的一一映射。
重庆科技学院
电气与信息工程学院
测控技术与仪器
建模速度快
鲁棒性高 效率最高
复杂性低
透明、 通用性好 纹理欠缺、 特征点较少 的物体的建模
轮廓法
输入源要求高
优点
缺点 精度低
应用于人机交互、 运动跟踪
物体大致的 三维轮廓
与拓扑
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
亮度法：
基于亮度的建模（shape from illumination）通过分析物体
1950
1981
Gibson Witkin
从纹理梯度中 恢复平面的法向
从等方性的纹理中 恢复平面的法向
方法比较简单，却需要进行精确的特征检测， 鲁棒性较低，并且对图像中纹理信息的利用率不高。
重庆科技学院
电气与信息工程学院
测控技术与仪器
1976 Bajesy 傅里叶变换 1990 Brown 等方性纹理重建
对于一个具有光滑表面并覆盖了重复模式（纹理单元）的 物体，当被投影在二维图像时，模式会发生一定程度的变形。
测量变形量， 反求物体表面 法向、深度，
射影变形
使得与图像平面越远 的纹理单元看上去越小
透视收缩变形
使得与图像平面角度越大 的纹理单元看上去越短
重庆科技学院
电气与信息工程学院
测控技术与仪器
特征分析法
测控技术与仪器
避免建模过程的发散 通用性较高
交互法
优点
缺点
依赖客户 依赖交互操作
商业建模软件的核心 Autodesk ImageModeler；Google Sketchup
重庆科技学院
电气与信息工程学院
测控技术与仪器
应用
传统应用方向
工业设计 2
3 影视制作
文物保存 1 医疗康复 5
Cycle
4
变焦法
优点
缺点
操作复杂 建模效果差
在采集图像的过程中 改变相机的
焦距、光圈等设置
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
交互法：
基于交互的建模方法（shape from interaction）通过引 入少量的用户交互，为建模算法提供数据与约束信息，可以 方便、快捷、鲁棒地生成较精确的三维模型。
游戏娱乐
重庆科技学院
电气与信息工程学院
测控技术与仪器
应用
新型应用方向
1
非刚体 的三维 建模
2
特殊规 模物体 的建模
3
大规模 城市的 建模
4
动态物 体的建
模
5
识别与 理解
的三维建模。
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
明暗法：
基于明暗度的建模（shape from shading）通过分析图像 中的明暗信息，运用反射光照模型，恢复出物体表面的法向信 息，从而得到其三维几何模型。
基于光度立体视觉的建模
1999
Woodham
使用同一视点、不同光照条件下 得到的多幅图像明暗信息，可以 增加明暗度方程的约束，提高求 解的精度与鲁棒性
征
重庆科技学院
基本分类
激光扫描法
Text
阴影法
缺点
•成本很高 •操作不便 •后期处理 •有损处理
电气与信息工程学院
测控技术与仪器
基本分类
被动法
并不直接控制光源，而通过被动地分析图像中各种特征信 息，逆向地重建出物体的三维模型。
对光照要求低
被T动ext法
技术成熟
成本较低
操作简单
重庆科技学院
电气与信息工程学院
测控技术与仪器
建模精度对 光照、噪声不敏感、
鲁棒性强的优势
纹理法
优点
缺点
通用性较低
与明暗法 在数学上是等价的 基于不同的理论依据
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
变焦法：
基于变焦的建模方法（shape from focus/defocus）通 过分析相机焦距、光圈与图像清晰度之间的关系，恢复出 物体的深度，从而得到其三维模型。