基于图像的三维重建课件
合集下载
医学图像重建PPT课件
一 图像重建概述
不同密度体对射 线的吸收不同
对射线吸收相同的 物体，密度分布不 一定相同
入射线
高密度体
少透射
入射线
低密度体
多透射
入射线
6ห้องสมุดไป่ตู้
222
入射线
6
141
等强度射线穿透不同组织的情况
投影重建时需要一系列投影才能重建图像。
一 图像重建概述
➢ 分类：
➢ 根据被用于图像重建的数据获取方式不同，可以分为透射 断层成像、发射断层成像和反射断层成像。
插值法：
▪ （一）基于图像灰度值的插值方法,如最邻近法、线性插值、样条插值等 ,它是在原始灰度断层图像序列中,补充若干“缺少”的切片,这些插值方 法插值精度不高,产生的新断面通常会出现边缘模糊,由此重建出的三维 真实感图像表面会产生伪像,当断层间距较大时这一点尤其明显. 造成这 种情况的主要原因是这些方法没有考虑到物体几何形状的变化.
二 医学CT三维图像重建
➢ 投影切片定理给出了图像在空间域上对X轴的投影与 在频率域u轴的切片之间的关系。
➢ 如果投影并非是对X轴进行，而是对与空间域的X 轴成 任意的角度θ的方向进行投影，是否频率域上存在与u 轴成相同的θ角度方向上的中心切片与之相等？
➢ 回答是肯定的，二维傅里叶变换的旋转定理。
3) 为了增强三维逼真效果，突出显示不同组织的边界面，可以采样表面 并进行明暗计算。
➢ 根据成像所采用的射线波长不同，可以分为X射线成像、 超声成像、微波成像、激光共焦成像等。
二 医学CT三维图像重建
（1）现实意义
在医疗诊断中,观察病人的一组二维CT 断层图像是医生诊断病情的常 规方式. 现有的医用X 射线CT 装置得到的序列断层图像,虽能反映断层内 的组织信息,但无法直接得到三维空间内组织的形貌(如肺部肿瘤的表面 纹理) 和组织间相互关联的情况,而临床上组织形貌对组织定征(如肿瘤的 恶性或良性判断) 却是十分重要的. 仅靠CT 断层图像信息,要准确地确定 病变体的空间位置、大小、几何形状以及与周围组织之间的空间关系,是 十分困难的.因此迫切需要一种行之有效的工具来完成对人体器官、软组 织和病变体的三维重建和三维显示. CT 三维重建技术就是辅助医生对病 变体和周围组织进行分析和显示的有效工具,它极大地提高了医疗诊断的 准确性和科学性。
基于图像的三维重建
极点被移到了 无穷远点 极线束变成了 一组平行直线
极线和图像坐 标系的横轴平 行
使得水平方向 的图像畸变最 小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
匹配 计算视差
基于窗口的灰度匹配原则
1 4 6
2 7
3 5 8
v1T v2 cos θ = || v1 |||| v2 ||
点云拼接
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
点云拼接
点云拼接
① 三维坐标变换
a1 1 a A = 21 a 31 a 41 a1 2 a 22 a 32 a 42 a1 3 a 23 a33 a 43 a1 4 a 24 a 34 a 44
表示三维图像的坐标变换
a11 R = a21 a 31
a12 a22 a32
a13 a23 a33
产生比例、旋转、 错切等几何变换 产生平移变换
T =[a41 a42 a43]
点云拼接
② 拼接原理
点云拼接
o2 x2 y2 z2
o1 x1 y1 z1
实现
P1与 P2的拼接 与 的拼接
2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 和 PhotoModeler Scanner
④ ImageModeler
三维重建的四种主要方式： 三维重建的四种主要方式：
1 2 3 4 基于图像 使用探针或激光读数器逐点获取数据 三维物体的断层扫面 光学三维扫描仪
基于图像重建流程
图像匹配1 图像匹配 摄像机标定 图像校正
《图像重建》PPT课件
问题：能否从投影中恢复原图？ 答复是肯定的。
一条射线沿S方向穿透物体，投影轴与X轴夹角为θ，建立s、t坐标系，（t,s）与(x,y)关系如下式：
x
t
y
s
Pθ(t)
θ
X射线
沿射线积分组成投影 ：
物理上X射线到人体有个衰减过程： u(x,y)为x,y点的衰减 Nin ：入射X射线（光子）强度 Nd ：X射线穿透物体后被检测到的射线强度 u(x,y)：反映了人体各部组织的性质，在空间上的分布就形成了人体 各部组织的图象，所以u(x,y)实质上反映了图象灰度分布f(x,y)
x
y
θHale Waihona Puke uv由付氏变换旋转不变性： 得： S (w) = F(w, ) = F(u,v) （一般的S(w)=F(u,v)的证明） 证：f(t,s)是f(x,y)在t,s坐标上为函数
x
t
y
s
θ
u
ω
v
θ
实现流程： 极坐标 直角坐标
①
将①带入上式，可得到采样点上的值：
k = 0,1…N-1 共N个（即实际投影范围有限）
3、
当w→0时，G(w)~|w|
4. 当ε→0时，G（w）≈|w|
讨论： 取样点N大则τ小；N小则τ大，混迭严重。 因P(T)有限范围，S(W)为无限带宽，混迭必然。 实现方法多种多样，取决于速度与精度，投影个数，K有关。实用为弧面，几何关系更复杂一些。
目前拓展、超声CT、放射性同位素正电子CT、质子CT。 CT其它领域：电子天文学、电子显微镜。
9.3 滤波——逆投影法 极坐标F的付氏反变换：
F(ω,θ)
v
u
θ
v
u
π
一条射线沿S方向穿透物体，投影轴与X轴夹角为θ，建立s、t坐标系，（t,s）与(x,y)关系如下式：
x
t
y
s
Pθ(t)
θ
X射线
沿射线积分组成投影 ：
物理上X射线到人体有个衰减过程： u(x,y)为x,y点的衰减 Nin ：入射X射线（光子）强度 Nd ：X射线穿透物体后被检测到的射线强度 u(x,y)：反映了人体各部组织的性质，在空间上的分布就形成了人体 各部组织的图象，所以u(x,y)实质上反映了图象灰度分布f(x,y)
x
y
θHale Waihona Puke uv由付氏变换旋转不变性： 得： S (w) = F(w, ) = F(u,v) （一般的S(w)=F(u,v)的证明） 证：f(t,s)是f(x,y)在t,s坐标上为函数
x
t
y
s
θ
u
ω
v
θ
实现流程： 极坐标 直角坐标
①
将①带入上式，可得到采样点上的值：
k = 0,1…N-1 共N个（即实际投影范围有限）
3、
当w→0时，G(w)~|w|
4. 当ε→0时，G（w）≈|w|
讨论： 取样点N大则τ小；N小则τ大，混迭严重。 因P(T)有限范围，S(W)为无限带宽，混迭必然。 实现方法多种多样，取决于速度与精度，投影个数，K有关。实用为弧面，几何关系更复杂一些。
目前拓展、超声CT、放射性同位素正电子CT、质子CT。 CT其它领域：电子天文学、电子显微镜。
9.3 滤波——逆投影法 极坐标F的付氏反变换：
F(ω,θ)
v
u
θ
v
u
π
《图像重建》课件
支持向量机方法
利用支持向量机的分类和回归功能，对图像进行特征提取和分类，实现图像的重建和识别。
其他方法
稀疏表示方法
利用稀疏表示理论，通过稀疏基函数对 图像进行表示和压缩，实现图像的重建 和去噪。
VS
插值方法
利用插值算法对图像进行放大、缩小、旋 转等变换，实现图像的重建和修复。
03
图像重建算法
反投影算法
01
反投影算法是一种简单的图像重建算法，其基本思想
是将投影数据反向投影到图像平面上，以重建图像。
02
该算法简单、易于实现，但重建图像的质量较差，容
易出现模糊、失真等现象。
03
适用于对图像质量要求不高的场合，如初步的医学影
像分析等。
滤波反投影算法
滤波反投影算法是在反投影算法 的基础上，通过在投影数据上应 用滤波器来提高重建图像的质量
角色建模、场景渲染等方面，提高游戏的视觉效果和沉浸感。
THANKS
未来发展方向
深度学习与人工智能
随着深度学习和人工智能技术的不断 发展，未来可以通过更先进的算法和 模型实现更高质量的图像重建。
实时图像重建
将不同模态的数据融合到图像重建中 ，可以提高重建结果的准确性和丰富 性。
数据驱动方法
利用大量数据进行训练和优化，可以 进一步提高图像重建的准确性和效率 。
多模态融合
基于梯度域的方法
全变分方法
利用图像的全变分信息，通过梯度下降法等优化算法，对图像进行去噪、增强、修复等处理。
拉普拉斯金字塔方法
利用拉普拉斯金字塔的多尺度、多方向性等特性，对图像进行分解和重构，实现图像的放大、去噪、增强等功能 。
基于学习的方法
深度学习方法
利用支持向量机的分类和回归功能，对图像进行特征提取和分类，实现图像的重建和识别。
其他方法
稀疏表示方法
利用稀疏表示理论，通过稀疏基函数对 图像进行表示和压缩，实现图像的重建 和去噪。
VS
插值方法
利用插值算法对图像进行放大、缩小、旋 转等变换，实现图像的重建和修复。
03
图像重建算法
反投影算法
01
反投影算法是一种简单的图像重建算法，其基本思想
是将投影数据反向投影到图像平面上，以重建图像。
02
该算法简单、易于实现，但重建图像的质量较差，容
易出现模糊、失真等现象。
03
适用于对图像质量要求不高的场合，如初步的医学影
像分析等。
滤波反投影算法
滤波反投影算法是在反投影算法 的基础上，通过在投影数据上应 用滤波器来提高重建图像的质量
角色建模、场景渲染等方面，提高游戏的视觉效果和沉浸感。
THANKS
未来发展方向
深度学习与人工智能
随着深度学习和人工智能技术的不断 发展，未来可以通过更先进的算法和 模型实现更高质量的图像重建。
实时图像重建
将不同模态的数据融合到图像重建中 ，可以提高重建结果的准确性和丰富 性。
数据驱动方法
利用大量数据进行训练和优化，可以 进一步提高图像重建的准确性和效率 。
多模态融合
基于梯度域的方法
全变分方法
利用图像的全变分信息，通过梯度下降法等优化算法，对图像进行去噪、增强、修复等处理。
拉普拉斯金字塔方法
利用拉普拉斯金字塔的多尺度、多方向性等特性，对图像进行分解和重构，实现图像的放大、去噪、增强等功能 。
基于学习的方法
深度学习方法
医学图像处理三维重建 ppt课件
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
医学图像处理三维重建
• 正确读取DICOM图像后，通过选择合适的
窗宽、窗位，将窗宽范围内的值通过线性 或非线性变换转换为小于256的值，将CT图 像转换为256色BMP图像。
医学图像处理三维重建
• 图像增强就是根据某种应用的需要，人为
地突出输入图像中的某些信息，从而抑制 或消除另一些信息的处理过程。使输入图 像具有更好的图像质量，有利于分析及识 别。
• 在提取边界时，首先采用逐行扫描图片的办法，
通过比较相邻点的像素值，找到图片边界上的一 个点，作为切片边界的起点。然后从边界起点开 始，逐点判断与之相邻的八个点，如果某点为图 片的边界点则记录下，并开始下一步判断，直到 获得所有的边界点。
医学图像处理三维重建
• 重建数据的采集 • 边界轮廓曲线表面绘制 • 设置图像的颜色及阴影效果 • 设置图像光照效果 • 设置图像的显示效果
缘检测的要求比较高；
• 而体重建直接基于体数据进行显示，避免了
重建过程中所造成的伪像痕迹，但运算量较 大。
医学图像处理三维重建
医学图像处理三维重建
• 为了有利于从图像中准确地提取出有用的
信息，需要对原始图像进行预处理，以突 出有效的图像信息，消除或减少噪声的干 扰。
• 图像格式的转换与读写 • 图像增强
三维重建过程ppt课件
稠密点云的网格化
通过上面的步骤可以得到基于图像的三维点云，但要对空间物体的 表面信息进行重构，需要对三维点云进行三角剖分。
三角剖分的方法：
（1）平面投影法方法
采用投影映射的方法，将三维点云投影到二维平面上，接着对投影后的 二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分。。
（2）直接剖分法方法 三角剖分所给点集R，保留原始点云的拓扑结构，实际上是
特征点匹配方法：
（1）NCC特征匹配
归一化互相关（normalizes cross correlation）方法的优点是它可以抵抗 全局的亮度变化和对比度变化，并且速度快。
缺点是：(a)不抗图像缩放。(b)不抗大的视角的变化。(c)当初始匹配点的 错误匹配率高于 40%的时候以上两种方法失效。
（2）SIFT特征匹配
相机标定
相机标定就是求出相机的内部参数，最终得到内参数矩阵K。
相机标定的方法：
（1）Tsai的两步标定方法
其主要思想是首先利用透视变换原理线性求解出一些相机参数，接着把 求得的这些参数作为非线性优化算法的初始值，只考虑相机的径向畸变，通 过优化算法求解其余参数，从而相对于线性标定方法提高了标定的精度。
主要思想是用特征点的 16×16 的邻域计算该邻域的每个点的梯度。然 后将 16×16 的区域划分为 4×4 的小区域，每个小区域的点向 8 个方向投影。 这样总共可以得到 4×4×8=128 维的特征向量描述符。特征点的匹配首先需 要将特征点旋转到它的主方向上，然后计算匹配点的 128 维特征描述符的欧 式距离。距离最小的匹配点为正确匹配点。
椒盐噪声过滤算法：GA-BP神经网络噪声检测的自适应滤波算法。 遗传算法：Genetic Algorithm GA 反向传播神经网络：Back BP BP
三维技术基础与艺术欣赏第4章三维重建技术(陈永强)ppt课件
• 三维重建主要方式 1）基于图象 2）使用探针或激光读数器逐点获取数据 3）三维物体的断层扫面 4）光学三维扫描仪
精选ppt
6
第4章三维重建技术
• 三维重建主要方式
基于图象的重建方式，应用范围广泛，精度比
较低。
精选ppt
7
第4章三维重建技术
• 三维重建主要方式
使用探针或激光读数器逐点获取数据，进行整体三角 化，此类方法测量精确精选，pp但t 速度很慢，难以在短时 8
在计算机视觉中，三维重建是指根据单视图 或者多视图的图象重建三维信息的过程。
由于单视图的信息不完全，因此三维重建需 要利用经验知识。
多视图的三维重建（类似人的双目定位）相
对比较容易，其方法是先对摄像机进行标
定， 即计算出摄像机的图象坐标系与世界
坐标系的关系。然后利用多个二维图象中
的信息重建出三维信精选息ppt 。
14第4章三维重建技术基于图象的三维重建软件3dmenow15第4章三维重建技术16第4章三维重建技术基于图象的三维重建软件photomodeler和photomodelerscanner17第4章三维重建技术基于图象的三维重建软件imagemodeler18第4章三维重建技术基于图象的三维重建应用制造业与逆向工程19第4章三维重建技术基于图象的三维重建应用影视与娱乐
• 第9章三维影视技术精选ppt
3
第4章三维重建技术
• 三维重建 3D Reconstruction 三维重建是指对三维物体建立适合计算机表
示和处理的数学模型，是在计算机环境下 对其进行处理、操作和分析其性质的基础， 也是在计算机中建立表达客观世界的虚拟 现实的关键技术。
精选ppt
4
第4章三维重建技术
精选ppt
6
第4章三维重建技术
• 三维重建主要方式
基于图象的重建方式，应用范围广泛，精度比
较低。
精选ppt
7
第4章三维重建技术
• 三维重建主要方式
使用探针或激光读数器逐点获取数据，进行整体三角 化，此类方法测量精确精选，pp但t 速度很慢，难以在短时 8
在计算机视觉中，三维重建是指根据单视图 或者多视图的图象重建三维信息的过程。
由于单视图的信息不完全，因此三维重建需 要利用经验知识。
多视图的三维重建（类似人的双目定位）相
对比较容易，其方法是先对摄像机进行标
定， 即计算出摄像机的图象坐标系与世界
坐标系的关系。然后利用多个二维图象中
的信息重建出三维信精选息ppt 。
14第4章三维重建技术基于图象的三维重建软件3dmenow15第4章三维重建技术16第4章三维重建技术基于图象的三维重建软件photomodeler和photomodelerscanner17第4章三维重建技术基于图象的三维重建软件imagemodeler18第4章三维重建技术基于图象的三维重建应用制造业与逆向工程19第4章三维重建技术基于图象的三维重建应用影视与娱乐
• 第9章三维影视技术精选ppt
3
第4章三维重建技术
• 三维重建 3D Reconstruction 三维重建是指对三维物体建立适合计算机表
示和处理的数学模型，是在计算机环境下 对其进行处理、操作和分析其性质的基础， 也是在计算机中建立表达客观世界的虚拟 现实的关键技术。
精选ppt
4
第4章三维重建技术
三维重建技术医学课件
螺旋CT 的齿科应用
螺旋CT 的齿科应用
鼻骨骨折
正常鼻骨
结肠癌
肺癌（黄色）和纵隔淋巴结（绿色）转移
三维重建模拟手术
CT功能成像Perfusion 转移瘤
动脉期
静脉期
平衡期
脑 梗 塞
脑 梗 塞
Perfusion
腹主动脉假性动脉瘤横断扫描
腹主动脉假性动脉瘤（MPR）
腹主动脉硬化并假性动脉瘤（MIP）
腹主动脉假性动脉瘤（SSD）
腹主动脉假性动脉瘤剖面（SSD）
颈内动脉瘤横断 扫描
颈内动脉瘤（SSD）
夹层动脉瘤
夹层动脉瘤
心脏三维成像
表面三维成像
CT
此ppt下载后可自行编辑
医学课件
三维重建技术的定义
• 表面遮盖显示(SSD) 计算物体表面的CT域值成像
• 最大密度投影(MIP) 体积→数学线束透视→最大密度值→投影在平面上
• 曲面重建(CPR) 计算指定平面的CT值→二维图像
头部三维成像
头部三维骨成像三下肢畸Biblioteka 平片三下肢畸形CT三维表面成像
仿 真 内 窥 镜 利 用
类
似
纤 维 内 镜
器 官 内 表
面
SSD→
→
多 幅 连 放
→
CT仿真内窥镜
电子内窥镜
螺旋CT 仿真内窥镜发现结肠息肉
结肠癌
腹主动脉CT 仿真内窥镜
冠状动脉CT及CT内窥镜
医学成像技术(三维重建技术)课件
7.2 主要内容
预处理 分割 模型构建
模型网格简化
绘制
预处理
分割
二维分割
三维分割
重建
绘制 面绘制
体绘制
7.3 表面绘制
Marching Cube 算法
表面 重建 皮肤 灰度 阈值
HU=500
表面 重建 皮肤
HU=500
骨头
HU=1150
表面 重建
透明显示
光源 入射光
法向量 反射光 视线
折射定律
折射定律：折射线在入射线与法线构成的平 面上，折射角与入射角满足 1 sin 2 sin
入射光
1 2
折射光
能量关系
在光的反射和折射现象中的能量分布：
Ii I d I s It I v
下标为i,d,s,t,v的能量项分别表示为入射光 强，漫反射光强，镜面反射光强，透射光强， 吸收光强
皮肤
HU=500
表面 重建
阻光度=0.8 阻光度=0.6
透明显示
皮肤
HU=500
骨骼 HU=1150
阻光度=0.4
阻光度=0.25
7.3 体绘制
在自然环境和计算模型中，许多对象和现象只 能用三维数据场来表示。与传统的计算机图形学相 比，对象体不再用几何曲面或曲线表示的三维实体， 而是用体素（Voxel）作为基本造型单元。对于每一 体素，不仅其表面而且其内部都包含了对象信息， 这是仅用曲线和曲面等几何造型方法所无法表示的。 体绘制的目的就在于提供一种基于体素的绘制技术， 它有别于传统的基于面的绘制，能显示出对象体的 丰富的内部细节。
反射光，透射光决定了物体所呈现的颜色
简单光照明模型-环境光
医学图像的处理及三维重建 PPT课件
伦琴发现X射线
医学图像的分类
根据成像设备是对组织结构成像还是对组 织功能成像，将医学图像分成两类，即医 学结构图像和医学功能图像。 医学结构图像：X线图像、CT图像、MRI 图像、B超图像等 医学功能图像：PET图像，SPECT图像、 功能磁共振图像（fMRI）等
CT成像设备
CT图像
MRI成像设备
PET图像
医学图像处理的研究内容
医学图像处理的主要研究内容有：图像 增强、图像复原、图像分割、图像重建、 图像的配准与融合等。
三维重建（3D reconstruction）
三维重建的定义 ●三维重建的研究意义 ●三维重建的方法 ●颅脑的三维重建
三维重建的定义
医学图像三维重建是研究由各种医学成像 设备获取的二维图像断层序列构建组织或 器官的三维几何模型，并在计算机屏幕上
表面曲面表示法经典的算法： 立方块法(Cuberille)， 移动立方体法(Marching Cubes)， 剖分立方体法(Dividing Cubes)等
面绘制示例
面绘制步骤
重建数据的采集 边界轮廓曲线表面绘制 设置图像的颜色及阴影效果 设置图像光照效果 设置图像的显示效果
面绘制显示
医学图像的处理及 三维重建
Processing of medical images and 3D reconstruction
பைடு நூலகம்
医学图像处理
（Processing of medical images ）
医学影像技术的发展
● 医学图像处理的目的
● 医学图像处理的研究内 容
精品资料
• 你怎么称呼老师？
面绘制的方法
边界轮廓线表示法：首先通过分割对二维断 层图像提取轮廓线，然后把各层对应的轮廓 线拼接在一起表示感兴趣物体的表面边界。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
点云拼接
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
点云拼接
点云拼接
① 三维坐标变换
a11 a A 21 a31 a41 a12 a22 a32 a42 a13 a23 a33 a43 a14 a24 a34 a44
2-2 国内研究现状
① 北京交通大学 袁保宗 提出了，由真实世界到计算机 虚拟世界的转换问题。
② 浙江大学 刘刚 设计了，一个能绘制出几何模型和表 面纹理的真实场景交互建模系统。 ③ 中科院自动化研究所，开发的CVSuite，能利用立体 视觉进行三维重建。 ④上海交大 马利庄 提出了一种基于构建Visual Hull，求 取物体形状及表面反射属性的方法。
1997年，Paul Debevec利用图像重建技术，成功 地出品了电影短片《the Campanile》。
1-3 文化遗产的保存
对文物进行三维重建操作，以便获取文物精准的几何 和色彩信息。
河南省新乡 市辉县村舍 重建图
龙形纹理门框的局部重建图
新疆米兰古城三维重建图
2-1 国外研究现状
① Paul E.Debevec——参数几何体表示初始模型 ② Steven M.Seitz——颜色不变量、顺序可见性规 则重建场景模型 ③ Roberto cipolla——三维重建系统PhotoBuilder
0 0 0 F [ e ] X 0 0 1 0 1 0
(2)
图像校正
则由式（1a)可以得到如下等式
p2 F p1 0
T
将式（1a)和式（1b)代入得
p2TU2T FU1 p1 0
由式（2）可得
F U FU1 U [e]X U1
T 2 T 2
图像校正
F U2T FU1 U2T [e]X U1
只要知道了基础矩阵F，就可以从上式中分解出变 换矩阵 U1 和 U 2 ，从而实现图像的校正。
图像校正
设 U1 为
u1T a1 a2 a3 T U1 U u2 b1 b2 b3 u3T c1 c2 1
主 讲 人： 原 飞
机器视觉/空间测量组
基于图像的三维重建
一、 应用背景 二、 研究现状 三、 重建流程
1-1 制造业与逆向工程
1-2 影视与娱乐
数字化三维模型，能够给电影和视频游戏提供丰富素材。
22届国际体博会上，由 深圳泰山在线科技公司 研发的首款三维体感互 动游戏——
i-dong地鼠
匹配 计算视差
3-4 空间点的获取
图像经过校正后可以看成是两台光轴互相平行的摄像 机的成像
p1 (u1 v1 1)T
p2 (u2 v1 1)
T
经过校正后图像上的俩个对应点
空间点P在摄像机C1和C2坐 标系下的坐标，b为基线
P ( X b Y Z 1)T
P ( X Y Z 1)T 图像点和三维空间点的映射关系可以得到： u1b v1b bf x y z d d d
② 图像校正的原理
图像校正的过程，就是对里两幅图像分别 进行二维的变换。 将这种变换记为U1和U2，则图像点的变 换可以看成
p1 U1 p1
(1a)
p2 U2 p2 (1b)
பைடு நூலகம்
p 2 为p2变换后 其中，p1为p1变换后的坐标， 的坐标。
图像校正
为了使极线变成一组平行直线，需要将极点放 到无穷远处。设该无穷远极点为 e (0 0 0)T 则经过校正后的图像对的基础矩阵 F 可以表示 为
s2 1 0
s3 0 1
透视变换
相似变换
错切变换
图像校正
③ 图像校正过程
透视变换
相似变换 错切变换
极点被移到了 无穷远点
极线束变成了 一组平行直线
极线和图像坐 标系的横轴平 行
使得水平方向 的图像畸变最 小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
将U分解为如下形式：
U U sU rU p
1 Up 0 c a 0 1 cb 0 0 1
b2 b3c2 b3c1 b1 0 U r b1 b3c1 b2 b3c2 b3 0 0 1
s1 Us 0 0
匹配 计算视差
基于窗口的灰度匹配原则 1 4 6 2 3 5 8
7
v1T v2 cos = || v1 |||| v2 ||
d x2 x1
1 2 3 4 p 5 6 7 8
匹配 计算视差
左图中所有匹配点 最大视差为a 最小视差为b 匹配点p的视差为d 视差图中p点的灰度值为 255*|d-b|/|a-b|
2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 PhotoModeler Scanner
④ ImageModeler
三维重建的四种主要方式：
1 2 3 4 基于图像 使用探针或激光读数器逐点获取数据 三维物体的断层扫面 光学三维扫描仪
基于图像的重建方式，应用范围广泛，精 度比较低。
使用探针或激光读数器逐点获取数据，进行整体 三角化，此类方法测量精确，但速度很慢，难以在 短时间内获得大量数据。
根据三维物体的断层扫面，得到二维图像 轮廓，进行相邻轮廓的连接和三角化，得到 物体表面形状。
应用硬件光学三维扫描仪获得物体的点云数据， 进行重建获得物体的整体表面信息。
基于图像重建流程
表示三维图像的坐标变换
a11 R a21 a 31
a12 a22 a32
a13 a23 a33
产生比例、旋转、 错切等几何变换 产生平移变换
T [a41 a42 a43 ]
图像匹配1 摄像机标定
图像校正
点云对齐， 拼接
空间点的获取
匹配2，计算视差
曲面重构
纹理贴图
图像校正
黄色：任意位置 绿色：平行位置
图像校正
① 图像校正的目的
相机任意位置 图像未校正 相机平行 校正图像
极线不平行 极线交于极点
极线平行 极点无穷远
需计算极线方程 影响运行效率
不需进行极线 提高效率
图像校正