第6讲-地面三维激光扫描点云与影像配准

地面三维激光雷达点云与影像配准
点云与序列影像配准 影像匹配
影像匹配实际上就是在变换的空间中寻找一种或多种变换， 使拍摄时间不同、拍摄地点不同或拍摄角度不同的两张或 多张影像在空间上统一起来。 影像匹配之后，影像间的同名点、线或者面就建立了一定 的对应关系，通过这些关系即可进行摄影测量的解算。 常用的匹配算法：基于灰度的匹配（灰度相关、最小二乘 匹配）、基于特征的匹配（Harris 、SIFT、SURF）、基于 语义的匹配
x = f x (l1 , l 2 , l3 , l 4 , l5 , l 6 , l 7 , l8 , l9 , l10 , l11 , X , Y , Z )
y = f y (l1 , l 2 , l3 , l 4 , l5 , l 6 , l 7 , l8 , l9 , l10 , l11 , X , Y , Z )
地面三维激光雷达点云与影像配准
点云与影像配准
两种主要配准方法 基于直接线性变换的点云与单张影像配准； 基于光束法平差的点云与序列影像配准；
？
地面三维激光雷达点云与影像配准
点云与单张影像配准 配准原理
目前主流商用处理三维激光点云的软件多采用单片 直接线性变换的方法标定相机与扫描仪之间的坐标转 换关系。
地面三维激光雷达点云与影像配准
基于点云投影的配准方法 扫描投影
点云（强度显示）
投影图像
地面三维激光雷达点云与影像配准
基于点云投影的配准方法 特征点提取
在各种特征中，特征点是一种稳定的、旋转不变、能 克服灰度反转的有效特征。在匹配中应用特征点既可以 减少参与的计算量，同时又不损失图像的重要灰度信息， 而且对于不相似影像匹配还可以进行部分相似的匹配。 从点云到投影图像的过程中也可以发现，无论哪种投影 方式，点特征始终不受影响。 常有的特征点提取算法有： Moravec算子、Forstner 算子、Harris算子等
以变换关系解算出的影像在三维激光点云坐标系下 的外方位元素作为初值，对影像的外方位元素及匹配 点的物方坐标做整体优化； 光束法平差开源库： 1）SBA Sparse Bundle Adjustment http://www.ics.forth.gr/~lourakis/sba/ 2）SSBA Simple Sparse Bundle Adjustment http://www.inf.ethz.ch/personal/chzach/opensource.ht ml
地面三维激光雷达点云配准
点云与序列影像配准 绝对定向
设
Q = q0 + q1i + q2 j + q3 k
2
为单位四元数（i, j,k为虚数单
元），且有：q0
+ q12 + q2 2 + q32 = 1 ，则旋转矩阵可表达为：
地面三维激光雷达点云与影像配准
点云与序列影像配准 光束法平差
L = B T PB
(
)
−1
B T PW
其中： V
= vx
[
vy
Y 0
]
T
X B= 0
Z 0
1 0
0 X
0 Y
0 Z
0 1
xX yX
xY yY
xZ yZ
L = [l1 l 2
l3
T
l4
l5
l6
l7
l8
l9
l10
l11 ]
T
W = [− x − y ]
地面三维激光雷达点云与影像配准
地面三维激光雷达点云与影像配准
点云与序列影像配准 配准原理与流程
地面三维激光雷达点云与影像配准
点云与序列影像配准 配准原理与流程
①对序列影像进行畸变校正（内标定），得到畸变改 正参数，用于消除由数码相机镜头畸变及电子器件 产生的像点 坐标误差。 ②对立体像对进行匹配，得到影像间的同名点。 ③对序列影像进行相对定向和模型连接。 ④再次进行立体匹配，将得到的同名点通过前方交会 得到由影像生成 的点云。
地面三维激光雷达点云与影像配准
点云与单张影像配准
直线线性变换参数估计
其中 ( x, y ) 是像平面坐标， ( X , Y , Z ) 是点云坐标，DLT模型中一共 有 11 个未知参数，因此需要至少 6 个以上的同名点进行参数估计。 利用间接平差，相应的误差方程和法方程为：
V = BL − W
当有n个观测值时，将其线性展开得观测方程：
x1 X 1 y 0 1 x2 X 2 y2 + 0 xn X n y 0 n Y1 0 Y2 0 Yn 0 Z1 0 Z2 0 Zn 0 1 0 1 0 1 0 0 X1 0 X2 0 Xn 0 Y 0 Y2 0 Yn 0 Z1 0 Z2 0 Zn 0 1 0 1 0 1 x1 X 1 y1 X 1 x2 X 2 y2 X 2 xn X n yn X n x1Y1 y1Y1 x 2Y2 y 2Y2 x n Yn y n Yn l1 l 2 x1 Z 1 l 3 y1 Z 1 l4 x2 Z 2 l5 y 2 Z 2 l6 = 0 l7 x n Z n l8 yn Z n l9 l10 l11
外接数码相机
内置CCD相机
地面三维激光雷达点云与影像配准
点云与单张影像配准 模型配准
地面三维激光雷达点云与影像配准
点云与单张影像配准 配准原理
单张影像与 3D 模型配准最常用的方法是直接线性变换（ Direct Linear Transformation ， DLT ）法，该方法是对传统摄影测量的 一种简化，建立像点像平面坐标和相应物点物方空间坐标之间的 直接的线性关系的算法，因无需内方位元素值和外方位元素的初 始近似值，故特别适用于非量测相机所摄影像的摄影测量处理。
地面三维激光雷达点云与影像配准
基于点云投影的配准方法 特征点匹配
基于特征点的图像配准方法主要思路是：首先在两幅 图像中分别提取特征点，再以不同的方法建立两幅图像 中角点的相互关联，从而确立同名点，最后以同名点作 为控制点确定图像之间的配准变换。 常有的特征点匹配算法有：相关系数法，松弛法，最 小二乘法等相关方法（见摄影测量学及数字摄影测量相 关教材）
( xi , yi )为测量的 2D 图像特
征点，而 ( X i , Yi , Zi ) 为已知 位置的3D特征点
地面三维激光雷达点云与影像配准
点云与单张影像配准
直线线性变换模型
单张未标定影像与3D几何模型配准最严密的模型应为摄影机模 型（共线方程）。但共线方程为非线性方程，对内外方位元素初 始值要求严格。DLT为共线方程简化的线性模型，DLT模型为：
地面三维激光雷达点云与影像配准
点云与单张影像配准
手动选择同名点
百度文库play
地面三维激光雷达点云与影像配准
点云与单张影像配准
自动匹配同名点
建立点云和待配准图像坐标系； 点云投影为平面图像； 确定配准控制点； 应用配准控制点建立点云和图像间的配准模型； 根据配准模型对待配准的图像进行重采样.
第六讲
地面三维激光雷达点云与影像配准
地面三维激光雷达点云与影像配准
点云与影像配准
激光雷达能够快速获得目标表面高精度、高密度的三 维点坐标信息，并获取激光反射信号强度信息，但是却 难以获得目标光谱信息，不利于三维激光点云数据的有 效处理和理解。为了解决这个问题，可利用数码影像丰 富的光谱信息来弥补三维激光点云的不足。 如何获取扫描点的光谱信息，其关键在于如何实现点 云数据与影像两种数据的高精度配准，即准确确定出三 维激光点云点在相应数码影像上的像素坐标。
地面三维激光雷达点云与影像配准
点云与序列影像配准 配准原理与流程
⑤ 通过至少3对三维激光点云与序列影像的同名点，求 出由影像生成的点云与三维激光点云之间的空间相 似变换关系。 ⑥ 利用变换关系解算出影像在三维激光点云坐标系下 的外方位元素初值。 ⑦ 对所有影像进行光束法平差，整体解算出影像在三 维激光点云坐标系下的外方位元素精确值。
点云与单张影像配准
点云与单张影像配准的关键在于如何寻找点云与单张 影像的同名点 手动选择同名点：通过人工交互手动在点云以及对 应的影像选择同名控制点，并估计配准模型参数； 可靠性较高，可通过标志点辅助，受人为因素影响； 自动匹配同名点：将点云投影为影像，并通过摄影 测量或计算机视觉中的影像匹配方法寻找同名点 自动化程度较高，受点云投影的投影方式以及采 样间隔影响，可能产生误匹配
点云（透视显示）
投影图像
地面三维激光雷达点云与影像配准
基于点云投影的配准方法 扫描投影
扫描投影是指根据点云获取的原理，按照点云的扫描过 程，根据分别将水平角和垂直角作为图像的采样值，按指 像元大小进行采样，再进行图像灰度量化。扫描投影完全 依赖于原始点云数据，不受任何额外条件限制。由于点云 坐标的获取采取球面坐标系，球面坐标上的目标投影到平 面上时，某些几何属性会发生变化，如直线变成曲线。
l1 X + l 2Y + l3 Z + l 4 x+ =0 l9 X + l10Y + l11 Z + 1
l 5 X + l 6Y + l 7 Z + l8 y+ =0 l9 X + l10Y + l11 Z + 1
地面三维激光雷达点云与影像配准
点云与单张影像配准
直线线性变换参数估计
考虑到影像畸变等非线性因素，可将像点坐标表达为：
地面三维激光雷达点云与影像配准
点云与序列影像配准
影像匹配结果
地面三维激光雷达点云与影像配准
点云与序列影像配准 相对定向与模型连接
相对定向与模型连接恢复了摄影时像片之间的相对 位姿关系，建立了一个统一的立体模型； 该立体模型是一个以相对定向中选定的像空间辅助 坐标系为基准的模型，与真实的地物相差一个缩放尺 度(λ)、位置平移(Tx ,Ty ,Tz)以及姿态旋转(φ ,ω , К); 通过匹配同名点的前方交会，能得到稀疏的相对定 向点云；
地面三维激光雷达点云与影像配准
点云与序列影像配准
相对定向与模型连接
地面三维激光雷达点云配准
点云与序列影像配准 绝对定向
将相对定向点云转换到物方坐标系下，实质为两个 三维点云之间的空间相似变换； 传统的绝对定向方法都是迭代解法，需要提供比较 准确的初始值 但在某些情况下，良好的初值并不容易 获得； 单位四元数描述坐标系的旋转关系，即利用单位四 元数取代传统的坐标旋转矩阵； 不需初值和迭代即可进行绝对定向的直接解算。
地面三维激光雷达点云与影像配准
基于点云投影的配准方法 配准结果
特征点提取 特征点匹配 配准结果
地面三维激光雷达点云与影像配准
点云与序列影像配准 配准原理与流程
地面三维激光雷达点云与影像配准
点云与序列影像配准 配准原理与流程
自动解算序列影像内外方位元素，将序列影像整体 与激光点云配准； 只需要≥3对激光点云与序列影像的同名点； 减少了人工干预，提高了生成效率和自动化程度。
地面三维激光雷达点云与影像配准
基于点云投影的配准方法 透视投影
透视投影即模拟相机的成像过程，以平行与点云目标延伸面的平面 作为像平面 xoy ，指定合适的图像内外方位元素 该位置进行图像灰度量化
g = g ( x, y )
x0 , y 0 , f , ϕ , ω , κ , X S , YS , Z S
，根据共线条件方程进行成像，得到图像的采样位置 ( x, y ) ，然后在
点云（强度显示）
强度量化
深度量化
地面三维激光雷达点云与影像配准
基于点云投影的配准方法
平行投影
平行投影是以指定的平面作为像平面 xoy ，将点云上的每一点垂直 投射到该像平面上形成图像的采样点，然后再进行图像灰度量化。平 行投影不需要内外方位元素，不受共线条件方程的限制，只需要指定 投影面和像元大小，实现较为方便。当投影面和光学图像成像片近似 平行时，根据平行投影的性质，投影图像能保持目标空间的几何关系。
地面三维激光雷达点云与影像配准
点云与单张影像配准 点云的投影
将点云投影为图像的过程本质上是图像采样和量化。 采样源不再是连续的目标表面，而是不规则排列的离 散点云。量化对象即可以是光谱反射能量（如激光反 射强度），也可以是非光谱性质的几何量（如深度、 法向量），因此量化方式有强度量化、深度量化、法 向量量化等。 常用的点云投影方式有：透视投影、平行投影、扫 描投影。