倾斜摄影测量与三维城市建模(武汉大学 江万寿_肖雄武)

Graph Cut构网标记优化
• 重标记获取流形表面（2-Manifold Mesh）
• 通过分析顶点相关四面体的s-t标记情况，并重新标记四面体得到流形表面，如下
图所示，目的是符合半边数据结构，方便简化。
t
1
t s t t
2 3
t
1
the tetrahedron labeled as s
s s t
四、点云构网—— Graph Cut算法
• 把表面重建问题转化三维三角网中的最大流/最小割问题
– 由点的可见性对光线穿过的三角面进行加权 – 选取最佳表面使三角面的“权”的和最小
Graph Cut算法流程
点云
构建Delaunay四面体 顶点: 四面体 建立s-t图 边: 三角面
追踪每个点的可见光线穿过的三角面
–已知三维模型，求每个表面在影像上的对应关系 –复杂性：(遮挡导致)表面多边形的破碎化
•自动三维重建
–由破碎的二维影像对象反演出完整的三维对象 –复杂性？
进展情况
• 空三：实现了不同相机的自动匹配和整体平差（郭）
• 密集匹配
– 对PVMS开源代码进行适应性改造与加速（郭、江、眭）
– 支持城市地区建模的多级SGM算法的实现与改进（江）
单ቤተ መጻሕፍቲ ባይዱ：um
三、密集匹配——15张影像
三、密集匹配—— SGM算法
E ( D) C ( p, Dp ) PT 1 D p Dq 1 P 2T D p Dq 1 p qN p qN p
匹配代价：CENSUS
33
四、点云构网——Possion算法
利用加勒金公式，令 p xi Bi p ，将泊松方程 V i 1 化为线性系统Ax=b。 其中，Aij Bi , B j 3 ,Aij 是结点i与结点j之间的拉普拉斯值。
0,1
N
_
转
bi V , Bi
A相机
C相机
五镜头倾斜影像的匹配效果（图中“+”为匹配出的同名点）
二、倾斜影像空三——连接点点云
参与空三的点云（粗差剔除后，约98万个连接点）
二、倾斜影像空三——结果
检查点
影像数：73张 连接点数：983684个 单位权中误差：0.55像素 平均残差：0.23像素 最大残差：1.33像素
该连接点在各片上的像点残差：
五、三角网纹理映射——原理
Input：影像、影像内外方元素、相机参数、物方三角模型； output: 附有纹理的物方模型 ①计算P矩阵
计算3维物方面到影像的映射关系，计算物方面元到影像中的纹理三角面。
②遮挡探测与剔除
通过遮挡探测剔除P矩阵映射错误的候选纹理面；
③纹理提取
通过不同影像中的纹理信息（面积、与摄影轴的夹角、拓补等），优选出唯一的最优 纹理面；并重采样到其纹理空间。
获得表面。
a triangulation intersected by a ray Voronoi Delaunay polyhedron tetrahedron the reconstructed surface
cameras
s t
line of sight
δ
vertex
… …
原理图
Graph Cut构网存在的问题
息。
A
2 1
B
3
4
半边数据结构示意图 不同程度的简化模型
五、三角网纹理映射
纹理映射的本质就是实现2D纹理源到三维物方面的映射 关系（几何映射）和纹理一致性约束性。
几何映射
X u Y v P Z 1 1
式中P为所求投影矩阵，为物方到像方的映射关系；具体表达形式与影像内外 方元素和相机参数有关 纹理一致性约束性 除了几何映射关系外，还需考虑遮挡、摄影夹角等引起的辐射误差，使得在 几何映射正确的基础上达到辐射一致性表达，减少或消除相邻纹理的色差。 52
Pi3
Pi1
Pi2
特征点检测
三个几何未知数 •高程1个 •法向量2个
多视匹配提取种子点
加入种子点集合
种子点集合为空
N
种子点出栈
Y
匹配传播
物方面元自适应匹配传播
结束
SAPMVS-整体匹配结果(郭）
PMVS-整体匹配结果(眭)
密集匹配点云——点数比较
• • • • • • pmvs 15张影像：15,424,831 SGM 0102 - 26,332,613 SGM 0405 - 32,016,724 SGM 1415 - 24,935,310 SGM 1011 - 31,149,671 SGM 0607 - 16,254,646（逆光角度）
s
s s t
1
3 3 3
2 3
s t
the reconstructed surface the tetrahedron labeled as t
t (a)
t
t
t (b)
t
构网结果
2-Manifold Mesh模型
表面三角网的简化
• 基于半边数据结构和Edge Collapse算法简化
• 依据边的Collapse代价，最大限度的保持模型的几何形状，突出边缘信
SGM匹配策略

基于金字塔的密集影像匹配策略，提高匹配效率和可靠性

密集匹配的自动选片：通过计算影像之间的重叠度、光束夹
角等必要条件，实现了影像配对的自动化。
SGM
多角度密集点云
E相机（下视）
A相机结果
B相机结果
C相机结果
D相机结果
5视混合结果
三、密集匹配——PMVS算法
影像1,2...
④匀色匀光
由于成像过程为非线性、离散过程，使得同一物体在不同影像中呈现不连续性、非一 致性；因此需要一种色彩调整方法，来消除其产生的纹理裂缝、辐射不一致性。
53
纹理映射存在的问题
难点
纹理映射是三维重建的最后一步环节，直接决定着三维重建模型的视觉效果
“最小成像角”原则选 择最佳纹理影像
模型自遮挡检测，大 幅度提高纹理重建效 率
SGM算法改进
2值CENSUS
3值CENSUS
和
SURE结果对比（下视影像）
我们的结果
SURE结果
和
SURE结果对比(下视影像）
我们的结果
SURE结果
和
SURE结果对比（倾斜影像）
我们的结果
SURE结果
PMVS算法加速
四、点云构网——Poisson算法
泊松表面重建算法是通过隐式曲面的重建来解决表面重建问 题，它具有全局调整和局部调整的优势。 Poisson重建 基于一个重要假设：实体表面的法向量 能够用 某一个指示函数的梯度 表示。 Poisson构网步骤：
采用多个方向的1D优化近似2D优化
Lr ( p, d ) C ( p, d ) min( Lr ( p r , d ), Lr ( p r , d 1) P 1, Lr ( p r , d 1) P 1 , min Lr ( p r , i ) P 2)
i
视角多、影像多、数据量大 多个角度反映地物情况 提供建筑物侧面纹理 不同视角影像变形大：连接点提取问题 幅面较小，同视影像基线较短：匹配噪声问题
倾斜影像三维建模的路线图
倾斜影像空三 开源匹配算法集成(PMVS) 自主密集匹配方法(SGM)
点云融合与构网 高质量、实用为目标 交互式建模 快速建模
_
, 结点 （经平滑后的）散度值。 i
0,13
xi，结点i的指示函数值。 Bi ,结点i的三元三次B样条函数。
线性系统Ax=b求解 采用分层 超松弛迭代法（SOR），求解 各结点的指示函数{xi}。
通过等值面提取方法（Marching Cube算法）重建出模型表面 根据泊松方程性质：理论上令χ=0提取的即为表面。但由于①采样 点可能存在噪声， ②迦辽金离散化仅仅是对连续问题的一个逼近 ③在建 _ 立八叉树过程中，点的采样密度被逼近 ，所以需提取 0 的表面。 _ 其中， 代表采样点处的指示函数值的平均值（接近0）。
改变光线经过的三角面的权值
利用最大流算法确定最佳分割面
Graph Cut重建结果
Graph Cut算法优点
重建的表面是watertight
适用于开放场景
Graph Cut构网改进
• 基于四面体空间分解和图割法
– 依据visibility信息和三角形面积信息添加s-t图的权值，通过优化标记四面体
由一些采样点建立一棵splatDepth层的初始八叉树（初始八叉树上的 每个结点有一个密度值，表示该结点包含的一个采样点的密度）。 由实体表面的一些采样点（带法向量采样点），（由采样点的密度等， 估算采样点的topDepth _ ，对八叉树进行扩充）通过一定方式插值计算实 体表面附近的向量场V （即自适应八叉树“叶子节点”的法向量）。 假设存在一个指示函数 χ，使得该指示函数的梯度 能够与 实体表面向 _ 量场V 最佳逼近。再利用欧拉拉格朗日定理，即求解泊松方程： _ V
• 构网：
– Possion构网（眭、郭）
– GraphCut方法实现与优化（郭）
– Mesh简化
• 纹理映射：自动纹理映射实现与优化（朱）
• 基于影像的点云优化与特征线匹配（黄）
说明：目前主要参与小组——朱庆、郭丙轩、江万寿、眭海刚、黄先锋
一、实验数据
• • • • 摄取区域：贵阳金阳 航带间间距：500m 航带内间距：150m 航高：600m—1000m之间
• 点云数据存在噪声，图割法可以去掉离真实表面较远的噪声点，但离表
面较近的噪声被保留，四面体被优化标记后存在以下问题：
the reconstructed surface the tetrahedron the tetrahedron labeled as s labeled as t
s
s t
s s
t
通过分块构网，解决了无法重建整个航带数据的问题，并支持并行
电力走廊分块构网 分块泊松构网
电力走廊分块合并
分块构网与拼接技术
在对整个电力线路走廊进行分块构网后，需要拼接所有的构网结果，组成整体 表面模型。分块构网结果的接边问题是进行模型拼接的关键。 本项目通过扩张-裁剪的方式进行分块构网，解决接边问题。
34
Poisson重建结果
Poisson重建结果
多视角点云数据的分块构网策略
考虑到倾斜影像数据量大、Poisson构网算法的空间复杂度 ，实现了基于分块策略的点云构网。

分块构网策略
(1)计算影像地面覆盖范围 (2)基于物方分块与统计 (3)分块点云的获取与构网 (4)后处理与构网结果输出
基于分块策略的点云构网实例
t s
t
s s
t
s s
t
s s
t
t s
t
s s
t
s s
t
s s
t
s s
point or line in which does not satisfy the half-edge data structure
Isolated tetrahedrons labeled as t that is not desired
去噪并提高精度、减少冗余 长期探索 自动三维重建
半自动纹理贴图
自动纹理映射
三维模型
专题应用（变化检测、灾害评估）
面向对象真正射影像与多视角建模的难点
真正射主要步骤：
1、几何纠正：纠正地形和地物的投影变形 2、遮挡补偿：检测成像造成的遮挡区域，并利用多视影像进行补偿
三维建模问题的难点：逆过程
•贴纹理或真正射
模型简化消除“边界污迹”
无效三角面元剖分解决局 部区域缺纹理现象
倾斜摄影测量与三维城市建模
江万寿 肖雄武
武汉大学测绘遥感信息工程国家重点实验室
2016.05.27 沈阳
倾斜相机与多角度影像
实验室购买的SWDC5
A D
1个下视相机：传统正直摄影 4个倾斜相机：解决不同角度墙面的影像获取问题 SWDC-5: 中国测绘研究院刘先林院士团队研制
5镜头倾斜相机的特点
• • •
黑色框：原始分块范围 红色框：扩展分块 绿色框：构网模型
没有接边处理的分 块构网结果
接边处理后的分 块构网结果
分块构网结果合并
本项目提供了分块模型合并库，用于生成整个电力走廊的三维表面模型。分块模
型合并库通过对重叠区域进行重新构网，实现分块模型的整体融合
电力线路走廊模型合并实例
合并模型的部分细节
航向重叠：60% 旁向重叠：50%
二、倾斜影像空三——视角变形纠正
原始影像 局部纠正效果
摄站m的右视（C相机）
摄站n的左视（A相机）
纠正影像
纠正前
摄站m的右视（C相机）
摄站n的左视（A相机）
纠正后
基于高程面的影像纠正：视角改正、分辨率等归一化
论文已发表
二、倾斜影像空三——连接点匹配
B相机 D相机 E相机