无人机影像处理

1.2.3 性能优异
无人飞行器可按预定飞行航线自主飞行、拍 摄，飞行高度从50米到1000米，高度控制 精度达到10米。阴云天气下的低空飞行也 可获取光学影像，并且影像的逼真度超过 雷达影像。不受高度限制，不受山区低云 的影响。
1.2.4 低成本
UAV系统及传感器成本与其它遥感系统 无法相比，一般的单位和个人都有能力负 担。影像数据后处理的设备要求不高、成 本费用低，高档微机就可以作为主要设备， 不需要像传统航摄像片需配置高精度扫描 仪和数字化处理设备。
2023最新整理收集 do something
无人机影像处理 -自动空三、DEM正摄影像生成
一、概述
1.1 为什么无人机摄影测量(UAV) 1.2 无人机摄影测量优势与劣势 1.3 无人机摄影测量的新起点
1.1 为什么UAV-1
• 需求驱动
作为城市精细三维数据获取的主要来源之一,大比 例尺、高分辨率的遥感影像需求日趋显著。现有 的卫星遥感和航空遥感技术虽然能够获取大面积 的地理信息,但因卫星受回归周期、高度等因素影 响,遥感数据分辨率和时相难以保证;载人飞机受空 域管制和气候等因素的影响较大,缺乏机动快速的 能力,同时使用成本也比较高,因此在满足精细城市 三维信息获取的要求方面存在一定不足
• 根据kappa角的变化划分航带，自动去掉航 带之间转向部分影像，自动生成航带
3.3 基于特征的匹配
• 基于特征匹配通常分为点、线、面的特征匹配。
一般来说特征匹配分为三步： • ---特征提取 • ---利用一组参数对特征进行描述 • ---利用参数进行特征匹配
3.4 错误匹配过滤
• 1）基于一对一约束的粗差剔除 • 2）基于尺度约束和角度约束的粗差剔除 • 3）基于几何约束的错误匹配过滤 • 4）RANSAC鲁棒估计
1.2.2 分辨率高 多角度
无人飞行器携带的高精度数码成像设备具备垂 直或倾斜摄影的技术能力，不但能竖直拍摄获取 平面影像，还能低空多角度摄影获取建筑物多面 高分辨率纹理影像，这点弥补了卫星遥感和普通 航空摄影获取城市建筑物时遇到的高层建筑遮挡 问题。所获取影像的空间分辨率能达到分米级， 系统获取的高分辨率数码影像可用于高精度数字 地面模型的建立和三维立体景观图的制作。
镜头畸变公式
x (x x0)(k1r2 k2r4) p1 r2 2(x x0)2 2p2(x x0)(y y0) (x x0) (y y0)
y ( y y0 )(k1r2 k2r4 ) p2 r2 2( y y0 )2 2 p1(x x0 )( y y0 )
4.2 系统功能
无人机 相机标定 影像POS 控制点
影像数据 参数
数据
数据
DP-UAV 全自动处理系统
带颜色 三维 点云
DEM大偏角影像、大高差地区 • 空三和DEM生成一体化，所有点参与光束法平差
每片像点5千~2万个，空三结果直接生成DEM • 较传统空三增加了上百倍的观测值，系统具备更强
– 密集点云（每片5,000~20,000像点） – DEM – 正射影像（采用GeoDoging进行匀光和镶嵌）
4.6 实例
新疆某地区338张像片，耗时147分钟， 自动生成136万物方点，DEM和正射影像
1.2.5 劣势
• 像幅小、基高比小
相同的重叠度情况下，需要跟多的控制点
• 姿态不稳定
旋偏角、俯仰、滚动，甚至导致连接有问题
• 非专业相机
光敏度、像点位移、存在镜头畸变、其它未知的系统 误差
1.3 新起点 抗震救灾(1)
1.3 新起点 抗震救灾(2)
二、无人机影像特点和影响因素分析
2.1 相机 2.2 重叠度与相机姿态角 2.3 小像幅、小基高比 2.4 分辨率与像点位移 2.5 曝光间隔与地面分辨率、地面速度关系
2. 像点位移带来的问题
高于5CM，需要FMC（向前运动补偿）
3. 辐射校定方面的问题
辐射校正方面主要的还是没有独立的标准算法进行获 取的影像格式的转换（从Bayer filter or Foveon sensor to RGB）
4. 由于单幅影像覆盖面积小，正射影像图接缝工作 量变大，像对模型变多，增加了模型切换和模型 接边工作量
检校 • （4）根据长期来检校的统计数据确定检校的时间周期
标定方法
• 二维平面法
iWitness模板
武汉大学遥感信息工程学院标定场
室内三维检校场
• 由测绘遥感国家重点实验室自主研发基金和重点开放基金 支持的测绘遥感信息工程国家实验室长远建设项目”高分 辨率对地观测系统定标与综合试验场建设”第一期航空定 标与综合试验场已初步建成,并投入使用。
3.6 DEM生成
• 常用的主要生成方法： • 1)移动曲面拟合法 • 2)多面函数法DEM内插 • 3)有限元法DEM内插
3.7 正射影像生成与镶嵌
• 根据有关的参数与数字地面模型，利用相应的
构像方程式，或按一定的数学模型用控制点解算， 从原始的非正射投影的数字影像获取正射影像， 其实就是将影像化为很多微小的区域逐一进行纠 正（变换或映射）。然后将区域所有正射影像镶 嵌成整个区域的正射影像。
2.4 分辨率与像点位移
• 影像地面分辨率影像因素
– 相机本身CCD(CMOS)大小（ccd_size） – 像素分辨率 – 相机镜头焦距(c) – 航高(H)
像点位移 使图像模糊影响有效分辨率
像点位移公式
• (1).飞行器的地面速度 • (2).相机曝光时间 • (3).焦距长度 c • (4).飞行器的飞行高度 • (5).像元大小
采用不同地面类型无人机影像数据20套，每套数 据像片数150~800张不等，航高500~800米，佳 能400D相机，焦距24mm，像片大小3888x2592 像素 • 运行环境，Intel 4核 CPU主频2.33GHz、内存3G • 运行模式全自动批处理 • 平均处理速度每分钟2-3片 • 成果
2.5 曝光间隔与地面分辨率、地面速度关系
曝光间隔与地面分辨率、地面速度关系
它们的关系可以由下面方程表示
• 由方程（1）容易看出当GSD一定时，相机的曝光间隔与 装载它的飞行器的地面飞行速度成反比关系
t: 曝光时间间隔 GSD: 地面分辨率 Vg: 飞行器的地面飞行速度 P: 航向重叠度 npix: 航向方向的像元个数
2.1非专业数码相机
普通定焦型
数码相机
普通单反型
可量测单反型
2.1 镜头畸变
中间小，边缘大，可达20-40像素
无变形
桶装变形 枕形变形 径向变形
切向变形
畸变后果
• 使物点、投影中心、像点三点不再共线 • 影像形状发生非透视畸变 •
– 同名光线不再相交 – 空间后交精度降低 – 重建物体的几何模型变形
r (x x0 )2 ( y y0 )2
x0，y0为像主点 x，y为像素坐标系坐标
2.2 重叠度与相机姿态角
• 传统摄影测量
– 航向重叠60% – 旁向重叠30% – 姿态角< 3°
• 无人机摄影测量
– 航向重叠70-85% – 旁向重叠35-55% – 姿态角可达10 °以上
• 姿态不稳定，需要新的初始值计算方法
飞行时既要顾及作业效率也要考虑获取的影像质量，所 以要在曝光间隔与搭载平台的飞行速度间找到一个最佳的 值。
四、待需解决的问题
1. 变焦距引起的在相机内定向和检校方面的问题
由于焦距长度可变，所以每次变换焦距长度都需要从 新进行相机检校即使机械固定了焦距使其不变，在飞行高 度增加时由于大气压的变化，焦距的长度仍然会发生变化
3.5 光束法空中三角测量
• 光束法空中三角测量以共线方程为基础（即摄影
时地面点，摄站点，像点共线为条件），以一幅 影像所组成的一束光线作为平差的基本单元，通 过各个光线束在空间的旋转和平移，使模型之间 的公共点的光线实现最佳交会。在具有多余观测 的情况下，在保证[pvv]最小的意义下解求待求参 数。
• 航空定标与综合试验场位于河南登封市,面积近100平方公 里,区域内有农田、道路、村镇、河流、树林等，典型的 丘陵地形，交通便利，植被多样。217个高 精度控制点分 三级均匀分布在整个测区内，可满足不同分辨率航空传感 器的检校与性能测试需要。各种可移动的标志物可用于传 感器的分辨率测试和幅射校正工作。
1.2 无人机摄影测量优势与劣势
• 优势
➢ 具有机动性、灵活性和安全性 ➢ 分辨率高 多角度 ➢ 性能优异 ➢ 低成本
• 劣势
➢ 像幅小 ➢ 基高比小 ➢ 姿态不稳定 ➢ 非专业相机
1.2.1 具有机动性、灵活性和安全性
无人飞行器的机动性、灵活性使得它不要求专用 起降场地，升空准备时间短、操作控制较容易、 运行成本低，城市的运动场、广场等都可以作为 起降场地，特别适合在建筑物密集的城市地区和 地形复杂地区及国内南部丘陵、多云地区应用。 它的安全性使得它能够在对人生命有害的危险和 恶劣环境下(如森林火灾、火山、有毒液体等)直 接获取影像，即便是设备出现故障，发生坠机也 无人身伤害。
7.综合分析
通过分析可以看出当地面分辨率一定，飞行速度与曝光 时间成反比。可以看出飞行速度与影像的运动成正比。
因此可以知道飞行速度太快，像点位移会超出限定范围， 这就会使得影像模糊，影响地面分辨率。但同时如果飞行 速度太低，曝光间隔长了，这就会影响作业效率。
由于影像存储速度的影像，曝光间隔至少要大于2sec，所 以对于一定分辨率的影像，飞行器的飞行速度也不能太快。
3.8 立体像对生成
• 立体相对生成主要是用于立体测图仪 （JX4C，VirtuoZo等等）进行立体观测。
• 利用两幅相互重叠的影像构成立体相对。
4. 天工无人机摄影测量处理软件
• 现有处理软件模式 • 4.1 系统概述 • 4.2 系统功能 • 4.3 系统特色 • 4.4 系统流程 • 4.5 效率测试 • 4.6 实例
• 目前已获取了ADS40的不同GSD的影像，后续处理工作 正在进行中。预计在年前完成DMC，LIDAR，TOPDC等 航空传感器的航空摄影。
•室外三维检校场
三维检校场方法
• 三维控制场需要有一定的深度 • 利用空间后方交会 • 标志点的关系长期稳定、不变 • 标志点利用经纬仪精确测量
3.2 航带生成
三、无人机影像处理技术与方法
• 处理技术
3.1 相机标定
由于数码相机的焦距可变，这样在不同的航空条件 下内定向就会发生改变，因此可进行以下4个水平 层次上进行几何校正
• （1）在实验室二维或三维试验场进行几何校正 • （2）在一个检校区域进行飞行几何校正 • （3）为了适应特定的区域环境，在飞行任务时同时进行
1.1 为什么UAV-2
• 技术驱动
UAV(Unmanned Air Vehicle ,无人驾驶航空飞行器) 遥感平台的出现为这种应急需求提供了一种新的 技术途径。UAV 无人驾驶,由地面遥控站通过无线 电通信控制飞机的起飞、到达指定空域、实行遥 感操作、以及返回遥控站降落等操作。它可实现 危险区域目标图像实时获取、空中侦察与目标搜 索、环境监测、海区巡视、救援指挥、大气参数 测量、有毒污染地区空中监测等多种载人机无法 完成或不易完成的任务
现有处理软件模式
• 传统摄影测量软件
– 流程成熟 – 作业效率低
• 快速拼接，生成一张全景影像
– 无精度，不可量测
• 专用无人机摄影测量软件
– 效率高 – 有待大量生产检验
4.1 系统概述
• 针对无人飞机像幅小、姿态不稳定、重叠 度大、非专业相机等特点，开发了一套无 人机摄影测量数据自动处理系统GodWork
的粗差检测能力 • 自标定，不需要严格相机参数 • 处理自动化程度高 • 支持多核CPU
4.4 系统流程
• 特征匹配
– 每张影像提取特征点，相邻影像进行匹配
• 初始构网
– 每张影像提取特征点，相邻影像进行匹配
• 带附加参数的光束法平差
– 把所有匹配点纳入平差过程
• DEM和正射影像生成
4.5 效率测试
• 姿态不稳定，基于灰度的相关系数匹配失 效
• 重叠度增大，增加观测值个数，增加解算 稳定和可靠性
2.3 小像幅、小基高比
基线B
基线B
大像幅
小像幅
航高H
• 由于单幅影像覆盖面积小，正射影像图接 缝工作量变大，像对模型变多，增加了模 型切换和模型接边工作量
• 基高比变小，使得空中三角形不稳定，降 低解算稳定性