基于无人机遥感影像拓扑分析的三维重建
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
历全局待匹配影像,并 对 每 一 组 影 像 以 欧 式 距 离 作 为特征向量的相似 性 准 则 对 特 征 点 进 行 粗 匹 配,笔 者称之为 全 局 遍 历 影 像 匹 配 法,该 算 法 非 常 耗 时, 重建效率低。
针对上述问题,本 文 利 用 无 人 机 飞 控 系 统 提 供 的辅助信 息 (触 发 相 机 快 门 时 间、飞 机 位 置 以 及 姿 态数据 ),判 断 影 像 间 重 叠 关 系,建 立 影 像 拓 扑 结 构,排除非关联影 像 的 干 扰,减 少 误 匹 配,降 低 影 像 匹配算法复杂度,提 高 匹 配 效 率。 本 文 称 这 种 算 法 为基于影像拓扑 关 系 匹 配 法。 具 体 步 骤 包 括:① 依 据摄影测量学中影 像 外 方 位 元 素 定 义,由 于 飞 控 数 据与相机实 际 姿 态、位 置 间 仍 然 存 在 微 小 差 异,需 先经过一系列坐标 系 统 旋 转 将 飞 控 系 统 中IMU 直 接获取的传感器位置、姿 态 角 转 换 成 影 像 的 6 个 外 方 位 元 素[5],使 其 真 正 反 映 相 机 拍 摄 时 的 姿 态、位 置。②利用共线条件方程分别计算每张影像对应4 个角点在 地 面 摄 影 测 量 坐 标 系 中 的 投 影 坐 标。 ③
由于 卫 星 遥 感 和 载 人 航 空 摄 影 测 量 获 取 影 像 时受时空分 辨 率、外 界 环 境 及 使 用 成 本 等 影 响,无 法满足地理空间数据的需求。随着材料科学和自 动控制工程的 发 展,低 空 无 人 机 (Unmanned Aerial Vehicle,UAV)遥 感 以 其 机 动 灵 活、实 时 性 强、成 本 低等优势,利 用 其 搭 载 相 机 可 以 对 同 一 目 标、场 景 进行多角度、多 位 置 成 像,成 为 快 速 获 取 地 理 数 据 的有效平台[1-2],可满足精细获取三维信息方 面 的 要
Topology analysis-based 3Dreconstruction from UAV images
LIU Jun1,2,XU Zhi-hua3,LIU Xiao-yang1,WANG He1,SUN Guang-tong1
(1.Department of Disaster Prevention Engineering,Institute of Disaster Prevention Science and Technology,Yanjiao 101601, China;2.School of Earth Science and Surveying Engineering,China University of Mining and Technology,Beijing 100083, China;3.Key Laboratory of Environmental Change and Natural Disaster of MOE,Beijing Normal University,Beijing 100875, China)
收 稿 日 期 :2013-12-03 基 金 项 目 :中 国 地 震 局 教 师 科 研 基 金 资 助 项 目 (20120102) 作 者 简 介 :刘 军 (1986- ),男 ,助 教 ,硕 士 研 究 生 .
求。而如何高效、全 自 动 处 理 无 人 机 获 取 的 低 空 遥 感 影 像 ,是 一 项 急 需 解 决 的 关 键 技 术 。
Abstract:It presents a low-cos t,automated 3D-reconstruction approach without a previous camera calibration or any other prior knowledge of the scene to generate 3Dscene based on unmanned aerial vehicle system (UAVs)images.For scene reconstruction,the camera location and orientation parameters,as well as a sparse 3Dpoint cloud through feature extraction,image matching and an iterative,robust Structure from Motion (SfM)procedure are recovered from digital sequence images based on image topology analysis with flight-control data acquired by the UAVs.Results show that the proposed method is fast and reliable for 3Dreconstruction which has higher accuracy. Key words:unmanned aerial vehicles;flight-control data;image topology analysis;3D reconstruction; accuracy analysis
本文以特定地 形 为 试 验 区,结 合 无 人 机 影 像 数 据特点,利 用 飞 控 系 统 提 供 的 辅 助 信 息,提 出 了 一 种低成本、快速鲁棒 处 理 无 人 机 高 分 辨 率 遥 感 影 像 三维重建方法。
1 试 验 设 计 与 wk.baidu.com 据 获 取
试验区选 择 在 山 东 省 临 沂 市 罗 庄 区 (见 图 1)。 区内地貌特征明显,且 因 建 筑 施 工 多 处 发 生 小 面 积 滑坡。
摘 要:在无需任何地面控制点或其它先验知识前提下,探索一种 基 于 无 人 机 遥 感 影 像 的 三 维 重 建 方 法 。 利 用 无 人 机飞控数据建立的影像拓扑结构,依次通过特 征 点 提 取、影 像 匹 配、从 运 动 恢 复 结 构 等 步 骤 估 计 出 相 机 位 置 和 姿 态 参数,并恢复出场景特征点云信息,最后对重建精度进行分析。试验 结 果 表 明,文 中 提 出 的 方 法 可 快 速 、可 靠 地 实 现 较高精度的三维模型重建。 关 键 词 :无 人 机 ;飞 控 数 据 ;影 像 拓 扑 分 析 ;三 维 重 建 ;精 度 分 析 中 图 分 类 号 :V279;P237 文 献 标 志 码 :A 文 章 编 号 :1006-7949(2014)08-0032-04
图 3 无 人 机 遥 感 影 像 数 据 处 理 流 程
2.1 特 征 点 提 取 试验 采 用 Lowe的 SIFT[4]算 法 提 取 无 人 机 影
像特征点。但该算法在处理高分辨率无人机影像
图 4 影 像 分 块 示 意 图
2.2 影 像 匹 配 基于 SIFT 描 述 子 进 行 影 像 匹 配,需 要 依 次 遍
· 34 ·
测 绘 工 程 第23卷
根据计算机图形学 知 识 判 断 影 像 重 叠 关 系,建 立 如 图 5 所 示 影 像 拓 扑 连 接 图 ,其 中 结 点 表 示 单 幅 影 像 , 直线表示影像间有重叠关系。
图 5 影 像 拓 扑 结 构
利用图5拓扑结构,基于 K-D 树的 近 似 最 邻 近 (Approximate Nearest Neighbors,ANN)算 法 对 影 像进行粗匹配;最 后 采 用 随 机 抽 取 一 致 性 (Random Sample Consensus,RANSAC)[6]策 略 和 8 点 算 法 [7] 相结合,估 计 出 一 个 鲁 棒 的 基 本 矩 阵,进 一 步 剔 除 误匹配点,最终得到 满 足 对 极 几 何 约 束 的 匹 配 特 征 点对。表1为全局遍历影像匹配和基于影像拓扑关 系匹配效率对比 情 况。 由 表 1 可 知,基 于 影 像 拓 扑 结构匹配的次数明 显 少 于 全 局 匹 配 策 略,很 大 程 度 上降低了匹 配 的 复 杂 度,且 影 像 数 目 越 多,算 法 效 率优势越明显。图6所示为单张影像特征匹配耗时 曲线。图中 全 局 遍 历 影 像 匹 配 时 单 张 影 像 匹 配 耗 时随影像序号的增 加 呈 线 性 增 长 趋 势,而 基 于 影 像 拓扑结构的单张影 像 因 其 匹 配 过 程 中,影 像 搜 索 范 围仅局限于有拓扑 连 接 的 影 像,故 耗 时 曲 线 近 似 保 持平稳。因 此,该 算 法 可 为 无 人 机 遥 感 影 像 快 速、 稳健匹配提供支 撑。 另 外,图 中 出 现 的 耗 时 高 值 点 (如 38,40,47 等 点 )主 要 受 两 个 因 素 影 响 :① 与 该 幅 影像有重叠 区 域 的 影 像 数 目,即 匹 配 次 数 有 关,次 数越大耗时 越 多;② 两 幅 影 像 的 特 征 点 匹 配 对 数, 如果两幅影像的重 叠 部 分 大 且 特 征 信 息 丰 富,则 提 取 的 特 征 点 数 目 多 ,匹 配 耗 时 就 越 多 。
试验采用小型 固 定 翼 无 人 机 飞 行 平 台,预 设 飞
第 8 期 刘 军 ,等 :基 于 无 人 机 遥 感 影 像 拓 扑 分 析 的 三 维 重 建
· 33 ·
图 1 研 究 区 域 空 间 位 置 与 全 景 影 像
行相对航高120 m,南 北 向 4 条 航 带。 航 向 重 叠 为 90%,旁 向 重 叠 为 60%。 利 用 平 台 搭 载 的 轻 巧 型、 高分辨率非量测数码相 机 (传 感 器 尺 寸 8.72 mm× 6.54mm,相 机 焦 距 为 24 mm),共 拍 摄 56 幅 影 像 (见图2),影像 大 小 为 4320 像 素 ×3240 像 素,对 应 地面分辨率达到厘米级。
时易出现计算机 内 存 溢 出 等 问 题。 为 此,本 文 采 用 影像分块处理的 方 法。 具 体 做 法 是:将 原 始 影 像 分 成大小 相 同 的 图 块,每 次 取 一 小 块 影 像 提 取 特 征 点,即分别 对 影 像 块 依 次 建 立 尺 度 空 间、检 测 极 值 点和生成特 征 描 述 符,并 保 存 子 块 特 征 点 文 件,然 后合并子块 生 成 最 终 结 果。 图 4 为 影 像 分 块 示 意 图,依次将影像从 左 到 右,从 上 到 下 划 分 为 小 图 块。 试验中选 取 影 像 块 大 小 为 500 像 素 ×500 像 素 (具 体要结合 计 算 机 性 能 调 整 ),如 果 影 像 右 侧 或 下 侧 像素个数不 足 500,但 仍 大 于 0,也 算 作 一 个 图 块。 此外,为确保在块交界处检测 到 SIFT 特 征 点,避 免 特征信 息 丢 失,相 邻 块 之 间 需 保 持 一 定 的 重 叠 度 (>10%)。
第 23 卷 第 8 期 2014 年 8 月
测 绘 工 程 Engineering of Surveying and Mapping
Vol.23,No.8 Aug.,2014
基于无人机遥感影像拓扑分析的三维重建
刘 军1,2,许 志 华3,刘 小 阳1,王 鹤1,孙 广 通1
(1.防灾科技学院 防灾工程系,河北 燕郊 101601;2.中国矿业 大 学 地 球 科 学 与 测 绘 工 程 学 院,北 京 100083;3.北 京 师 范 大 学 环境演变与自然灾害教育部重点实验室,北京 100875)
图 2 无 人 机 影 像 序 列
2 基 于 影 像 拓 扑 分 析 的 三 维 重 建 算 法
利用影像 序 列 进 行 立 体 重 建 步 骤,具 体 包 括: 特征点提取、影像 匹 配、从 运 动 恢 复 结 构 等,该 算 法 可以自动估 计 相 机 位 置、姿 态 参 数,并 恢 复 出 场 景 三 维 特 征 点 云 信 息 [3],其 技 术 流 程 如 图 3 所 示 。
针对上述问题,本 文 利 用 无 人 机 飞 控 系 统 提 供 的辅助信 息 (触 发 相 机 快 门 时 间、飞 机 位 置 以 及 姿 态数据 ),判 断 影 像 间 重 叠 关 系,建 立 影 像 拓 扑 结 构,排除非关联影 像 的 干 扰,减 少 误 匹 配,降 低 影 像 匹配算法复杂度,提 高 匹 配 效 率。 本 文 称 这 种 算 法 为基于影像拓扑 关 系 匹 配 法。 具 体 步 骤 包 括:① 依 据摄影测量学中影 像 外 方 位 元 素 定 义,由 于 飞 控 数 据与相机实 际 姿 态、位 置 间 仍 然 存 在 微 小 差 异,需 先经过一系列坐标 系 统 旋 转 将 飞 控 系 统 中IMU 直 接获取的传感器位置、姿 态 角 转 换 成 影 像 的 6 个 外 方 位 元 素[5],使 其 真 正 反 映 相 机 拍 摄 时 的 姿 态、位 置。②利用共线条件方程分别计算每张影像对应4 个角点在 地 面 摄 影 测 量 坐 标 系 中 的 投 影 坐 标。 ③
由于 卫 星 遥 感 和 载 人 航 空 摄 影 测 量 获 取 影 像 时受时空分 辨 率、外 界 环 境 及 使 用 成 本 等 影 响,无 法满足地理空间数据的需求。随着材料科学和自 动控制工程的 发 展,低 空 无 人 机 (Unmanned Aerial Vehicle,UAV)遥 感 以 其 机 动 灵 活、实 时 性 强、成 本 低等优势,利 用 其 搭 载 相 机 可 以 对 同 一 目 标、场 景 进行多角度、多 位 置 成 像,成 为 快 速 获 取 地 理 数 据 的有效平台[1-2],可满足精细获取三维信息方 面 的 要
Topology analysis-based 3Dreconstruction from UAV images
LIU Jun1,2,XU Zhi-hua3,LIU Xiao-yang1,WANG He1,SUN Guang-tong1
(1.Department of Disaster Prevention Engineering,Institute of Disaster Prevention Science and Technology,Yanjiao 101601, China;2.School of Earth Science and Surveying Engineering,China University of Mining and Technology,Beijing 100083, China;3.Key Laboratory of Environmental Change and Natural Disaster of MOE,Beijing Normal University,Beijing 100875, China)
收 稿 日 期 :2013-12-03 基 金 项 目 :中 国 地 震 局 教 师 科 研 基 金 资 助 项 目 (20120102) 作 者 简 介 :刘 军 (1986- ),男 ,助 教 ,硕 士 研 究 生 .
求。而如何高效、全 自 动 处 理 无 人 机 获 取 的 低 空 遥 感 影 像 ,是 一 项 急 需 解 决 的 关 键 技 术 。
Abstract:It presents a low-cos t,automated 3D-reconstruction approach without a previous camera calibration or any other prior knowledge of the scene to generate 3Dscene based on unmanned aerial vehicle system (UAVs)images.For scene reconstruction,the camera location and orientation parameters,as well as a sparse 3Dpoint cloud through feature extraction,image matching and an iterative,robust Structure from Motion (SfM)procedure are recovered from digital sequence images based on image topology analysis with flight-control data acquired by the UAVs.Results show that the proposed method is fast and reliable for 3Dreconstruction which has higher accuracy. Key words:unmanned aerial vehicles;flight-control data;image topology analysis;3D reconstruction; accuracy analysis
本文以特定地 形 为 试 验 区,结 合 无 人 机 影 像 数 据特点,利 用 飞 控 系 统 提 供 的 辅 助 信 息,提 出 了 一 种低成本、快速鲁棒 处 理 无 人 机 高 分 辨 率 遥 感 影 像 三维重建方法。
1 试 验 设 计 与 wk.baidu.com 据 获 取
试验区选 择 在 山 东 省 临 沂 市 罗 庄 区 (见 图 1)。 区内地貌特征明显,且 因 建 筑 施 工 多 处 发 生 小 面 积 滑坡。
摘 要:在无需任何地面控制点或其它先验知识前提下,探索一种 基 于 无 人 机 遥 感 影 像 的 三 维 重 建 方 法 。 利 用 无 人 机飞控数据建立的影像拓扑结构,依次通过特 征 点 提 取、影 像 匹 配、从 运 动 恢 复 结 构 等 步 骤 估 计 出 相 机 位 置 和 姿 态 参数,并恢复出场景特征点云信息,最后对重建精度进行分析。试验 结 果 表 明,文 中 提 出 的 方 法 可 快 速 、可 靠 地 实 现 较高精度的三维模型重建。 关 键 词 :无 人 机 ;飞 控 数 据 ;影 像 拓 扑 分 析 ;三 维 重 建 ;精 度 分 析 中 图 分 类 号 :V279;P237 文 献 标 志 码 :A 文 章 编 号 :1006-7949(2014)08-0032-04
图 3 无 人 机 遥 感 影 像 数 据 处 理 流 程
2.1 特 征 点 提 取 试验 采 用 Lowe的 SIFT[4]算 法 提 取 无 人 机 影
像特征点。但该算法在处理高分辨率无人机影像
图 4 影 像 分 块 示 意 图
2.2 影 像 匹 配 基于 SIFT 描 述 子 进 行 影 像 匹 配,需 要 依 次 遍
· 34 ·
测 绘 工 程 第23卷
根据计算机图形学 知 识 判 断 影 像 重 叠 关 系,建 立 如 图 5 所 示 影 像 拓 扑 连 接 图 ,其 中 结 点 表 示 单 幅 影 像 , 直线表示影像间有重叠关系。
图 5 影 像 拓 扑 结 构
利用图5拓扑结构,基于 K-D 树的 近 似 最 邻 近 (Approximate Nearest Neighbors,ANN)算 法 对 影 像进行粗匹配;最 后 采 用 随 机 抽 取 一 致 性 (Random Sample Consensus,RANSAC)[6]策 略 和 8 点 算 法 [7] 相结合,估 计 出 一 个 鲁 棒 的 基 本 矩 阵,进 一 步 剔 除 误匹配点,最终得到 满 足 对 极 几 何 约 束 的 匹 配 特 征 点对。表1为全局遍历影像匹配和基于影像拓扑关 系匹配效率对比 情 况。 由 表 1 可 知,基 于 影 像 拓 扑 结构匹配的次数明 显 少 于 全 局 匹 配 策 略,很 大 程 度 上降低了匹 配 的 复 杂 度,且 影 像 数 目 越 多,算 法 效 率优势越明显。图6所示为单张影像特征匹配耗时 曲线。图中 全 局 遍 历 影 像 匹 配 时 单 张 影 像 匹 配 耗 时随影像序号的增 加 呈 线 性 增 长 趋 势,而 基 于 影 像 拓扑结构的单张影 像 因 其 匹 配 过 程 中,影 像 搜 索 范 围仅局限于有拓扑 连 接 的 影 像,故 耗 时 曲 线 近 似 保 持平稳。因 此,该 算 法 可 为 无 人 机 遥 感 影 像 快 速、 稳健匹配提供支 撑。 另 外,图 中 出 现 的 耗 时 高 值 点 (如 38,40,47 等 点 )主 要 受 两 个 因 素 影 响 :① 与 该 幅 影像有重叠 区 域 的 影 像 数 目,即 匹 配 次 数 有 关,次 数越大耗时 越 多;② 两 幅 影 像 的 特 征 点 匹 配 对 数, 如果两幅影像的重 叠 部 分 大 且 特 征 信 息 丰 富,则 提 取 的 特 征 点 数 目 多 ,匹 配 耗 时 就 越 多 。
试验采用小型 固 定 翼 无 人 机 飞 行 平 台,预 设 飞
第 8 期 刘 军 ,等 :基 于 无 人 机 遥 感 影 像 拓 扑 分 析 的 三 维 重 建
· 33 ·
图 1 研 究 区 域 空 间 位 置 与 全 景 影 像
行相对航高120 m,南 北 向 4 条 航 带。 航 向 重 叠 为 90%,旁 向 重 叠 为 60%。 利 用 平 台 搭 载 的 轻 巧 型、 高分辨率非量测数码相 机 (传 感 器 尺 寸 8.72 mm× 6.54mm,相 机 焦 距 为 24 mm),共 拍 摄 56 幅 影 像 (见图2),影像 大 小 为 4320 像 素 ×3240 像 素,对 应 地面分辨率达到厘米级。
时易出现计算机 内 存 溢 出 等 问 题。 为 此,本 文 采 用 影像分块处理的 方 法。 具 体 做 法 是:将 原 始 影 像 分 成大小 相 同 的 图 块,每 次 取 一 小 块 影 像 提 取 特 征 点,即分别 对 影 像 块 依 次 建 立 尺 度 空 间、检 测 极 值 点和生成特 征 描 述 符,并 保 存 子 块 特 征 点 文 件,然 后合并子块 生 成 最 终 结 果。 图 4 为 影 像 分 块 示 意 图,依次将影像从 左 到 右,从 上 到 下 划 分 为 小 图 块。 试验中选 取 影 像 块 大 小 为 500 像 素 ×500 像 素 (具 体要结合 计 算 机 性 能 调 整 ),如 果 影 像 右 侧 或 下 侧 像素个数不 足 500,但 仍 大 于 0,也 算 作 一 个 图 块。 此外,为确保在块交界处检测 到 SIFT 特 征 点,避 免 特征信 息 丢 失,相 邻 块 之 间 需 保 持 一 定 的 重 叠 度 (>10%)。
第 23 卷 第 8 期 2014 年 8 月
测 绘 工 程 Engineering of Surveying and Mapping
Vol.23,No.8 Aug.,2014
基于无人机遥感影像拓扑分析的三维重建
刘 军1,2,许 志 华3,刘 小 阳1,王 鹤1,孙 广 通1
(1.防灾科技学院 防灾工程系,河北 燕郊 101601;2.中国矿业 大 学 地 球 科 学 与 测 绘 工 程 学 院,北 京 100083;3.北 京 师 范 大 学 环境演变与自然灾害教育部重点实验室,北京 100875)
图 2 无 人 机 影 像 序 列
2 基 于 影 像 拓 扑 分 析 的 三 维 重 建 算 法
利用影像 序 列 进 行 立 体 重 建 步 骤,具 体 包 括: 特征点提取、影像 匹 配、从 运 动 恢 复 结 构 等,该 算 法 可以自动估 计 相 机 位 置、姿 态 参 数,并 恢 复 出 场 景 三 维 特 征 点 云 信 息 [3],其 技 术 流 程 如 图 3 所 示 。