基于图像的大规模场景三维建模
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于随机传播的多视图稠密重建
稠密重建(Multiple View Stereo)
点云建模(Point Cloud Modeling)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
点云建模(Point Cloud Modeling)
无人机图像建筑物建模
稠密重建(Multiple View Stereo)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
稠密重建(Multiple View Stereo)
稠密重建(Multiple View Stereo)
基于随机传播的多视图稠密重建
稠密重建(Multiple View Stereo)
点云 模型化
三维 模型
稀疏重建(Structure from Motion)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
稀疏重建(Structure from Motion)
多视角图像
相机位姿+场景结构
稀疏重建(Structure from Motion)
应用三：航拍图像三维地图构建
应用三：航拍图像三维地图构建
五相机航空倾斜摄影测量，单幅图像分辨率5600万像素
应用三：航拍图像三维地图构建
航空倾斜摄影城市三维重建
应用三：航拍图像三维地图构建
LOD1城市模型单体化和语义化
未来发展趋势
二维 图像
三维 点云
三维 网格
分割 识别
语义 模型
从三维几何感知到三维语义感知
基于图像的大规模场景三维建模基于图像的大规模场景维建模输入 二维 图像
手机图像
无人机图像
街景车图像
图像全自动三维建模系统
输出 三维 模型
几何视觉与物体视觉
背部通道进行空间视觉，目前 主要采用基于几何的方法
V1
前额皮质通过信息
融合实现高级认知
腹部通道进行物体视觉，目前 主要采用基于学习的方法
几何视觉的核心问题
无人车
服务机器人
AR
在与三维环境的交互过程中，除了对二维图像的理解，还需要对三 维环境的感知；
场景的三维结构和相机的六自由度空间位姿是智能机器人感知、决 策、动作的基础信息。
几何视觉的核心问题
三维几何视觉核心问题：场景结构+相机位姿+(相机参数)
途径一：Structure from Motion (SfM) + Multiple View Stereo (MVS) —多视角图像 —重建场景稀疏结构与相机位姿（off-line） —SfM后可通过MVS获得稠密场景结构（off-line） —SfM后可通过PnP计算相机实时位姿（on-line）
Thanks !
点云建模(Point Cloud Modeling)
有纹理模型
无纹理模型
点云建模(Point Cloud Modeling)
LOD建模 (CityGML)
点云建模(Point Cloud Modeling)
初始网格分割
建筑物部件分割
点云建模(Point Cloud Modeling)
LOD1自动建模
特征点检测
特征点匹配
相机位姿(R,T)初始化
捆绑调整 优化相机位姿、相机
参数、场景结构
混合式稀疏重建： 1. 极几何图构造 2. 全局式求解Rotation 3. 增量式求解Translation
稀疏重建(Structure from Motion)
稀疏重建(Structure from Motion)
应用一：中国古建三维数字化
五台山佛光寺天地、室内外一体化三维重建
应用二：三维数字化城市
Nokia街景
腾讯街景
四维图新街景
应用二：三维数字化城市
部分区域重建结果（总点云规模>10亿）
应用二：三维数字化城市
部分区域重建结果（总点云规模>10亿）
应用三：航拍图像三维地图构建
固定翼高空无人机 25平方公里地形，150幅高空无人机图像
途径二：Simultaneous Localization and Mapping (SLAM) —视频序列 —重建场景稀疏/准稠密/稠密结构与相机位姿（on-line） —需要闭环检测+图优化（on-line）
图像三维重建基本流程
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
大场景图像三维建模典型应用
无人车高精地图
古建三维数字化
数字城市
应用一：中国古建三维数字化
北京房山云居寺三维重建，1200幅无人机图像+3000幅地面图像
应用一：中国古建三维数字化
北京房山云居寺三维重建，1200幅无人机图像+3000幅地面图像
应用一：中国古建三维数字化
山西五台山佛光寺（2万张图像，3.7万平米）
稠密重建(Multiple View Stereo)
点云建模(Point Cloud Modeling)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
点云建模(Point Cloud Modeling)
无人机图像建筑物建模
稠密重建(Multiple View Stereo)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
稠密重建(Multiple View Stereo)
稠密重建(Multiple View Stereo)
基于随机传播的多视图稠密重建
稠密重建(Multiple View Stereo)
点云 模型化
三维 模型
稀疏重建(Structure from Motion)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
稀疏重建(Structure from Motion)
多视角图像
相机位姿+场景结构
稀疏重建(Structure from Motion)
应用三：航拍图像三维地图构建
应用三：航拍图像三维地图构建
五相机航空倾斜摄影测量，单幅图像分辨率5600万像素
应用三：航拍图像三维地图构建
航空倾斜摄影城市三维重建
应用三：航拍图像三维地图构建
LOD1城市模型单体化和语义化
未来发展趋势
二维 图像
三维 点云
三维 网格
分割 识别
语义 模型
从三维几何感知到三维语义感知
基于图像的大规模场景三维建模基于图像的大规模场景维建模输入 二维 图像
手机图像
无人机图像
街景车图像
图像全自动三维建模系统
输出 三维 模型
几何视觉与物体视觉
背部通道进行空间视觉，目前 主要采用基于几何的方法
V1
前额皮质通过信息
融合实现高级认知
腹部通道进行物体视觉，目前 主要采用基于学习的方法
几何视觉的核心问题
无人车
服务机器人
AR
在与三维环境的交互过程中，除了对二维图像的理解，还需要对三 维环境的感知；
场景的三维结构和相机的六自由度空间位姿是智能机器人感知、决 策、动作的基础信息。
几何视觉的核心问题
三维几何视觉核心问题：场景结构+相机位姿+(相机参数)
途径一：Structure from Motion (SfM) + Multiple View Stereo (MVS) —多视角图像 —重建场景稀疏结构与相机位姿（off-line） —SfM后可通过MVS获得稠密场景结构（off-line） —SfM后可通过PnP计算相机实时位姿（on-line）
Thanks !
点云建模(Point Cloud Modeling)
有纹理模型
无纹理模型
点云建模(Point Cloud Modeling)
LOD建模 (CityGML)
点云建模(Point Cloud Modeling)
初始网格分割
建筑物部件分割
点云建模(Point Cloud Modeling)
LOD1自动建模
特征点检测
特征点匹配
相机位姿(R,T)初始化
捆绑调整 优化相机位姿、相机
参数、场景结构
混合式稀疏重建： 1. 极几何图构造 2. 全局式求解Rotation 3. 增量式求解Translation
稀疏重建(Structure from Motion)
稀疏重建(Structure from Motion)
应用一：中国古建三维数字化
五台山佛光寺天地、室内外一体化三维重建
应用二：三维数字化城市
Nokia街景
腾讯街景
四维图新街景
应用二：三维数字化城市
部分区域重建结果（总点云规模>10亿）
应用二：三维数字化城市
部分区域重建结果（总点云规模>10亿）
应用三：航拍图像三维地图构建
固定翼高空无人机 25平方公里地形，150幅高空无人机图像
途径二：Simultaneous Localization and Mapping (SLAM) —视频序列 —重建场景稀疏/准稠密/稠密结构与相机位姿（on-line） —需要闭环检测+图优化（on-line）
图像三维重建基本流程
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
大场景图像三维建模典型应用
无人车高精地图
古建三维数字化
数字城市
应用一：中国古建三维数字化
北京房山云居寺三维重建，1200幅无人机图像+3000幅地面图像
应用一：中国古建三维数字化
北京房山云居寺三维重建，1200幅无人机图像+3000幅地面图像
应用一：中国古建三维数字化
山西五台山佛光寺（2万张图像，3.7万平米）