3基于交比的单幅图像平面几何信息提取算法
图像处理中常用的特征抽取算法介绍
图像处理中常用的特征抽取算法介绍图像处理是计算机视觉领域的重要研究方向，而特征抽取是图像处理中的关键步骤之一。
特征抽取算法能够从原始图像中提取出具有代表性的特征，为后续的图像分析和识别任务提供有价值的信息。
本文将介绍几种常用的特征抽取算法。
一、颜色特征提取算法颜色是图像中最直观的特征之一，常用的颜色特征提取算法有颜色直方图和颜色矩。
颜色直方图统计了图像中不同颜色的像素数量分布，通过对颜色直方图的分析，可以得到图像的颜色分布特征。
而颜色矩则通过对图像中像素的颜色值进行统计，得到图像的颜色矩阵，从而描述图像的颜色分布和色彩信息。
二、纹理特征提取算法纹理是图像中的一种重要特征，可以描述图像中物体的表面细节和结构。
常用的纹理特征提取算法有灰度共生矩阵和小波变换。
灰度共生矩阵通过统计图像中像素灰度级别之间的关系，得到图像的纹理特征。
而小波变换则通过将图像分解成不同尺度和方向的子图像，提取出图像的纹理信息。
三、形状特征提取算法形状是图像中物体的外部轮廓和内部结构，常用的形状特征提取算法有边缘检测和轮廓描述。
边缘检测算法通过检测图像中像素灰度级别的变化，找到物体的轮廓。
而轮廓描述算法则通过对图像中物体轮廓的几何形状进行描述，提取出物体的形状特征。
四、局部特征提取算法局部特征是图像中局部区域的特征，常用的局部特征提取算法有SIFT和SURF。
SIFT算法通过检测图像中的关键点，并提取关键点周围的局部特征描述子，从而得到图像的局部特征。
而SURF算法则通过对图像中的兴趣点进行检测，并提取兴趣点周围的局部特征，用于图像匹配和识别任务。
五、深度学习特征提取算法深度学习是近年来图像处理领域的热门技术，深度学习特征提取算法通过使用深度神经网络模型，自动学习图像中的特征表示。
常用的深度学习特征提取算法有卷积神经网络（CNN）和循环神经网络（RNN）。
CNN通过多层卷积和池化操作，提取图像的局部特征和全局特征。
而RNN则适用于序列数据的特征提取，可以用于处理图像序列和视频数据。
数字摄影测量
摄影测量学：摄影测量学是对研究的对象进行摄影，根据所获得的构像信息，从几何方面和物理方面加以分析研究，从而对所摄对象的本质提供各种资料的一门学科。
数字摄影测量：数字摄影测量是基于数字影像与摄影测量的基本原理，应用计算机技术、数字影像处理、影像匹配、模式识别等多学科的理论与方法，提取所摄对象用数字方式表达的几何与物理信息的摄影测量学的分支学科。
空中三角测量：是立体摄影测量中，根据少量的野外控制点，在室内进行控制点加密，求得加密点的高程和平面位置的测量方法。
内方位元素：描述摄影中心与相片之间相互位置关系的参数空间后方交会：利用航摄像片上三个以上不在一条直线上的控制点按共线方程计算该像片外方位元素的方法空间前方交会（立体像对前方交会）：由立体像对中两张像片的内、外方位元素和像点坐标来确定相应地面点的地面坐标的方法。
像点位移：一个地面点在地面水平的水平像片上的构象与地面有起伏时或倾斜像片上构象的点位不同，这种点位的差异称为像点位移。
数字影像重采样:由于数字影响是个规则的灰度格序列，当对数字影像进行处理时，所求得的点位恰好落在原始像片上像素中心，要获得该点灰度值，就要在原采样基础上再一次采样。
内定向：根据像片的框标和相应的摄影机检定参数，恢复像片与摄影机的相关位置，即建立像片坐标系。
外方位元素：用于描述摄影中心的空间坐标值和姿态的参数。
内方位元素：用来表示摄影中心与像片之间相关位臵的参数，即摄影中心到像片的垂距(主距)f及像主点o在像框标坐标系中的坐标x0，y0,。
内方位元素确定摄影时光束的形状。
绝对定向元素：确定相对定向所建立的几何模型比例尺和恢复模型空间方位的元素。
像主点：像片主光轴与像平面的交点。
主合点：地面上一组平行于摄影方向线的光束在像片上的构像。
金字塔影像：对二维影像进行低通滤波，并逐渐增大采样间隔，形成的影像像素依此减少的影像序列。
影像匹配：通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程。
图像处理中的特征提取和匹配算法
图像处理中的特征提取和匹配算法图像处理在日益热门的人工智能技术中扮演着一种重要的角色。
在图像处理中，特征提取和匹配算法是两个至关重要的步骤。
特征提取是通过分析图像的局部特点来创建描述图像内容的向量，而匹配是将不同图像的特征或特征向量进行比较，以确定它们是否相似。
本文将介绍几种常用的特征提取和匹配算法。
一、特征提取算法1.尺度不变特征变换（SIFT）SIFT是一种特征提取算法，它能够从不同的尺度和方向上提取图像的局部特征。
这种算法在检索和匹配图像中特别有用。
SIFT算法的基本思想是通过高斯差分算子得到一组尺度空间图像，通过高斯图像之间的差异来确定关键点，然后计算每个关键点的局部梯度的幅值和方向，最后形成一个基于梯度方向的特征描述符。
2.速度增强型稀疏编码（SLEEC）SLEEC是一种新型的高效特征提取算法。
与其他算法不同的是，SLEEC只需扫描一次训练数据即可获得最具代表性的特征。
该算法通过运用具有多个分辨率的降采样、随机稀疏和加速度分析三种技术提取特征，从而实现了比其他算法更高的准确性和速度。
二、特征匹配算法1.暴力匹配算法暴力匹配算法是一种基本的匹配算法，它实现了图像特征之间的精确匹配。
该算法通过比较两个图像之间的每个可能的匹配，来确定匹配的好坏。
虽然该算法的准确性很高，但是它非常耗时，因此只适用于小图像匹配。
2.基于Flann树的匹配算法基于Flann树的匹配算法通过对特征向量进行一系列分割和聚类，以快速找到大量数据中的相似匹配。
该算法不仅适用于大规模数据集，而且具有高效和稳定性。
3.随机抽样一致性算法（RANSAC）随机抽样一致性算法是一种常见的特征匹配算法。
该算法通过随机采样一对点来确定匹配，在这个过程中，通过迭代重复采样和检测结果，不断提高匹配模型的准确度。
结论：在图像处理和计算机视觉中，特征提取和匹配是核心算法。
不同的特征提取和匹配算法适用于不同的应用场合。
在实际应用中，为了达到对图像的快速识别和匹配，我们需要根据具体的需求，选择合适的特征提取和匹配算法。
摄影测量考试试题及详细答案
摄影测量考试试题及详细答案1摄影测量学 2航向重叠3单像空间后⽅交会 4相对⾏⾼5像⽚纠正 6解析空中三⾓测量7透视平⾯旋转定律 8外⽅位元素9核⾯ 10绝对定向元素⼀、填空1摄影测量的基本问题，就是将_________转换为__________。
2物体的⾊是随着__________的光谱成分和物体对光谱成分固有不变的________、__________、和__________的能⼒⽽定的。
3⼈眼产⽣天然⽴体视觉的原因是由于_________的存在。
4相对定向完成的标志是__________。
5光束法区域⽹平差时，若像⽚按垂直于航带⽅向编号，则改化法⽅程系数阵带宽为_______，若按平⾏于航带⽅向编号，则带宽为_________。
三、简答题1两种常⽤的相对定向元素系统的特点及相对定向元素。
2倾斜位移的特性。
3单⾏带法相对定向后，为何要进⾏⽐例尺归化？为何进⾏？4独⽴模型法区域⽹平差基本思想。
5何谓正形变换？有何特点？四、论述题1空间后⽅交会的结算步骤。
2有三条航线，每条航线六像⽚组成⼀个区域，采⽤光束法区域⽹平差。
（1）写出整体平差的误差⽅程式的⼀般式。
（2）将像⽚进⾏合理编号，并计算带宽，存容量。
（3）请画出改化法⽅程系数阵结构简图。
A卷答案：⼀、1是对研究的对象进⾏摄影，根据所获得的构想信息，从⼏何⽅⾯和物理⽅⾯加以分析研究，从⽽对所摄影的对象本质提供各种资料的⼀门学科。
2供测图⽤的航测相⽚沿飞⾏⽅向上相邻像⽚的重叠。
3知道像⽚的⽅位元素，以及三个地⾯点坐标和量测出的相应像点的坐标，就可以根据共线⽅程求出六个外⽅位元素的⽅法。
4摄影瞬间航摄飞机相对于某⼀索取基准⾯的⾼度。
5将中⼼投影转换成正射投影时，经过投影变换来消除相⽚倾斜所引起的像点位移，使它相当于⽔平相⽚的构象，并符合所规定的⽐例尺的变换过程。
6是将建⽴的投影光束，单元模型或航带模型以及区域模型的数字模型，根据少数地⾯控制点，按最⼩⼆乘法原理进⾏平差计算，并求加密点地⾯坐标的⽅法。
测绘技术中的数据匹配与配准方法详解
测绘技术中的数据匹配与配准方法详解引言：测绘技术是现代空间信息技术不可或缺的一部分，它在城市规划、土地利用管理、交通规划等领域都起着重要作用。
在测绘技术中，数据匹配与配准是至关重要的步骤，它们决定了测绘结果的准确性和可靠性。
本文将详细介绍测绘技术中的数据匹配与配准方法。
一、数据匹配方法1. 特征点匹配特征点匹配是一种常见的数据匹配方法，它通过提取图像或地物的特征点，并将其与参考图像或地物的特征点进行匹配，从而实现图像或地物之间的匹配。
常用的特征点提取算法包括SIFT、SURF等。
特征点匹配方法适用于单幅图像匹配，例如航空摄影中的正射影像与DEM数据的匹配。
2. 区域匹配区域匹配是一种基于区域的数据匹配方法，它通过将图像或地物分割成不同的区域，然后将待匹配区域与参考区域进行匹配。
区域匹配方法适用于多波段或多尺度的图像匹配，例如遥感图像的多光谱数据匹配。
3. 点匹配点匹配是一种简单而常用的数据匹配方法，它通过将待匹配点与参考点进行比较，从而实现点之间的匹配。
点匹配方法适用于地面测量数据的匹配，例如全球定位系统（GPS）数据的配准。
二、配准方法1. 基于几何变换的配准基于几何变换的配准是一种常用的配准方法，它通过将待配准数据与参考数据进行几何变换，从而实现两者之间的空间一致性。
常用的几何变换包括平移、旋转、缩放和仿射变换等。
基于几何变换的配准方法适用于相似物体或图像之间的配准。
2. 基于特征变换的配准基于特征变换的配准是一种基于特征点匹配的配准方法，它通过将待配准数据的特征点与参考数据的特征点进行匹配，并根据匹配结果进行变换，从而实现两者之间的配准。
常用的特征变换方法包括RANSAC算法和最小二乘法等。
基于特征变换的配准方法适用于复杂地物或图像之间的配准。
3. 基于图形模型的配准基于图形模型的配准是一种基于图论的配准方法，它通过将待配准数据和参考数据建模成图形模型，并利用图论算法求解最优配准结果。
常用的图形模型方法包括最大似然估计和最大后验概率等。
图像分割水平集方法
图像分割水平集方法图像分割是计算机视觉中的重要任务之一，它旨在将一幅图像分割成若干个具有相似特征的区域。
水平集方法是一种常用的图像分割方法，它通过曲线演化的方式来实现分割过程。
本文将介绍图像分割的基本概念，并详细介绍水平集方法的原理及应用。
一、图像分割的基本概念图像分割是指将一幅图像划分成若干个区域，使得每个区域内的像素具有相似的属性。
图像分割在计算机视觉中具有广泛的应用，如目标检测、边缘提取、图像识别等。
常用的图像分割方法包括基于阈值、基于边缘和基于区域的方法。
基于阈值的图像分割方法是指通过设定一定的阈值，将图像中像素的灰度值与阈值进行比较，将灰度值大于或小于阈值的像素分别划分到不同的区域。
这种方法简单快速，适用于对比度较明显的图像分割任务。
基于边缘的图像分割方法是指通过检测图像中的边缘信息来进行分割。
边缘是指图像中颜色、亮度等属性发生突变的位置。
常用的边缘检测算法包括Sobel、Canny等，通过提取图像中的边缘信息，可以将图像划分成若干个相邻的区域。
基于区域的图像分割方法是指将图像中的像素根据其属性进行区域合并或划分。
这种方法通常包括生长式算法、切割式算法等。
生长式算法从种子点出发，逐步将与其相邻且具有相似属性的像素合并到同一区域；切割式算法通过对图像进行分割树构建，然后再进行自底向上的切割操作。
二、水平集方法的原理水平集方法是一种基于曲线演化的图像分割方法，它通过对图像中的曲线进行演化，并利用曲率等特征来进行分割。
水平集方法常用的表达形式是一个函数，称为水平集函数，它可以表示曲线或曲面在图像中的变化。
水平集方法的核心思想是对水平集函数进行演化，使其能够逐渐收敛到目标分割结果。
演化过程中，水平集函数会受到图像梯度、曲率等信息的作用，从而逐渐改变其形状，并最终达到分割的目标。
水平集方法的演化过程通常由以下几个步骤组成：1. 初始化水平集函数：通过设定起始曲线或曲面来初始化水平集函数，起始曲线通常在图像中具有明显的特征。
SIFT特征提取算法
SIFT特征提取算法SIFT（Scale-Invariant Feature Transform）特征提取算法是一种用于图像的局部特征分析的算法。
它能够提取出图像中的关键点，并对这些关键点进行描述，从而可以用于图像匹配、物体识别等应用领域。
本文将详细介绍SIFT算法的原理和过程。
1.尺度空间构建SIFT算法首先通过使用高斯滤波器来构建图像的尺度空间，以便在不同尺度下检测关键点。
高斯滤波器可以通过一系列的高斯卷积操作实现，每次卷积之后对图像进行下采样（降低分辨率），得到不同尺度的图像。
2.关键点检测在尺度空间构建完成后，SIFT算法使用差分运算来检测关键点。
差分运算可以通过对图像进行高斯平滑操作来实现，然后计算相邻尺度之间的差分图像。
对差分图像进行极值检测，即寻找局部最大和最小值的像素点，这些像素点就是图像中的关键点。
3.关键点精确定位关键点的精确定位是通过拟合关键点周围的局部图像来实现的。
SIFT算法使用了一种高度鲁棒的方法，即利用关键点周围梯度的方向和大小来进行拟合。
具体来说，SIFT算法在关键点周围计算图像的梯度幅值和方向，并构建梯度直方图。
然后通过在梯度直方图中寻找局部极值来确定关键点的方向。
4.关键点描述关键点的描述是为了提取关键点周围的特征向量，用于后续的匹配和识别。
SIFT算法使用了一种局部特征描述算法，即将关键点周围的图像区域划分为小的子区域，并计算每个子区域的梯度方向直方图。
然后将这些直方图组合起来，构成一个维度较高的特征向量。
5.特征向量匹配在完成关键点描述之后，SIFT算法使用一种近似的最近邻方法来进行特征向量的匹配。
具体来说，使用KD树或者暴力匹配的方法来寻找两幅图像中最相似的特征向量。
通过计算特征向量之间的距离，可以找到最相似的匹配对。
6.尺度不变性SIFT算法具有尺度不变性的特点，即对于图像的缩放、旋转和视角变化等变换具有较好的鲁棒性。
这是因为在特征提取的过程中，SIFT算法对图像进行了多尺度的分析，并利用了关键点周围的梯度信息进行描述。
基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建
传感技术学报CHINESE JOURNAL OF SENSORS AND ACTUATORS Vol.34No.3 Mar.2021第34卷第3期2021年3月Piecewise Planar3D Reconstruction for Indoor Scenes from a Single Image Based on Atrous Convolution and Multi-Scale Features Fusion*SUN Keqiang,MIAO Jun*9JIANG Ruixiang,HUANG Shizhong,ZHANG Guimei (Computer Vision Institute of Nanchang Hongkong University,Nanchang Jiangxi33Q063f China)Abstract:It is hard for pixel-level and regional-level3D reconstruction algorithms to recover details of indoor scenes due to luminous changes and lack of texture.A piecewise planar3D reconstruction method is proposed based on the convolution residual connection of the holes and the multi-scale feature fusion network.This model uses the shallow high-resolution detail features generated by the ResNet-101network with the added hole convolution to reduce the loss impact of spatial information as network structure deepens on the detail reconstruction,so that this model can learn more abundant features and by coupling positioning accuracy optimized by the fiilly connected conditional random field(CRF)with the recognition ability of deep convolutional neural network,which keeps better boundary smoothness and details・Experimental results show that the proposed method is robust to the plane prediction of indoor scenes with complex backgrounds,the plane segmentation results are accurate,and the depth prediction accuracy can reach92.27%on average.Key words:3D reconstruction of indoor scene；deep convolutional neural network;conditional random field;atrous convolution；multi-scale feature fusionEEACC:6135；6135E doi:10.3969/j.issn.l004-1699.2021.03.012基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建*孙克强，缪君*,江瑞祥，黄仕中，张桂梅(南昌航空大学计算机视觉研究所，江西南昌330063)摘要:受光照变化和纹理缺乏等因素的影响，基于单幅室内场景图像的像素级和区域级三维重建算法很难恢复场景结构细节。
基于深度学习的单幅图像三维重建
第２２卷第４期２０２３年７月杭州师范大学学报（自然科学版）ＪｏｕｒｎａｌｏｆＨａｎｇｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ｖｏｌ．２２Ｎｏ．４Ｊｕｌ．２０２３收稿日期：２０２２ ０７ ０３ 修回日期：２０２２ ０７ ２７基金项目：国家自然科学基金项目（６１９７２４５８，６１８０１１５９）；浙江省自然科学基金项目（ＬＺ２３Ｆ０２０００２）．通信作者：缪永伟（１９７１—），男，教授，博士生导师，主要从事计算机图形学、点云建模与处理、计算机三维视觉、机器学习与深度学习等研究．Ｅ ｍａｉｌ：ｙｗｍｉａｏ＠ｈｚｎｕ．ｅｄｕ．ｃｎ犱狅犻：１０．１９９２６／ｊ．ｃｎｋｉ．ｉｓｓｎ．１６７４ ２３２Ｘ．２０２３．０４．００９基于深度学习的单幅图像三维重建李秀梅，何鑫睿，白 煌，孙军梅，缪永伟（杭州师范大学信息科学与技术学院，浙江杭州３１１１２１）摘 要：随着深度学习技术的发展，深度神经网络在图像处理和三维重建中得到广泛应用，为探究目前深度学习框架下的单幅图像三维重建研究现状，该文对近年的相关研究工作进行综述．首先介绍深度学习框架下基于图像的不同三维重建方法的分类；其次梳理图像三维重建中不同神经网络方法的研究进展；并根据重建三维模型表示方式的不同，分别讨论针对体素、点云、网格、隐式等不同表示方式的单幅图像三维重建网络和方法；然后给出单幅图像三维重建中的常用评价指标与数据集，并对公开数据集下针对不同表示方式的各类三维重建方法的结果进行比较与分析；最后对单幅图像三维重建所面临的困难和挑战进行讨论，并给出未来的研究方向．关键词：深度学习；单幅图像；三维重建；体素；点云；网格；隐式表示中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ文章编号：１６７４ ２３２Ｘ（２０２３）０４ ０３９７ １４０ 引言三维重建是计算机视觉与图形学领域的重要研究方向，其应用领域相当广泛，涉及工业辅助设计、城市数字化建模、文物数字化保护、医学ＣＴ器官重建、三维影视动漫制作等行业［１］．现有三维物体或三维场景的建模方式之一是借助三维设计软件（如３ＤＭａｘ、Ｍａｙａ、Ｕｎｉｔｙ３Ｄ等）进行手动建模，但是由于手动建模效率相对较低，需要由专业人士才能完成．另一种方式是通过对真实物体或三维场景进行结构扫描并完成数字化三维重建，但由于专业设备价格昂贵，导致其应用场景受到限制．然而，由于图像（或照片）数据通常较易获取，其具有低成本、海量数据等特点，从而基于图像的三维重建逐渐成为当前研究热点，更适合于需要便捷式三维重建的应用场合．一般来说，传统基于图像的三维重建方法主要依赖于单视图或多视图几何计算，并通过图像的阴影、纹理、运动视差等信息恢复三维形状［２］．但是，由于传统方法对图像自遮挡不可见部分的结构推测通常较困难，其对视图纹理明暗等信息要求较高，同时求解重建参数的算法较复杂，重建方法效率低、难以达到实用水平．近年来，随着深度学习技术的发展，深度学习框架下的图像三维重建方法的研究得到了普遍重视．具体来说，深度学习框架下基于图像的三维重建旨在通过构建相应神经网络，利用已有的大量图像数据与三维模型数据进行训练，通过学习图像数据与三维模型之间的映射关系，最终实现基于图像的三维重建．深度学习框架下基于图像的三维重建研究可以根据输入图像类型、网络学习方式、输入图像数量或重建模型的表示方式等角度进行分类，如图１所示．图１ 基于图像的重建方法分类犉犻犵．１ 犆犾犪狊狊犻犳犻犮犪狋犻狅狀狅犳犻犿犪犵犲犫犪狊犲犱狉犲犮狅狀狊狋狉狌犮狋犻狅狀犿犲狋犺狅犱狊根据输入图像的类型不同，基于图像的三维重建可以分为基于草图图像的重建［３ ４］，基于深度图像的重建［５ ６］和基于ＲＧＢ图像的重建［７］．根据重建神经网络所采用学习方式的不同，基于图像的三维重建可以分为基于二维监督学习［８］、三维监督学习［９］、二维三维联合监督学习的图像三维重建［１０］．根据输入图像数量的不同，图像三维重建可以分为基于单幅图像的重建［９］和基于多幅图像的重建［１１］两类．根据三维重建中模型表示方式的不同，图像三维重建可以分为基于体素表示、基于点云表示、基于网格表示和基于隐式表示的三维重建［１２］．由于基于深度学习的图像三维重建具有不同的分类标准，并且不同分类标准下的重建方法通常有所重叠与交叉，因此本文主要根据三维重建模型的表示方式不同作为分类标准，着重对近年基于深度学习的单幅图像三维重建方法进行分析和讨论．需要指出的是，虽然Ｆｕ等［１３］和Ｆａｈｉｍ等［１４］对深度学习背景下基于图像的三维重建进行了分析与讨论，但内容以讨论经典网络框架为主．龙霄潇等［１５］主要介绍了三维视觉领域的当前研究进展，但对单幅图像重建方向的探讨较少．然而，由于深度学习和神经网络研究的不断深入，大量具有创新性的重建方法研究相继涌现，本文将在回顾经典重建方法的同时，重点对近年提出的基于深度学习的单幅图像三维重建方法进行分析、讨论和展望．１ 图像三维重建中的网络结构一般来说，常见适用于图像三维重建的神经网络包括卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ＣＮＮ）、循环神经网络（ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ，ＲＮＮ）和图卷积网络（ｇｒａｐｈｎｅｕｒａｌｎｅｔｗｏｒｋ，ＧＮＮ）［１６ １８］．基于深度学习的图像三维重建网络普遍基于卷积神经网络ＣＮＮ［１８］．基础卷积网络的发展不断推动着三维重建网络的进步，如Ｋｒｉｚｈｅｖｓｋｙ等［１８］提出的ＡｌｅｘＮｅｔ深度卷积神经网络由５个卷积层、３个池化层和３个全连接层构成，该网络在ＩｍａｇｅＮｅｔ大赛中获得冠军，同时在各项计算机视觉任务中均表现出色．随后Ｇｉｒｄｈａｒ等［１９］提出的ＴＬ Ｎｅｔ重建网络中的图像编码器便以ＡｌｅｘＮｅｔ网络结构为基础进行微调．而作为ＩＬＳＶＲＣ２０１４比赛分类项目第２名的ＶＧＧＮｅｔ网络［２０］，其基于３ ３轻量级卷积核的网络模块同样被Ｐｉｘ２Ｖｏｘ［２１］网络作为编码器引入．针对图像生成任务，Ｇｏｏｄｆｅｌｌｏｗ等［２２］提出一种对抗生成网络ＧＡＮ（ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｓ）结构，该网络分为生成器与鉴别器两部分，网络学习中通过两者的对抗训练和优化最终获得出色的图像生成效果．ＧＡＮ网络结构同样被应用于三维重建任务中，例如Ｗｕ等［２３］和Ｓｍｉｔｈ等［２４］．通过引入残差结构，Ｈｅ等［２５］提出了一种针对图像识别任务的ＲｅｓＮｅｔ卷积网络，该网络将卷积层进行跳跃连接，其构建的残差结构引起大量关注，并影响了ＲｅｓＭｅｓｈＮｅｔ［２６］、Ｐｉｘ２ｖｏｘ＋＋［２７］等一系列包含残差结构的三维重建网络的结构设计．在残差结构的基础上，Ｈｕａｎｇ等［２８］提出了一种包含密８９３杭州师范大学学报（自然科学版）２０２３年 集连接结构的ＤｅｎｓｅＮｅｔ网络结构，该网络结构被引入Ｐｅｎｇ等［２９］提出的ＩＭＶＤ图像重建网络．Ｈｏｗａｒｄ等［３０］基于深度可分离卷积结构提出了ＭｏｂｉｌｅＮｅｔ网络结构，该网络被Ｊａｃｋ等［３１］用于变形重建网络中进行图像信息处理以获得模型形变估计参数．获得ＩＬＳＣＲＶ２０１７冠军的缩聚激发网络ＳＥＮｅｔ［３２］则提出了一种通过特征压缩激励实现权重分配的注意力思想，并在图像三维重建网络的中间层特征处理中得到了应用．Ｓｕｎ等［３３］提出的图像多尺度特征融合网络ＨＲＮｅｔ在ＭＥＴＲＯ［３４］等图像三维重建网络中作为编码器使用，取得较好的效果．除ＣＮＮ网络外，根据重建任务侧重点不同，不同类型的深度学习网络框架也对三维重建网络发展产生重要影响，如主要应用于语音、文本等序列化数据处理发展的循环神经网络ＲＮＮ，其经典的长短期记忆（ｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙ，ＬＳＴＭ）单元［１６］、门控循环单元（ｇａｔｅｄｒｅｃｕｒｒｅｎｔｕｎｉｔ，ＧＲＵ）［３５］应用于三维重建网络中能够很好地处理序列化模型视图与模型部件，如Ｚｏｕ等［３６］提出基于单幅深度图像重建的３ＤＰＲＮＮ网络，该网络首先将图像输入到由卷积网络构成的编码器中，然后编码成深度特征向量，最后利用ＬＳＴＭ预测图元序列．Ｃｈｏｙ等［９］提出了基于编码解码结构并嵌入ＬＳＴＭ单元的经典重建网络３Ｄ Ｒ２Ｎ２，该网络在编解码网络之间利用ＬＳＴＭ单元与ＧＲＵ单元有效地实现图像隐藏特征的融合．基于ＲＮＮ序列处理思想，Ｗｕ等［３７］提出基于Ｓｅｑ２Ｓｅｑ自编码器，实现了顺序部件组装和三维物体表征的重建．图卷积网络ＧＮＮ结构则擅长处理关系型数据，其在知识图谱、推荐系统等方面已取得较好的应用，在三维重建任务中则适用于三维模型节点特征的处理．例如，Ｗａｎｇ等［３８］提出了一种结合ＧＮＮ的图像三维网格模型重建网络Ｐｉｘｅｌ２Ｍｅｓｈ，该网络很好地利用ＧＮＮ进行三维模型顶点位置预测．Ｌｉｎ等［３９］则将ＧＮＮ与经典模块Ｔｒａｎｓｆｏｍｅｒ有效融合，提出了一种重建网格模型的神经网络Ｇｒａｐｈｏｒｍｅｒ，其在利用ＧＮＮ进行局部信息交互的基础上进一步增强了信息的全局交互．２ 不同模型表示下的单幅图像三维重建现有三维重建中的模型表示类型主要包括体素、点云、网格和隐式４类［１２］，如图２所示． （ａ）体素 （ｂ）点云 （ｃ）网格 （ｄ）隐式图２ 三维模型的不同表示形式犉犻犵．２ 犇犻犳犳犲狉犲狀狋狉犲狆狉犲狊犲狀狋犪狋犻狅狀狊狅犳３犇犿狅犱犲犾狊体素模型受到单一立方体块表达能力限制，其存在细节缺乏以及难以表示出平滑的分界面等问题；然而，体素模型数据结构由三维矩阵表示，其表示简单并适应于卷积神经网络的矩阵运算，因而体素表示成为基于深度学习的图像三维重建的主流模型表示方式．点云则是一种离散的模型结构表示，其利用物体表面的离散采样点表示物体三维形状，点云表示难以表示连续的三维形状（如曲线曲面）；然而，点云表示方式简单，无须编码多个不同的基本体素，使得三维重建网络能够更容易训练学习采样点空间分布．此外，当涉及到几何变换和形状变形时，点云表示具有的无序特性通常可以有效减小编码过程中的排序约束，使得其在大规模场景重建中具有很好的应用．网格表示通常由顶点、边、面组成，其在表示三维形状时９９３ 第４期李秀梅，等：基于深度学习的单幅图像三维重建具有轻量级、形状表面细节丰富等特点；然而，由于表征顶点之间拓扑连接关系中各个顶点的相邻顶点数目通常并不一致，并且数据处理中要保持顶点的有序性使得常见卷积神经网络难以直接处理这种非欧几里得结构的数据，因而基于深度学习的网格模型表示三维重建工作具有一定的挑战．虽然上述不同的模型显式表示研究应用广泛，然而这些显式结构易受计算和存储效率的限制，难以表示任意拓扑形状的高分辨率三维模型．而基于隐式表示的三维重建通过建立隐式函数能够输入高分辨率查询点获得模型参数曲面，其所重建得到的三维模型在分辨率、精细程度方面获得了有效提升．２．１ 基于体素表示的重建网络表１所示给出了基于体素模型表示的单幅图像三维重建方法一览表．表１ 基于体素表示的单幅图像三维重建方法一览表犜犪犫．１ 犔犻狊狋狅犳３犇狉犲犮狅狀狊狋狉狌犮狋犻狅狀犿犲狋犺狅犱狊狅犳狊犻狀犵犾犲犻犿犪犵犲犫犪狊犲犱狅狀狏狅狓犲犾狉犲狆狉犲狊犲狀狋犪狋犻狅狀网络年份技术特点数据集ＰＴＮｅｔ［４０］２０１６基于自编码器结构，训练同时输入二维图像和体素模型ＩＫＥＡＳｈａｐｅＮｅｔ３Ｄ Ｒ２Ｎ２［９］２０１６编解码器中，嵌入ＬＳＴＭ，ＧＲＵ模块融合特征Ｐａｓｃａｌ３Ｄ＋ＳｈａｐｅＮｅｔＶ ＬＳＭ［４１］２０１６在编码器后，使用了反投影将二维特征图恢复至三维结构ＳｈａｐｅＮｅｔ３Ｄ ＶＡＥ ＧＡＮ［２３］２０１６将变分自编码器与对抗生成网络结合ＭｏｄｅｌＮｅｔＩＫＥＡ３Ｄ ＶＡＥ ＩＷＧＡＮ［２４］２０１７在３Ｄ ＶＡＥ ＧＡＮ基础上增加Ｗａｓｓｅｒｓｔｅｉｎ正则项ＭｏｄｅｌＮｅｔＩＫＥＡ３ＤｅｎｓｉＮｅｔ［４２］２０１７堆叠了两个自编码器，中间生成密度热图作为过渡Ｐａｓｃａｌ３Ｄ＋ＳｈａｐｅＮｅｔＭａｒｒＮｅｔ［４３］２０１７将图像首先进行２．５Ｄ估计获得法线、深度和轮廓图像然后进行三维重建Ｐａｓｃａｌ３Ｄ＋ＳｈａｐｅＮｅｔ，ＩＫＥＡＤＲＣ［４４］２０１７提出微分光线一致性公式，可从任意视角计算给定观测值的三维形状的梯度Ｐａｓｃａｌ３Ｄ＋ＳｈａｐｅＮｅｔＯＧＮ［４５］２０１７提出基于八叉树数据结构的卷积解码器ＳｈａｐｅＮｅｔＢｌｅｎｄＳｗａｐＭａｔｒｙｏｓｈｋａ［４６］２０１８解码器直接不生成体素模型，而是生成形状层嵌套构成模型ＳｈａｐｅＮｅｔＩｍ２Ａｖａｔａｒ［４７］２０１８设计形状编解码与颜色编解码并行网络重建彩色模型ＳｈａｐｅＮｅｔＭａｋｅＨｕｍａｎ１ＤＡＲＥＣ［４８］２０１９在自然和合成图像的图像隐空间中增加特征域混淆，以加强真实图片重建Ｐａｓｃａｌ３Ｄ＋Ｐｉｘ３ＤＡｔｔＳｅｔｓ［１１］２０１９在编解码网络中添加注意力聚集模块ＳｈａｐｅＮｅｔＭｏｄｅｌＮｅｔ，ＢｌｏｂｂｙＰｉｘ２Ｖｏｘ［２１］２０１９堆叠了两个自编码器，在两者之间设置感知融合模块加权融合多视图重建模型ＳｈａｐｅＮｅｔＰｉｘ３ＤＰｉｘ２Ｖｏｘ＋＋［２７］２０２０将卷积层替换为残差连接模块ＳｈａｐｅＮｅｔＰｉｘ３Ｄ，Ｔｈｉｎｇｓ３ＤＩＭＶＤ［２９］２０２０编码端对特征图进行多特征融合，解码端将多个低分辨率体积堆叠构成高分辨率模型ＳｈａｐｅＮｅｔＥＶｏｌＴ［４９］２０２１利用Ｔｒａｎｓｆｏｍｅｒ模型处理图像特征ＳｈａｐｅＮｅｔＭｅｍ３Ｄ［５０］２０２１通过图像检索先验形状模型，结合图像信息进行重建ＳｈａｐｅＮｅｔＰｉｘ３Ｄ２．２ 基于点云表示的重建网络表２所示给出了基于点云表示的单幅图像三维重建方法一览表．００４杭州师范大学学报（自然科学版）２０２３年 表２ 基于点云表示的单幅图像三维重建方法一览表犜犪犫．２ 犔犻狊狋狅犳３犇狉犲犮狅狀狊狋狉狌犮狋犻狅狀犿犲狋犺狅犱狊狅犳狊犻狀犵犾犲犻犿犪犵犲犫犪狊犲犱狅狀狆狅犻狀狋犮犾狅狌犱狉犲狆狉犲狊犲狀狋犪狋犻狅狀网络年份技术特点数据集ＰＳＧＮ［５１］２０１７针对点云模型采用了ＣＤ和ＥＭＤ等距离作为损失ＳｈａｐｅＮｅｔＬｉｎ等［５２］２０１７使用二维卷积运算从多个视点预测三维结构，并联合应用几何推理和二维投影优化ＳｈａｐｅＮｅｔ３Ｄ ＬＭＮｅｔ［５３］２０１９训练点云自编码器以及图像至点云自编解码，在隐空间对两个网络进行匹配ＳｈａｐｅＮｅｔＰｉｘ３ＤＲｅａｌＰｏｉｎｔ３Ｄ［５４］２０１９根据图像信息进行点云模型检索，补充了先验点云形状ＳｈａｐｅＮｅｔＯｂｊｅｃｔＮｅｔ３ＤＳＳｌ Ｎｅｔ［５５］２０１９基于自监督学习包括了图像监督与点云监督ＳｈａｐｅＮｅｔＰＧＮｅｔ［５６］２０２０对图像所表示物体按部件进行语义分割，然后根据部件重建并组合ＳｈａｐｅＮｅｔ３Ｄ ＲｅＣｏｎｓｔｎｅｔ［５７］２０２０将图像所提取特征映射至正态分布，以处理对象自遮挡部分的不确定性ＳｈａｐｅＮｅｔＰｉｘ３ＤＴＤＰＮｅｔ［５８］２０２１使用聚类算法获取３Ｄ特征与二维特征融合构建隐藏向量ＳｈａｐｅＮｅｔＭｏｄｅｌＮｅｔ３Ｄ Ａｒｎｅｔ［５９］２０２１图像编码器融合了注意力机制ＳｈａｐｅＮｅｔＰｉｘ３ＤＣｈｅｎ等［６０］２０２１针对多目标物体重建增加裁剪、检索预处理方法ＳｈａｐｅＮｅｔ２．３ 基于网格表示的重建网络表３所示给出了基于网格表示的单幅图像三维重建方法一览表．表３ 基于网格表示的单幅图像三维重建方法一览表犜犪犫．１ 犔犻狊狋狅犳３犇狉犲犮狅狀狊狋狉狌犮狋犻狅狀犿犲狋犺狅犱狊狅犳狊犻狀犵犾犲犻犿犪犵犲犫犪狊犲犱狅狀犵狉犻犱狉犲狆狉犲狊犲狀狋犪狋犻狅狀网络年份技术特点数据集Ｐｏｎｔｅｓ等［６１］２０１７基于ＦＦＤ变形基础网格模板，利用ＣＮＮ估计形变参数，计算投影顶点与轮廓损失ＳｈａｐｅＮｅｔＰａｓｃａｌ３Ｄ＋Ｉｍａｇｅ２Ｍｅｓｈ［６２］２０１７基于ＥＳＨ３Ｄ方法舍弃了顶点与轮廓损失ＳｈａｐｅＮｅｔＮ３ＭＲ［６３］２０１７针对光栅化导致梯度难以反向传播问题，提出了一种近似梯度计算方法ＳｈａｐｅＮｅｔＭｅｓｈ２Ｄｏｎｌｙ［６４］２０１８使用可微渲染器进行非监督学习ＳｈａｐｅＮｅｔＲｅｓＭｅｓｈＮｅｔ［２６］２０１８使用多层ＭＬＰ变形初始１０ １０网格，输出２５００节点网格模型ＳｈａｐｅＮｅｔＰｉｘｅｌ２Ｍｅｓｈ［３８］２０１８利用残差图卷积网络处理节点信息ＳｈａｐｅＮｅｔＳｏｆｔＲａｓｔｅｒｉｚｅｒ［６５］２０１９相比于近似可微渲染，提出一种真正可微渲染器ＳｈａｐｅＮｅＰｉｘｅｌ２Ｍｅｓｈ＋＋［６６］２０１９基于Ｐｉｘｅｌ２Ｍｅｓｈ生成模型，并进一步变形优化ＳｈａｐｅＮｅｔＧＥＯＭｅｔｒｉｃｓ［６７］２０１９采用不完全聚合邻接节点信息策略，以及仅在高曲率面添加节点策略ＳｈａｐｅＮｅｔＭｅｓｈＲ ＣＮＮ［６８］２０１９针对真实图像，结合ＭａｓｋＲ ＣＮＮ图像分割网络，体素重建网络以及图卷积网络进行重建ＳｈａｐｅＮｅｔＰｉｘ３ＤＰａｖｌｌｏ等［６９］２０２０结合可微渲染，对抗训练重建具有纹理信息的网格模型Ｐａｓｃａｌ３Ｄ＋ＣＵＢＦｒｏｎｔ２Ｂａｃｋ［７０］２０２０根据输入图像对背部视角图像信息进行估计，然后将二者信息结合进行重建ＳｈａｐｅＮｅｔＰａｖｌｌｏ等［７１］２０２１利用重建投影的自监督方法来学习姿态，解决视角不同的姿态纠缠问题ＳｈａｐｅＮｅｔＰａｓｃａｌ３Ｄ＋２．４ 基于隐式表示的重建网络表４所示给出了基于隐式表示的单幅图像三维重建方法一览表．１０４ 第４期李秀梅，等：基于深度学习的单幅图像三维重建表４ 基于隐式表示的单幅图像三维重建方法一览表犜犪犫．４ 犔犻狊狋狅犳３犇狉犲犮狅狀狊狋狉狌犮狋犻狅狀犿犲狋犺狅犱狊狅犳狊犻狀犵犾犲犻犿犪犵犲犫犪狊犲犱狅狀犻犿狆犾犻犮犻狋狉犲狆狉犲狊犲狀狋犪狋犻狅狀网络年份技术特点数据集ＯｃｃＮｅｔ［７２］２０１９将初始分辨率下体素标记为占用与非占用，对占用体素进一步细分至目标分辨率，然后利用立方体算法获得网格模型并用快速二次网格简化算法优化ＳｈａｐｅＮｅｔＤｅｅｐＳＤＦ［７３］２０１９网络以一个潜在编码和一个三维位置作为输入，并产生相应的有符号距离值，符号为区别模型的内部（－）与外部（＋），值表示距模型边界距离ＳｈａｐｅＮｅｔＳＤＦ ＳＲＮ［７４］２０２０将可微渲染与隐式三维形状表示学习相结合ＳｈａｐｅＮｅｔＰａｓｃａｌ３Ｄ＋Ｎｉｅｍｅｙｅｒ［７５］２０２０直接从ＲＧＢ图像中学习隐式形状和纹理ＳｈａｐｅＮｅｔＤＩＳＴ［７６］２０２０在神经网络的隐式符号距离函数上实现有效的可微绘制，将隐式ＳＤＦ渲染如深度图像、表面法线、轮廓等二维观测值进行损失计算ＳｈａｐｅＮｅｔＰＭＯＹａｎｇ等［７７］２０２０在重建中添加物理约束项联合优化潜在代码和形状先验ＳｈａｐｅＮｅｔ３Ｄ４３Ｄ［７８］２０２０用查询点的占用与非占用表示模型，查询点的预测，结合了基于相机坐标进行投影采样的信息ＳｈａｐｅＮｅｔＤｕｇｇａｌ［７９］２０２１利用深度编码器预测初始化编码，并利用深度鉴别器进行正则化ＳｈａｐｅＮｅｔ，ＫＩＴＴＩＮｏｒｔｈＡｍｅｒｉｃａ３ 数据集、评价指标与实验分析３．１ 数据集近年来，受益于深度学习与神经网络技术的快速发展，使得基于图像（包括单幅图像或多幅图像）的三维重建研究取得了长足进步，这些研究进步很大程度上需要依赖于众多丰富的三维模型数据集的研制和提出．目前常用的三维模型数据集如表５所示．表５ 常用三维模型数据集犜犪犫．５ 犆狅犿犿狅狀３犇犿狅犱犲犾犱犪狋犪狊犲狋狊数据集年份模型类别图片主题ＩＫＥＡ［８０］２０１３２２５１１８００家具ＭｏｄｅｌＮｅｔ［８１］２０１５１５１１２８６６０－综合物体ＳｈａｐｅＮｅｔＳｅｍ［８２］２０１５１２０００２７０－综合物体ＳｈａｐｅＮｅｔＣｏｒｅ［８２］２０１５５１３００５５－综合物体Ｐｉｘ３Ｄ［８３］２０１８３９５９１００６９家居物品３Ｄ Ｆｕｔｕｒｅ［８４］２０２０９９２１３４２０２４０家具３．１．１ ＩＫＥＡ数据集以日常家具为主体的小规模三维模型ＩＫＥＡ数据集［８０］，由麻省理工学院计算机科学和人工智能实验室于２０１３年发布．研究者通过在谷歌三维仓库中收集的三维模型以及在Ｆｌｉｃｋｒ图像网站中收集图像建立数据集，其中包括２２５个家具模型以及８００张图像，这些图像为真实模型图像，并有对应注释图像．３．１．２ ＭｏｄｅｌＮｅｔ数据集ＭｏｄｅｌＮｅｔ数据集［８１］是大规模家具类型数据集，其中涉及６６０个类别，１５１１２８个模型．ＭｏｄｅｌＮｅｔ数据集同时发布了两个分别包含４０类物体与１０类物体的子数据集，命名为ＭｏｄｅｌＮｅｔ４０与ＭｏｄｅｌＮｅｔ１０．由于原数据集规模庞大导致网络训练较困难，三维视觉领域通常采用子数据集ＭｏｄｅｌＮｅｔ４０作为研究对象．数据集的发布初期主要应用于三维模型的分类、识别、检索任务，随着基于深度学习的三维重建方向研究的兴起，该数据集同样也可应用于三维重建和形状分割等任务．２０４杭州师范大学学报（自然科学版）２０２３年 ３．１．３ ＳｈａｐｅＮｅｔ数据集ＳｈａｐｅＮｅｔ数据集［８２］由斯坦福大学、普林斯顿大学以及丰田芝加哥研究中心于２０１５年联合发布，其为三维重建领域所普遍使用的基础性数据集．该数据集作为大型综合性的３ＤＣＡＤ模型数据集，提供了类别丰富、注释完整的三维模型，但不包含图像数据，图像则由所提供的可视化及模型渲染工具自助生成．该数据集分为ＳｈａｐｅＮｅｔＣｏｒｅ、ＳｈａｐｅＮｅｔＳｅｍ两个子集，Ｃｏｒｅ中包含模型类别５５类共５１３００个模型，Ｓｅｍ包含更加细分的２７０类共１２０００个模型．ＳｈａｐｅＮｅｔ类别涵盖汽车、飞机、桌椅、台灯等各类日常物体．３．１．４ Ｐｉｘ３Ｄ数据集Ｐｉｘ３Ｄ数据集［８３］是由ＩＫＥＡ数据集扩展构成，包含三维模型与相匹配的真实场景下物体二维图像，其中涉及９个常见家居物品类别，总模型数量为３９５个，二维图像１００６９张．在图像中的形状及其轮廓之间提供像素级对齐，且拥有较为准确的注释信息．该数据集的提出弥补了此前ＳｈａｐｅＮｅｔ数据集缺失现实图像，以及ＩＫＥＡ数据集模型数据量相对较少等缺点．Ｐｉｘ３Ｄ数据集被广泛应用于与三维形状相关的计算机视觉任务中，如模型重建、模型检索等．３．１．５ ３Ｄ Ｆｕｔｕｒｅ数据集３Ｄ Ｆｕｔｕｒｅ数据集［８４］是由阿里巴巴躺平平台于２０２０年发布且主要以室内家具为主题的三维模型数据集．该数据集包含桌椅、床柜、灯具等３４种类别家具模型，拥有模型数量９９２１个，对应高质量图像２０２４０张．其中所提供图像包括相应家具模型的实际场景图像以及１２个不同视角的单个家具图像，同时为所有图像提供相匹配的Ｍａｓｋ图像．该数据集弥补了现有数据集中家具模型细节较少、纹理信息量低等缺陷，所提供模型具有高品质、风格丰富的特点，可应用于模型分割、检索、重建等任务．３．２ 评价指标由于三维模型表示形式的不同，其所对应的评价指标通常也有所不同．这里将对现有常用的用于三维模型重建的评价指标分别进行介绍．３．２．１ ＩｏＵ值ＩｏＵ值［８５］为一种计算体素表示下重建模型与真实模型之间拟合程度的评价指标．该指标计算公式如式（１）所示，其中Ｓ为重建模型，Ｇ为真实模型，其二者具有相同的分辨率．ＩｏＵ值可以计算为逐体素计算二者相交区域除以相并区域，其结果取值范围为［０，１］，ＩｏＵ值越高表示重建效果越好．ＩｏＵ＝犛∩犌犛∪犌．（１）３．２．２ Ｆ Ｓｃｏｒｅ值Ｆ Ｓｃｏｒｅ值［８６］是机器学习与深度学习分类分割任务中主流的评价指标，定义为精度和召回率之间的调和平均值，其可用于全面评估模型的有效性．Ｔａｔａｒｃｈｅｎｋｏ等［８７］提出在三维重建任务中同样可以作为模型重建效果的评判标准．Ｆ Ｓｃｏｒｅ计算公式如式（２）所示：犉＝（１＋β２）·犘ｓ（犱）·犚ｒ（犱）β２·犘ｓ（犱）＋犚ｒ（犱）．（２）其中β为调和系数，犘ｓ（犱）和犚狉（犱）分别表示重建模型点集Ｓ与真实模型点集Ｇ之间自身节点在对方点集中存在近似节点数与自身点集节点总数的比例．犘ｓ（犱）和犚狉（犱）计算如式（３）和（４）所示：犘ｓ（犱）＝１００犛．∑狓∈犛ｍｉｎ狔∈犌‖狓－狔‖＜［］犱，（３）犚ｒ（犱）＝１００犌．∑狔∈犌ｍｉｎ狓∈犛‖狓－狔‖＜［］犱．（４）其中犛为重建点集，犌为真实点集，狓，狔为所在点集中任意一点，犱为距离阈值，节点距离小于阈值犱则被视为近似节点．３．２．３ Ｃｈａｍｆｅｒｄｉｓｔａｎｃｅ误差度量Ｃｈａｍｆｅｒｄｉｓｔａｎｃｅ（ＣＤ）［８８］是一种度量两个不同点集之间相似性的评价指标，在三维重建任务中被用３０４ 第４期李秀梅，等：基于深度学习的单幅图像三维重建于针对点云和网格两类表示的重建准确性评价．其计算公式如式（５）所示，其中犘，犙为所比较的两个点集，狓，狔表示相应点集中的单位点．计算方法为对两个点集分别计算所有单位点到另一点集中最近点的平方欧式距离，然后分别求得点集间最近平均距离并相加．犱ＣＤ＝１犘∑狆∈犘ｍｉｎ狔∈犙‖狆－狇‖２２＋１犙∑狇∈犙ｍｉｎ狓∈犘‖狆－狇‖２２．（５）３．２．４ ＥａｒｔｈＭｏｖｅｒ ｓｄｉｓｔａｎｃｅ误差度量ＥａｒｔｈＭｏｖｅｒ ｓｄｉｓｔａｎｃｅ［８９］（ＥＭＤ）表示重建点集到真实点集变化的最短距离，同样在三维模型重建领域用于评价点集间的相似性．计算公式如（６）所示：犱ＥＭＤ＝ｍｉｎ ：犛１→犛２∑狓∈犛１‖狓－ （狓）‖２．（６）其中犛１，犛２为所比较的计算点集，其存在要求两者点数量相同的约束， 表示双线性映射．３．２．５ ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ误差度量ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ（ＭＳＥ）在三维重建中计算重建模型和真实模型之间的对称表面距离，见式（７）．犱ＭＳＥ（＾犡，犡）＝１狀狓∑狆∈犡犱（狆，＾犡）＋１狀＾狓∑狆∈＾犡犱（狆，犡）．（７）其中狀＾狓和狀狓表示重建模型＾犡和真实模型犡中的采样点数量，犱（）表示点直接的距离，可以为犔１或犔２等．其计算距离越低，重建结果则越好．３．３ 基于犛犺犪狆犲犖犲狋数据集的重建实验与讨论分别针对基于体素表示、点云表示、网格表示及隐式表示下的图像三维重建网络的重建效果进行比较和讨论［８２］．数据集模型类别均来自于Ｃｈｏｙ等［９］所选取的１３类物体，包括沙发、车、船、飞机、台灯等，其重建结果如表６所示，其中体素与隐式重建评价指标为ＩｏＵ，点云与网格重建评价指标为ＣＤ误差．在体素表示的模型重建实验中，这里比较３２×３２×３２分辨率下的体素模型三维重建结果．早期提出的３Ｄ Ｒ２Ｎ２［９］与Ｖ ＬＳＭ［４１］均采用ＲＮＮ网络进行图像中间特征处理，由于ＲＮＮ为按顺序处理，并没有并行化处理从而导致重建耗时较高．同时３Ｄ Ｒ２Ｎ２仅基于语言线索，其ＩｏＵ为０．５６０，重建准确率较低，而Ｖ ＬＳＭ在结构上添加投影模块补充几何线索，相对提升了重建准确率．ＯＧＮ网络［４５］和Ｍａｔｒｙｏｓｈｋａ网络［４６］在模型分辨率３２×３２×３２下的体素重建中ＩｏＵ的提升并不明显，但其优势在于可以实现２５６×２５６×２５６的高分辨率模型三维重建．ＡｔｔＳｅｔｓ网络［１１］、Ｐｉｘ２Ｖｏｘ网络［２１］与Ｐｉｘ２Ｖｏｘ＋＋网络［２７］采用并行的特征图加权融合方式，消除了输入图像顺序的影响，加快了计算速度、提升了重建准确率．近年提出的ＩＭＶＤ［２９］与Ｍｅｍ３Ｄ网络［５０］采用新的重建模式，通过构建先验的模型存储网络，在网络的模型检索基础上进行模型重建，其ＩｏＵ分别达到０．７１４与０．７２９．在网格模型的三维重建实验中，ＡｔｌａｓＮｅｔ网络［６３］与ＲｅｓＭｅｓｈＮｅｔ网络［２６］均通过变形二维网格实现三维模型的重建，虽然如ＲｅｓＭｅｓｈＮｅｔ网络等其重建结果的ＣＤ指标较低为０．３２０，但仍存在曲面片不闭合、不同网格面片可能重叠等缺陷．然而，例如Ｐｉｘｅｌ２Ｍｅｓｈ网络［３８］、Ｐｉｘｅｌ２Ｍｅｓｈ＋＋网络［６６］和ＧＥＯＭｅｔ ｒｉｃｓ网络［６７］均采用变形三维椭圆网格重建，其所重建模型具有连续网格曲面、具有较好的模型完整性．ＭｅｓｈＲ ＣＮＮ［６８］网络为基于Ｐｉｘｅｌ２Ｍｅｓｈ发展得到的网络，但其不同于变形三维椭圆网格重建方式，ＭｅｓｈＲ ＣＮＮ网络采取两阶段方式进行三维重建，第一阶段重建体素化网格，第二阶段为形状变形，改进了Ｐｉｘｅｌ２Ｍｅｓｈ网络［３８］等基于变形三维网格孔洞部位难以重建问题并提升了重建效果．在点云模型的三维重建实验中，ＰＳＧＮ网络［５１］是早期提出的经典重建网络，在合成图像与真实图像中均有较好的重建效果，但其重建得到的点云较为稀疏，之后提出的３Ｄ ＬＭＮｅｔ网络［５３］其重建得到的点云模型较为稠密．同时，３Ｄ ＬＭＮｅｔ网络［５３］、ＳＳｌ ｎｅｔ网络［５５］与３Ｄ Ａｒｎｅｔ网络［５９］等均为多阶段网络，其图像编码器与点云自编码器分开训练，但跨网络传输机制存在特征丢失问题；而３Ｄ ＲｅＣｏｎｓｔｎｅｔ网络［５７］则采用端到端结构，其重建结果的ＣＤ值达到０．４０９，取得了较好的重建效果．此外，与体素重建网络相同，Ｃｈｅｎ等［６０］所提出的点云重建网络同样引入图像检索方法辅助重建，其重建ＣＤ相比于ＰＳＧＮ网络［５２］得４０４杭州师范大学学报（自然科学版）２０２３年 。
改进相似性度量模型的单幅图像自学习超分辨算法
改进相似性度量模型的单幅图像自学习超分辨算法赵丽玲;孙权森【摘要】在自学习超分辨算法中,高低分辨率图像块匹配是否准确是算法的关键.在高低分辨率图像块匹配过程中,考虑图像块纹理结构的重要性,提出了一种基于纹理约束的图像块相似性度量模型,应用该模型完成了高低分辨率图像块更为准确的匹配,使超分辨结果图像的细节更加丰富,进一步提高了图像质量.该算法仅使用了单幅低分辨率图像自身的相关先验信息,有效提升了图像的空间分辨率.实验结果表明,与双三次插值算法、自相似学习超分辨算法相比,本文提出的算法超分辨视觉效果更好,并且在客观评价指标中同样表现良好.%The accurate matching of high and low resolution image blocks is the key of self-examples super resolution algorithm.In the process of blocks matching of high and low resolution images,considering the importance of texture image block structure,a similarity metric model based on constrained texture image patch is proposed in this paper.By using this exact matching model,the detail of super-resolution result image is further enriched,and the image quality is improved also.The new algorithm has the particular advantage of improving spatial resolution of image only using prior information of single low-resolution image itself.The experimental results show that the proposed algorithm has a better super-resolution visual effect compared with the bicubic interpolation algorithm and the local self-examples super-resolution algorithm,and it also has a good performance in the objective evaluation index.【期刊名称】《数据采集与处理》【年(卷),期】2018(033)002【总页数】8页(P240-247)【关键词】相似性度量;方差;自学习;单幅图像;超分辨率【作者】赵丽玲;孙权森【作者单位】南京理工大学计算机科学与工程学院,南京,210094;南京信息工程大学信息与控制学院,南京,210044;南京理工大学计算机科学与工程学院,南京,210094【正文语种】中文【中图分类】TP391.4引言高分辨率数字图像在遥感图像分析、医学检测、交通监控及公共安全等领域具有重要应用研究价值，有利于对感兴趣目标的提取、分析、检测和识别等。
基于特征提取的图像分类算法研究与应用
基于特征提取的图像分类算法研究与应用随着计算机科学的发展，自然语言处理、计算机视觉、机器学习等领域得到了长足的发展。
在计算机视觉领域中，图像分类是一个非常重要的任务，它涉及到图片检索、自动驾驶、人脸识别等领域。
在这个过程中，特征提取是非常重要的一个步骤。
一、特征提取特征提取是将原始的图像转换为具有区分性的特征的过程。
它是图像分类中的关键步骤，决定了分类准确率和效率。
对于一个给定的图像，可以提取出很多的特征，但是不是所有的特征都是有效的。
一个好的特征应该具有以下特点：1.对于不同类别的图像具有很高的区分度。
2.对图像旋转、缩放、平移以及亮度、色彩、噪声等的变化具有很好的鲁棒性。
3.具有低维度，能够降低计算复杂度并提高分类准确率。
以下是一些常用的特征提取算法：1.SIFT：尺度不变特征变换（Scale-invariant feature transform）是由Lowe在2004年提出的。
它是一种利用高斯函数对不同尺度下的图像求出特征点，然后通过对这些点附近进行局部梯度统计来提取特征的算法，具有很好的尺度不变性。
2.SURF：快速稳健特征（Speeded Up Robust Feature）是一种比SIFT更加快速和稳健的特征提取算法。
它是在SIFT的基础上进行改进和优化的，不仅速度更快，而且提取的特征具有更好的鲁棒性。
3.HOG：方向梯度直方图（Histogram of Oriented Gradient）是一种利用图像局部梯度方向来描述图像特征的算法。
它被广泛应用于行人检测、人脸识别、动作识别等领域。
二、特征分类在得到了图像的特征后，我们需要使用分类器来对图像进行分类。
常用的分类器包括：SVM、KNN、决策树、神经网络等。
1.SVM：支持向量机是一种二分类算法，它的基本思想是找到一个超平面，将不同类别的数据分开。
SVM具有很好的泛化性能和可解释性，被广泛应用于图像分类领域。
2.KNN：K近邻算法是一种基于距离度量的分类算法，它的基本思想是将每个样本的K个近邻作为样本的类别。
地理信息系统教程与地理信息系统概论课后题
地理信息系统概论第一章1：什么是地理信息系统？它与一般的计算机应用系统有哪些异同点？答：geographicalhical information system，它是一种特定的十分重要的空间信息系统，是在计算机软硬件支持下，对整个或部分地球表层（包括大气层）的有关地理分布数据进行采集、存储、管理、运算、分析、显示和描述的技术系统，以便解决复杂的规划和管理问题. GIS脱胎于地图学，是计算机科学、地理学、测绘遥感学、环境科学、城市科学、空间科学、信息科学和管理科学等众多学科交叉融合而成的新兴学科。
但是,地理信息系统与这些学科和系统之间既有联系又有区别.（1）GIS与机助制图(数字地图)系统机助制图是地理信息系统的主要技术基础，它涉及GIS中的空间数据采集、表示、处理、可视化甚至空间数据的管理,主要功能是强调空间数据的处理、显示和表达，有些数字制图系统包含空间查询功能.地理信息系统和数字制图系统的主要区别在于空间分析方面.一个功能完善的地理信息系统可以包含数字制图系统的所有功能,此外它还应具有丰富的空间分析功能.（2）GIS与DBMS（数据库管理系统）数据库管理系统不仅是一般数据管理系统,而且通常也是地理信息系统中属性数据管理的基础软件。
GIS除需要功能强大的空间数据的管理功能之外，还需要具有图形数据的采集、空间数据的可视化和空间分析等功能.因此，GIS在硬件和软件方面均比一般事务数据库更加复杂，在功能上也比后者要多得多.（3)GIS与CAD系统二者都有坐标参考系统，都能描述和处理图形数据及其空间关系，也都能处理非图形属性数据。
区别在于CAD系统处理的多为规则几何图形及其组合图形功能较强,属性库功能弱，缺乏分析和判断能力，而GIS处理的多为地理空间的自然目标和人工目标，图形关系复杂,需要有丰富的符号库和属性库，较强的空间分析功能,图形与属性的相互操作频繁,具有专业化的特征且CAD多在单幅图上操作，海量数据的图库管理能力不如GIS。
地图学考点资料大全
地图是遵循相应的数学法则，将地球（也包括其他星体）上的地理信息，经过科学的概括，并运用符号系统表示在一定载体上的图形，以传递它们的数量和质量在空间和时间上的分布规律和发展变化。
基本特征：3+地理信息的载体数学法则：坐标系统投影比例尺地图功能：信息载负功能（直接信息、间接信息）传递功能认知功能（1把握事物整体、全局的概念2获得事物或现象的定性和定量特征3建立正确的空间图像4有利于探求地理事物（或地理现象）之间的空间关系）模拟功能按尺度划分：大比例尺>1:10万；中比例尺1:100万≤比例尺≤1:10万；小比例尺< 1:100万按地图图型（或内容）划分：普通地图（1:100万、50万、25万、10万、5万、2.5万、1万、1：5000）专题地图；专用地图；特种地图按区域范围划分：自然区、行政区、按经济区成图方法：实测成图法（大比例尺地图）编绘成图法（中小比例尺地图、专题地图）数字制图法地图学是以地理信息可视化为核心，探讨地图的理论实质、制作技术和使用方法的综合性科学。
包括理论、技术和应用三个部分（理论地图学、地图制图学、应用地图学）大地体是极半径略短、赤道半径略长、北极略突出、南极略扁平、近似于梨形的椭球体。
大地水准面：当海洋完全静止的时候，假设这个静止海平面是一个无波浪、无潮汐、无水流、无气压变化，处于流体平衡状态的平均海水面，可以设想这个平均海平面向大陆延伸，穿过大陆和岛屿，最终形成一个闭合的曲面。
地球的物理表面:大地水准面（大地体）；数学表面地球椭球体椭球体三要素：长轴a，短轴b，扁率α=（a-b）/a地理坐标经纬度，以法线为依据建立的：大地经纬度、地心经纬度，小比例尺可用地心；以铅垂线：天文经纬度地图学上通常采用大地经纬度我国建立的大地坐标系统参心坐标系：北京54大地坐标系统、西安80大地坐标系统，地心坐标系：2000国家大地坐标系1954年北京坐标系：克拉索夫斯基椭球体，1980年西安坐标系GRS1975椭球体，西安坐标系的大地原点陕西省西安市附近的泾阳县我国海拔高程的起算面是以黄海海平面，水准原点在青岛观象山使用全球导航卫星系统进行定位时，至少需要收到几颗卫星发出的信号才能准确定位？其定位的基本原理是什么(画图并列出其公式）？4个地图投影：在地球椭球面和平面之间建立点与点之间函数关系的数学方法，称为地图投影。
一种单幅图像雨滴去除的方法
一种单幅图像雨滴去除的方法周远;韩裕生;周浦城【摘要】Under the condition of rainy day, because of the rain has the bad influence on imaging system, it will lead the decrease of the quality of the image, and does not help to further processing image information. To deal with this problem, a kind of automatic image rain removal approach is proposed. Firstly, the rainy image is decomposed into rough sub-graph and detail sub-graph based on internal generative mechanism theory. And then, the sparse decomposition based on morphological component analysis method was used to divide the detail sub-graph into rainy component and non-rain component. Finally, the rough sub-graph was combined with non-rain component so as to reconstruct the rain-free image. The experimental results show that the proposed method can effectively remove the rain streaks in image and keep the state-of-the-art detail information of the scene.%在雨天条件下，由于雨滴对成像系统的不良影响，将会导致获取的图像质量下降，不利于对图像信息进一步处理。
图像特征提取算法的使用方法
图像特征提取算法的使用方法图像特征提取算法是计算机视觉领域中的一项重要技术，它通过对图像进行分析和处理，从中提取出具有代表性的信息，用于实现图像分类、目标检测、图像匹配等应用。
本文将介绍图像特征提取算法的基本原理和使用方法。
一、图像特征提取算法的基本原理图像特征提取算法主要基于图像的局部纹理、颜色、形状等特征进行分析。
以下是几种常见的图像特征提取算法及其基本原理：1. 尺度不变特征变换(SIFT)SIFT算法提取图像的局部不变特征，它通过检测关键点并为每个关键点计算一个局部描述子来实现。
SIFT算法具有旋转、尺度、亮度不变性，可以在图像中检测到对象的局部特征。
2. 霍夫变换(Hough Transform)霍夫变换算法主要用于检测图像中的直线和圆等形状。
它通过将图像空间投影到参数空间，再通过参数空间中的峰值来检测对象的形状。
3. 主成分分析(Principal Component Analysis, PCA)PCA算法通过将高维数据转换为低维数据，保留主要特征来进行特征提取。
它将图像中的像素点组成的高维向量进行降维操作，得到一组与原图像相关性最高的特征。
4. 纹理特征提取算法纹理特征提取算法主要利用图像的纹理信息进行特征提取。
常见的纹理特征提取算法包括局部二值模式(LBP)、灰度共生矩阵(GLCM)等。
以上是常见的几种图像特征提取算法，具体的使用方法会因算法而异。
二、图像特征提取算法的使用方法图像特征提取算法的使用方法主要包括以下几个步骤：1. 图像预处理在进行特征提取之前，需要对图像进行预处理，以减少噪声和增强图像的对比度。
常见的图像预处理方法包括灰度化、平滑化、边缘检测等。
根据具体的算法需求选择相应的预处理方法。
2. 特征提取选择合适的特征提取方法对图像进行特征提取。
根据不同的应用需求选择不同的特征提取算法。
如使用SIFT算法可以提取图像的关键点及其描述子，使用霍夫变换可以提取图像中的直线和圆等形状。
位平面的提取原理
位平面的提取原理
提取平面（plane extraction）是一种数学概念，可以用来表示在某一点周围具有某种特征的三维物体。
举个例子来说，提取平面可以用来检测出在某一空间中的平面物体，从而实现特定的姿态管理或其他目的。
比如，在机器视觉应用中，提取平面允许机器检测三维空间中物体的位置、特征点及界面特征。
如果图像中部分不规则的情况，提取平面可以有助于检测有用的关键特征，使机器能够迅速准确地完成所需的任务。
提取平面的原理特别简单，可以通俗地解释为：通过对图像中许多不同点的分析，找到具有共同特征的某种相关物体。
在机器视觉应用中，此处的点通常是图像的边缘或像素的二值图，其中的形状与具有特殊特征的三维空间中的物体相对应。
在提取平面的过程中，首先通过简单的图像处理算法来对图像中的点进行预处理。
比如，对图像滤波处理，去掉干扰、噪点等。
然后，根据设定的特征及其相关特征，提取点之间的关系，来进行平面拟合或者直方图拟合，从而确定图像中符合特征的平面。
此外，在提取平面的过程中，还需要考虑到可以发掘不同形状的三维空间对象之间的联系。
这样，就可以检测出更多复杂的
平面拟合，比如边界耦合（bond coupling）、边界旋转（boundary rotation）等。
总之，提取平面是数学中非常重要的一部分，它可以被应用于多个不同的机器视觉领域，来帮助机器完成复杂的识别任务。
在进行提取平面的过程中，使用图像处理的技术及其他数据处理手段，可以准确地检测到世界中的物体及它们的拟合平面，从而能够实现自动化的三维空间目标识别及控制任务。
通道与空间注意力图像超分辨率网络
2021572通道与空间注意力图像超分辨率网络刘璟，宋海川，黄建设，马利庄华东师范大学计算机科学与技术学院，上海200062摘要：单幅图像超分辨率（Single Image Super Resolution，SISR）在计算机视觉领域占有重要地位，该技术旨在从低分辨率图像中重建出高分辨率图像。
近年来，深度神经网络在SISR领域起到了至关重要的作用，然而，目前利用卷积神经网络平等地对待高频与低频特征，使得高频细节的重建表现不佳，输出过于平滑，缺少纹理信息。
另一方面，过于深的网络不容易收敛，并且随着神经网络的深度增长，来自前一层的长期信息很容易在后期层中减弱或丢失，使得重建收益不能正比于网络的深度与计算复杂度。
针对以上问题，对用于SISR的卷积神经网络的基本块提出了空间注意力模块与通道注意力模块，在同一通道中，不同位置的信息被空间注意力模块赋予不同的权重，不同通道间的权重由通道注意力模块决定，这使得高频信息在重建任务中获得更高的地位，提高了重建指标。
进一步地提出了长期特征调制模块将网络的层深度转化为块深度，大大缩小了网络深度，以解决前层长期信息的丢失问题。
在Set5等多个基准数据集上的峰值信噪比（PSNR）均比目前其他基于深度卷积神经网络的方法有所提升，这证明了提出的方法的有效性与先进性。
关键词：通道注意力；空间注意力；卷积神经网络；图像超分辨率重建文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.1911-0296Channel and Spatial Attention Image Super Resolution NetworkLIU Jing,SONG Haichuan,HUANG Jianshe,MA LizhuangSchool of Computer Science and Technology,East China Normal University,Shanghai200062,ChinaAbstract：Single image super-resolution plays an important role in the field of computer vision.This technology aims to reconstruct high-resolution images from low-resolution images.In recent years,deep neural networks make performance in SISR task significantly improved.However,recently works based on convolutional neural network equally treat high-frequency and low-frequency features,which makes the reconstruction of high-frequency details poor,the output too smooth and the texture information lack.On the other hand,very deep convolutional network is not easy to converge,and as the depth of the neural network grows,the long-term information from the former layer can easily be weakened or lost in the latter layer,which makes the benefit not proportional to the depth of the network and the computational complexity. To solve these above problems,it proposes a spatial attention module and a channel attention module as the basic block of convolutional neural network for SISR.Firstly,in the same channel,the information of different locations is given differ-ent weights by the spatial attention module.Secondly,the weights between different channels are determined by the chan-nel attention module,which makes the high-frequency information gain a higher position in the reconstruction task.The reconstruction performance is improved.It further proposes a short-term and long-term feature modulation module to transform the layer depth of the network into the block depth,which greatly reduces the depth of the network,in order to solve the problem of long-term information loss in the front pared with other methods based on deep convolu-tion neural network,the Peak Signal-to-Noise Ratio（PSNR）on several benchmark datasets are better,which proves the effectiveness of the proposed method.Key words：channel attention;spatial attention;convolutional neural network;image super-resolution reconstruction ⦾图形图像处理⦾基金项目：国家自然科学基金（61902129，61972157）；上海市浦江人才计划（19PJ1403100）。
影像信息提取之--面向对象特征提取流程
影像信息提取之--面向对象特征提取流程“同物异谱，同谱异物”会对影像分类产生的影响，加上高分辨率影像的光谱信息不是很丰富，还有经常伴有光谱相互影响的现象，这对基于像素的分类方法提出了一种挑战，面向对象的影像分类技术可以一定程度减少上述影响。
本专题以ENVI中的面向对象的特征提取FX 工具为例，对这种技术和处理流程做一个简单的介绍。
本专题包括以下内容：●面向对象分类技术概述● ENVI FX简介● ENVI FX操作说明1、面向对象分类技术概述面向对象分类技术集合临近像元为对象用来识别感兴趣的光谱要素，充分利用高分辨率的全色和多光谱数据的空间，纹理，和光谱信息来分割和分类的特点，以高精度的分类结果或者矢量输出。
它主要分成两部分过程：对象构建和对象的分类。
影像对象构建主要用了影像分割技术，常用分割方法包括基于多尺度的、基于灰度的、纹理的、基于知识的及基于分水岭的等分割算法。
比较常用的就是多尺度分割算法，这种方法综合遥感图像的光谱特征和形状特征，计算图像中每个波段的光谱异质性与形状异质性的综合特征值，然后根据各个波段所占的权重，计算图像所有波段的加权值，当分割出对象或基元的光谱和形状综合加权值小于某个指定的阈值时，进行重复迭代运算，直到所有分割对象的综合加权值大于指定阈值即完成图像的多尺度分割操作。
影像对象的分类，目前常用的方法是“监督分类”和“基于规则（知识）分类”。
这里的监督分类和我们常说的监督分类是有区别的，它分类时和样本的对比参数更多，不仅仅是光谱信息，还包括空间、纹理等对象属性信息。
基于规则（知识）分类也是根据影像对象的属性和阈值来设定规则进行分类。
表1为三大类分类方法的一个大概的对比。
类型基本原理影像的最小单元适用数据源缺陷传统地物的单个的中低分辨丰富的空基于光谱的分类方法光谱信息特征影像像元率多光谱和高光谱影像间信息利用率几乎为零基于专家知识决策树根据光谱特征、空间关系和其他上下文关系归类像元单个的影像像元多源数据知识获取比较复杂面向对象的分类方法几何信息、结构信息以及光谱信息一个个影像对象中高分辨率多光谱和全色影像速度比较慢表1 传统基于光谱、基于专家知识决策树与基于面向对象的影像分类对比表2、ENVI FX简介全名叫“面向对象空间特征提取模块—Feature Extraction”，基于影像空间以及影像光谱特征，即面向对象，从高分辨率全色或者多光谱数据中提取信息，该模块可以提取各种特征地物如车辆、建筑、道路、桥、河流、湖泊以及田地等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
从图像中实现对空间对象几何尺寸的量测有 基于多幅图像量测和基于单幅图像量测两类 。 单幅图像的几何量测过程由于仅依赖于图像中的 几何约束 , 避免了图像匹配过程, 而且不需要事先 对相机进行标定 [ 2] , 尤其适合于各类历史图片、 变 焦相机照片、 序列视频图像、 古建筑图片等的处 理, 已受到摄影量测、 摄像量测、 计算机视觉等领 [ 3] 域的广泛关注, 并应用于交通 、 建筑[ 4] 、 公安[ 2] 、 施工
[ 5] [ 1]
事实上, 交比作为仿射变换不变量 , 可在同一 条直线上多次嵌套应用 , 从而实现直线上任意两 点之间的距离计算, 这正是本文研究的出发点。
1
1. 1
原理与方法
直线上线段长度的计算 在共线四点中, 如果其中一点为灭点, 交比的
等行业。
定义仍然有效。如图 1 所示, V 为由 X 1 、 X2、 X 3、 X 4 四点组成的直线的灭点, 已知线段 X 1 X 2 的长 度为 d, 则有交比 : Cross ( X 1 , X 2 , X 3 , V ) = Cross ( x 1 , x 2 , x 3 , v) ( 1) 以距离的形式表示为 : lim V ¥ d ( X 1, X 2) d ( X 3, V) d( x 1 , x 2 ) d ( x 3 , v ) = d ( X 1, X 3) d ( X 2, V) d( x 1 , x 3 ) d ( x 2 , v ) ( 2) 式中 , X i 表示现实中的空间点; x i 表示 X i 在图像 中的对应点 ; d( X i , X j ) 、 d( x i , x j ) ( i, j = 1, 2, 3; i ! j ) 分别表示空间和图像上两点之间的距离。 由于 V 为 灭 点 , 因 此 在 直 线 的无 穷 远 处, d( X 3 , V ) 也无穷大, 式( 2 ) 左边通过变换有: lim V ¥ d( X 1 , X 2 ) d( X 3 , V ) d ( X 1, X 2) = d( X 1 , X 3 ) d( X 2 , V ) d ( X 1, X 3) ( 3)
Cro ss Rat ios for points ona L ine
实际距离。仿上述过程, 有 Cross ( X 3 , X 1 , X 4 , V ) = d( X 3 , X 1 ) / d( X 3 , X 4 ) = cr 2 , 线段 X 1 X 3 之间的 实际距离已知, 即可计算线段 X 3 X 4 之间的实际 距离 d( X 3 , X 4 ) = ( d/ cr 1 ) / cr 2 。 由以上分析可得结论 1: 已知一条直线上某 段线的长度以及直线的灭点, 则可获得直线上任 意两点之间的距离。值得指出的是, 由于交比性 质与点的位置无关 , 在计算过程中无需考虑待求 线段相对于已知线段的位置。 1. 2 二维平面上线段长度的计算 交比本为一维空间上的射影不变量, 可实现
单幅图像几何量测的关键是单应矩阵求解和 不同变换层次的不变量计算[ 1,2] 。单应是空间点和 对应图像点之间的映射矩阵, 一旦建立单应, 即可 通过逆向映射获得空间点的坐标, 进而计算空间中 的几何信息。单应矩阵计算有基于控制点( 线) 的 整体求解[ 1,6, 7] 和基于不变量的分步求解[ 8] 两种。 前者原理简单 , 其精度依赖于控制点 ( 线) 的提取精 度[ 7] ; 后者利用图像中的几何关系计算不变量信 息, 对于结构化场景的几何信息提取方便, 精度主 要取决于不变量的计算精度 。常用不变量中的 灭线、 虚圆点常与单应结合应用[ 8] , 而交比是共线 四点所构成的四条相关线段长度的几何关系, 常与 灭点结合实现直线上线段长度的计算[ 5] , 但这些算 法在一条直线上仅利用交比一次, 使得几何信息量 测局限于与已知线段共用端点的线段的长度, 并且 有时还需要考虑待求线段端点与参考几何信息之 间的相对位置关系, 减弱了算法的灵活性。
文献标志码 : A
基于交比的单幅图像平面几何信息提取算法
王美珍1
(1
刘学军1
甄
艳1
卢
玥1
南京师范大学虚拟地理环境教育部重点实验室 , 南京市文苑路 1 号 , 210046)
摘
要 : 提出并实现了基于交比这一射影变换不 变量的单幅图像平面几何信息提取方法 。 该方法首先利用结
构化场景中的平行 、 垂直等几何关系计算平面的 灭点灭线 ; 然后利用平面上已知长度的参考线段及灭点 、 灭线 信息构建交比 ; 最后依据待求线段与已知几何信 息的位置关系计算待求线段的长度 。 对实验数据计算结果的 精度分析验证了算法的正确性和可行性 。 关键词 : 单幅图像 ; 距离量测 ; 交比 ; 灭点 ; 灭线 中图法分类号 : P237. 3
243. 4 cm, 分别计算场地 中各类 矩形的边 长, 结 果如表 1 所示。
图5
室外场景测试图像
F ig. 5 O ut doo r) s T est Image
3
3. 1
分析与讨论
计算精度
由表 1 可见, 计算值与标准值相差最大为 79 mm, 最小为- 1 m m, 其相对误差分别为 0. 8% 和 1% , 而最大、 最小相对误差分别为 6% 和 0. 08% , 表明此方法已可满足一般的应用需求。但还存在 着一定的误差 , 从计算过程分析, 误差产生的原因 主要有以下几方面。
收稿日期 : 2010 12 25。 项目来源 : 国家 863 计划资助项目 ( 2007A A 12Z238) 。
[ 4]
式( 2) 右边可以从图像中直接获取, 设其值为 cr 1 , 则 d ( X 1 , X 3 ) = d/ cr 1 , 可求得线段 X 1 X 3 之间的
第 36 卷第 2 期
表 1 室内场景和 室外场景测试结果 T ab. 1 T est Results of Fig. 4 and F ig . 5
标准值 / cm 29. 7 21 8. 7 5 22. 9 16. 2 9. 5 60. 1 30. 1 966. 8 487. 9 125. 8 122. 5 243. 4 计算值 / cm 28. 6 20. 8 8. 8 5. 2 22. 5 15. 3 9. 2 60. 3 31. 9 958. 9 484. 5 125. 3 124. 8 243. 2 误差 / 相对 误差 / % 11/ 4 2/ 1 - 1/ 1 - 2/ 4 4/ 2 9/ 6 3/ 3 - 2 / 0. 3 - 18 / 6 79 / 0. 8 34 / 0. 7 5 / 0. 4 - 23 / 1. 9 2 / 0. 08
第 36 卷 第 2 期 2011 年 2 月
武汉大 学学报 信息科学版 Geo matics and Informat ion Science of W uhan U niver sity
V ol. 36 N o. 2 Feb. 2011
文章编号 : 1671 8860( 2011) 02 0190 05
可获得直线上任意两点之间的距离。因此 , 如何获 取待求线段所在的直线上某一线段长度是本方法 的核心过程 , 此过程依赖于待求线段与已知矩形的 空间关系。算法流程描述如下 : ∀ 获取直线 a1 a2 与灭线 v l 的交点 v a ; # 若灭点 v a 与 v 1 或 v 2 重合 , 则 表示待求线段所在的直线与矩形的某一边平行或 在其中一条边所在的直线上; ∃ 若待求线段在其 中一条边所在的直线上 , 则可直接应用结论 1 获得 待求线段的长度; % 若待求线段所在的直线与矩
矩形 S 1 S 2 S 3 S 4 , 其边长设为 l 1 、 l2 。A 1 、 A 2 为平面 中的任意两点 , 其组成的线段为待求线段。 A 1 A 2 与已知矩形 S 1 S 2 S 3 S 4 有如下三种关系 : ∀ A 1 A 2 平行于 S 1 S 2 S 3 S 4 的任一边长, 如图 3( a) 中的线段 A 21 A 22 ; # A 1 A 2 与 S 1 S 2 S 3 S 4 的边长 ( 或 其延长 线) 重合, 如图 3( a ) 中的线段 A 1 1 A 12 ; ∃ A 1 A 2 与 S 1 S 2 S 3 S 4 斜交 , 如图 3 ( c ) 所示 , B 1 、 B2 、 B3 、 B4 为 A 1 A 2 与 S 1 S 2 S 3 S 4 四条边的交点。 图 3( b) 、 3( d) 分别为图 3( a) 、 3( c ) 对应的图 像, s i ( i= 1, 2, 3, 4 ) 、 aj ( j = 1, 2) 、 b j ( j = 1, 2 ) 为相 应的图像点; v 1 、 v 2 分别为两个方向的灭 点; v l 为 平面灭线。由于一个平面仅有一条灭线 , 任何直 线必定与灭线交 于一点, 因此图 3( b ) 中 的线段 a11 a 12 与灭线交于灭点 v 1 , 线段 a 21 a 22 与灭线交于 灭点 v 2 , 图 3( d) 中直线 b1 b2 b3 b4 与灭线交于灭点 va。
一维直线上几何信息的提取, 经过与其他几何条 件的复合 , 还可实现对二维平面上几何信息的提 取和计算。 1. 2. 1 平行直线上线段长度的计算 如图 2 所示, 若图像中已知平面内的灭线 v l 以 及参考线段 p 1 p 2 的长度 d, 与其平行的线段 a1 a2 的 长度可通过以下过程获得: 连接 p 1 a2 , 与灭线交于 灭点 v t , 那么连接 v t 与 p 2 所形成的直线交 a1 a2 于 点 ax 。由于平行直线必然交于同一灭点, 那么由 p 1 p 2 a2 ax 构成的四边形为平行四边形, a2 ax 所对应 的实际长度 必定等于 p 1 p 2 所 对应 的实际 长度。 此时 , 平面上线段的计算转化为直线上线段长度 的计算, 依据结论 1, 可获得待求线段的长度。
王美珍等 : 基于交比的单幅图像平面几何信息提取算法