基于理想边缘外推的遥感影像超分辨率复原方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910982371.7
(22)申请日 2019.10.16
(71)申请人 北京理工大学深圳研究院
地址 518057 广东省深圳市南山区科技园
南区虚拟大学园A207室
(72)发明人 程灏波　冯云鹏　
(51)Int.Cl.
G06T 5/00(2006.01)
G06T 3/40(2006.01)
(54)发明名称基于理想边缘外推的遥感影像超分辨率复原方法(57)摘要本发明针对遥感图像退化原因的复杂性和未知性导致点扩散函数难以准确辨识的问题，提出了一种不需要精确点扩散函数的基于理想边缘外推单幅遥感影像超分辨力复原方法。

本方法首先从退化图像的模糊边缘中提取样本，扩充为样本模糊图像，对样本模糊图像利用理想边缘退化理论构造样本清晰图像；然后根据图像类推的理念，以样本模糊图像和样本清晰图像作为源样本对，类推出复原后的清晰图像。

在该方法中提出了横向无方向性的邻域最佳匹配统计参数及自适应像素补偿方法。

对航拍模糊遥感图像处理后，进行图像质量评价表明：复原后图像的分辨力至少提高到原来的1.06倍，信噪比提高6-7dB、对比度提高0.2-0.3、
图像熵也得到明显的改善。

权利要求书1页 说明书4页 附图4页CN 111080532 A 2020.04.28
C N 111080532
A
1.基于理想边缘外推的遥感影像超分辨率复原方法，其特征是：取目标模糊图像B中任一行或一列信息，从该行或者该列中截取含有局部最大值或局部最小值的一段单调区间；对提取的这一段单调区间进行扩充便成为样本模糊图像A；根据理想边缘退化规律，由模糊样本图像A
构造出清晰样本图像；考虑到运算速度与构造理想边缘样本简单且小等诸多因素的影响，使用横向相关性度量作为像素最佳匹配度量，描述中心点一定邻域范围内德结构特征，计算样本图像A中每一个像元某一邻域内的DD值， 得到模糊样本图像A和目标模糊图像B的横向统计参量矩阵DD A 和DD B ；计算DD B 的任意一处值p点DD值（DD p ），在参量矩阵DD A 中搜索与DD p 最接近的点就是最佳匹配点，
并根据公式
，对目标模糊图像B进行自适应像素
补偿，
得到目标清晰图像，式中，
为目标清晰图像中p点灰度值，B(p)为目标模糊图像B中p点灰度值，average B 、average A 分别为以p、
q为中心点邻域像素灰度值的平均值，式中包含着各个灰度等级上的模糊与清晰的映射关系，是一种具有邻域自适应性的智能算法，这种自适应性使得本发明可以恢复平坦区域的浅纹理信息，实现了单幅遥感影像超分辨率复原，可不同程度的提高空间分辨率、信噪比、对比度和图像熵。

2.根据权利要求1所述的基于理想边缘外推的遥感影像超分辨率复原方法，其特征在于：所述模糊样本图像是从目标模糊图像B中任一行或一列信息，从该行或者该列中截取含有局部最大值或局部最小值的一段单调区间；对提取的这一段单调区间进行扩充便成为样本模糊图像A。

3.根据权利要求1所述的基于理想边缘外推的遥感影像超分辨率复原方法，其特征在于：所述清晰样本图像是根据理想边缘退化规律，由模糊样本图像A构造得出。

4.根据权利要求1所述的基于理想边缘外推的遥感影像超分辨率复原方法，其特征在于：所述最佳匹配点是通过计算样本图像A中每一个像元某一邻域内的DD值，得到模糊样本图像A和目标模糊图像B的横向统计参量矩阵DD A 和DD B ；DD B 中任意一处值p点DD值（DD p ），在参量矩阵DD A 中搜索与DD p 最接近的点就是最佳匹配点。

5.根据权利要求1所述的基于理想边缘外推的遥感影像超分辨率复原方法，其特征在于：所述像素补偿以样本图像参量DD为判据，
根据公式
，对目标模糊图像B进行自适应像素补偿，并在空域内逐点复原图像得到目标清晰图像。

权　利　要　求　书1/1页CN 111080532 A
基于理想边缘外推的遥感影像超分辨率复原方法
技术领域
[0001]本发明涉及遥感影像处理领域，是一种无先验知识的单幅遥感影像超分辨率重建方法。

背景技术
[0002]传统的超分辨力图像概念最早由J.L.Harris和J.W.Goodman于20世纪60年代以解析延拓和信息叠加理论为基础提出的，旨在恢复单幅图像由于光学系统衍射极限而在成像过程中被丢失的图像高频信息。

这种超分辨复原方法被称之为Harris-Goodman频谱外推法。

此后有许多人对其进行了研究改进，在上个世纪80年代末取得了突破性进展，Cheeseman于1994年提出一种基于Bayesian的分析方法；除此之外产生了一系列如能量连续下降法、凸集投影法（POCS）等新方法。

[0003]基于单幅遥感影像的超分辨率复原需要利用物理问题的先验知识，对问题增加更多的约束，来规整化解空间，以期通过先验知识来增加信息量到原图，以实现分辨力的提高。

常规的单幅遥感图像超分辨力复原利用精确估计的点扩散函数和噪声补偿或者消除成像过程所受到的影响来达到复原的目的。

但实际的成像系统特性和成像条件千差万别，图像退化过程复杂多变，从而使点扩散函数难以辨识。

即使针对某些具体问题，可以通过简化退化模型来获得复原图像，但除了要付出巨大的时间代价，复原效果也是差强人意。

本发明提出的基于图像类推的复原方法解决这样的问题。

类推是人类最常用的基本推理过程。

人们通常是在无意识的情况下使用类推来解决问题，解释各种现象，甚至做出预测。

图像类推（Image Analogies，IA）算法最早是受人类推理过程的启发而提出，是一种基于学习的思想，计算机学习人类的类推过程来分析源图像对的关系，将此关系应用到目标图像对中。

[0004]目前图像类推大部分还是用来处理彩色图像。

2002年Hertzmann提出了曲线类推，通过类推的方式构造出不同风格的简单曲线。

2003年以色列的Iddo Drori应用图像类推来转变图像风格和内容。

2004年芬兰的Huttunen在篇名为图像类推的论文中也对图像类推进行了系统的论述。

2004年美国的James ckey提出将图像类推引进到图像分割领域。

2004年吉林大学的Yu Meng提出了应用粒子群优化像素搜索的块拼贴纹理合成算法。

2004年西北工业大学的古元亭提出了基于分形迭代函数系统的超分辨自类推技术。

2005年浙江大学的Congyong Su将图像类推应用于面部表情虚构。

2006年西北工业大学的沈海基于图像类推对于图像分割算法和去除分形压缩解码图像块效应算法进行了深入的研究。

2007年中国科学院的古元亭提出了基于图像类推的超分辨力复原技术。

2007年大连理工大学的马丽丽应用粒子群优化算法对Hertzmann图像类推算法的最佳匹配像素搜索算法进行了改进。

2007年希腊的Ganesh Ramanarayanan基于图像类推提出了通过能量最小化实现约束纹理合成。

2008年澳大利亚的Li Cheng提出了基于半监督学习的一致性图像类推算法。

2008年中国科学院的古元亭提出了基于非线性卷积的可控图像类推和自类推技术。

发明内容
[0005]本发明所要解决的技术问题：针对遥感图像退化原因的复杂性和点扩散函数的难辨识性，提出了一种基于理想边缘类推思想的、不需要精确估计点扩散函数的单幅图像超分辨力盲复原方法。

[0006]本发明解决技术问题采用以下的技术方案：
本发明提供一种基于理想边缘外单幅遥感影像超分辨率复原方法，具体包括：
（1）样本图像的提取和构造
图像复原的过程必须要考虑退化原因，根据退化原因来给退化的图像添加信息，使复原图像真实、清晰。

因此，样本图像从目标模糊图像中提取构造出来的。

提取的样本是截取目标图像某一单调区间，然后对提取样本扩充形成样本图像。

这样的样本图像从目标图像出发，作为复原依据比较真实可靠。

[0007]（2）样本图像理想边缘提取
清晰样本图像是通过理想边缘退化规律反向构造的。

通过实验发现，沿水平和垂直方向的理想边缘更易构造，沿其它方向的理想边缘会存在锯齿虚化的现象或者像素值偏差等问题。

因此，只用到水平或垂直方向的理想边缘。

[0008]（3）图像类推过程中相似性度量
考虑到运算速度与构造理想边缘样本简单且小等诸多因素的影像，确定用一种横向相关性度量 DD作为像素最佳匹配度量。

统计参量DD是一种无方向性的统计量，主要物理意义是描述中心点一定邻域范围内德结构特征。

DD越大说明中心点在变换位置，DD越小说明中心点在平坦区域。

[0009]（4）图像类推过程中最佳匹配搜索策略
一致搜索结果能够保持图像中像素的连贯性，具有更好的主观感觉。

一致搜索原理是由于图像内容具有一定的稳定性，像素之间是有邻域相关性。

即，如果目标图像上的某
个像素q在源图像上的匹配像素为p，那么q的邻域中的像素点的匹配像素也很有可能在p的邻域内。

[0010]（5）目标影像复原邻域自适应像素补偿
图像类推中相似性度量所用的横向相关性度量DD只是用来衡量像素“环境”特征参量，学习时需要根据目标图像具体邻域内的灰度范围来确定像素补偿量，进而完成基于样本学习的图像复原。

邻域自适应像素补偿过程是以样本图像参量DD为判据，进而计算出目标图像的DD，然后在空域内逐点复原图像。

[0011]本发明与现有技术相比具有显著的效果：
第一，解决由遥感图像退化原因的复杂性和点扩散函数的难辨识性带来图像复原的难度，绕过精确求解点扩散函数，通过风格映射，学习原模糊图像中的退化规律，来达到盲复原的目的。

[0012]第二，解决传统盲复原对单幅遥感影像超分辨复原的盲目性。

根据目标图像特点提取模糊样本进而构造理想边缘进行图像复原，这样的样本对有其自身的真实性与可靠性，从而使盲复原并不是真正盲目的，而是根据目标图像特点复原的。

[0013]第三，经过算法超分辨率复原后图像的分辨率提高到原来的1.06倍，信噪比提高6-7dB，对比度提高0.2-0.3，图像熵也有不同程度提高。

[0014]总之，本发明不必对图像退化的具体原因以及退化过程做精确的估计、估算出点扩散函数，而直接从退化的图像中采集图像边缘发生模糊的样本图像，根据理想边缘理论以及边缘图像退化规律重构理想边缘图像，进而根据样本对图像对目标模糊图像进行自适应像素补偿。

处理后图像质量得到明显提升。

附图说明
[0015]图1 （a）表示目标模糊图像某一行像素截取图曲线。

（b）表示从（a）中采样得到的样本模糊图像，（c）表示（b）中样本模糊图像根据理想边缘退化规律得到的理想边缘图2（a）表示一维理想边缘信号曲线。

（b）表示一维模糊边缘信号曲线
图3 图像类推算法示意图
图4 基于理想边缘外推单幅遥感影像超分辨率复原算法流程图
图5 （a）表示不同灰度等级水平边缘模糊效果图，（b）表示不同灰度等级水平边缘清晰效果图
图6和图7 目标模糊影像以及经过复原算法处理后影像
图8 处理后图像质量评价对比表格
具体实施方式
本发明不需要对图像退化的具体原因以及退化过程做精确的估计，也不需要估算出点扩散函数，而直接从退化的图像中采集图像边缘发生模糊的样本图像，根据理想边缘理论以及边缘图像退化规律重构理想边缘图像，进而利用样本图像对目标模糊图像进行自适应像素补偿。

复原方法依据于目标模糊图像同时又不需要建立物理降晰模型辨识参数，是一种“有根据”的遥感图像盲复原方法。

这种复原方法是建立在影像质量评价标准之上的，通过影像评价可以客观反映本发明处理效果的优劣。

[0016]具体步骤：
（1）样本提取与构造
样本图像对、分别为模糊样本和清晰样本，图像、为目标图像对。

模糊样本
从目标模糊图像中截取，而清晰样本直接关系到复原后图像的信息增加，是根据理想
边缘退化规律依据模糊样本构造出来。

样本采集是选定图像中的任意一行或一列，截
取某一段局部最小值和局部最大值的单调区间，并扩展成样本图像。

模糊样本图像根
据理想边缘退化规律得到的理想边缘。

如图1所示，（a）为模糊图像中某一行的像素截取
图。

（b）为模糊样本图像，（c）所示为清晰样本图像。

[0017]（2）快速邻域最佳匹配
采用横向相关度量作为邻域最佳匹配测度，样本图像A某一像素的就是指以
该像素为中心某一邻域内所有像素点与中心点的距离平方和。

在样本图像A中搜索与目标图像B中某一像素p最匹配的点q，就是计算样本图像A中每一个像元某一邻域内的值，
形成样本值矩阵。

计算目标图像中p点值（），并在样本值矩阵中搜索与
最接近的点就是最佳匹配点。

[0018]（3）邻域自适应像素补偿
邻域自适应像素补偿过程是以参量为判据在空域内逐点复原图像。

像素自适应补
偿公式为式子（1）：
(1)
式中，为目标清晰图像中点灰度值，为目标模糊图像中点灰度值，
、分别为以、为中心点邻域像素灰度值的平均值。

图5表示不同灰度等
级水平边缘模糊与清晰效果图。

式（1）包含着各个灰度等级上的模糊与清晰的映射关系，是一种具有邻域自适应性的智能算法。

这种自适应性使得本发明可以恢复平坦区域的浅纹理信息。

[0019]本方法实现了单幅遥感影像超分辨率复原，空间分辨率提高到原来影像的1.06倍，信噪比提高6-7dB，对比度提高0.2-0.3，图像熵也有不同程度提高。

[0020]下面结合附图对本发明作进一步说明
1、图像类推
图像类推（Image Analogies，IA）的基本思想来自于多分辨纹理合成技术，主要应用于风格化学习和传递问题中。

样本图像对和具有相同的大小和图像结构，只是图像的风
格不同（图像复原的风格即为模糊与清晰）。

IA算法根据像素匹配原则在样本图像搜索与
目标图像中像素点最为匹配的像素点，将在样本图像中的对应位置处的特征
向量赋给目标像素点，最后合成输出目标图像，如图3所示。

[0021]2、理想边缘
运用类推复原图像的前提条件是样本对的清晰化映射理论上应该与已知模糊和待求清晰图像的清晰化映射关系相同，因此算法首先要得到一对模糊和清晰图像的样本，而其中清晰图像样本的构造需要用到理想边缘退化规律。

本方法复原的图像含有理想化边缘的风格，但是理想边缘有其自身的真实性和可靠性。

对于能够达到一定分辨力的清晰图像，与图像边缘垂直方向的像素变化成阶跃函数形状，即可以认为是理想边缘。

如图2所示（a）表示一维理想边缘信号，（b）表示一维模糊边缘信号。

[0022]3、算法流程
基于理想边缘外推超分辨力复原算法的步骤如下：
（1）提取、构造模糊样本图像。

从目标模糊图像中采取垂直或水平方向的边缘图像
样本。

具体方法，取目标模糊图像B中任一行或一列信息，从该行或者该列中截取含有局部最大值或局部最小值的一段单调区间；对提取的这一段单调区间进行扩充便成为样本模糊图像A；
（2）构造理想边缘的清晰样本图像，根据理想边缘退化规律，由模糊样本图像构造
出清晰样本图像；
（3）分别计算出模糊样本图像和目标模糊图像的横向统计参量矩阵和；
（4）判断的任意一处值与参量矩阵哪个值最接近，找到像素位置，进而应用式（1）对目标模糊图像进行自适应像素补偿，得到目标清晰图像。

图1
图2
图3
图4
图5
图6
图7
图8。