基于神经网络的大气湍流退化图像的快速仿真
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第44卷第6期航天返回与遥感
2023年12月SPACECRAFT RECOVERY & REMOTE SENSING57
基于神经网络的大气湍流退化图像的快速仿真
杨德荃1陶彦辉2赵刚练3,*吴小龑2陈子阳1蒲继雄1,*
(1 华侨大学信息科学与工程学院福建省光传输与变换重点实验室,厦门361021)
(2 中国工程物理研究院流体物理研究所,绵阳621000)
(3 93184部队,北京100071)
摘要大气湍流的随机扰动会对大气中传输的光场性质产生影响,导致远距离的目标经过大气湍流传输后出现图像退化和畸变。
研究大气湍流的建模,对图像退化进行仿真模拟是矫正湍流引起的图像畸变、改善成像质量的关键,为此文章提出了一种快速实现仿真大气湍流所引起的图像畸变的方法,通过使用Zernike多项式表示大气湍流的相位,利用Zernike系数之间的相关性求解Zernike系数,搭建神经网络,实现了快速求解湍流的点扩散函数;依据图像退化的过程将清晰无失真图像模拟成受大气湍流影响的退化图像;同时,根据不同参数生成不同效果的湍流图像,分析大气湍流对成像的影响,并对斜程大气湍流传输对成像的影响进行了分析和讨论。
此外,文章还将模拟图像与实际湍流图像进行了定量对比,两者的结构相似性(SSIM)和均方误差(MSE)指标数值仅差0.32%和0.92%,表明模拟图像与实际湍流图像具有较好的一致性,验证了文章所提方法在可见光波段应用的可行性。
关键词大气湍流成像退化湍流效应斜程传输
中图分类号: O439文献标志码: A 文章编号: 1009-8518(2023)06-0057-11
DOI: 10.3969/j.issn.1009-8518.2023.06.006
Rapid Simulation of Atmospheric Turbulence Degradation Images
Based on Neural Networks
YANG Dequan1TAO Yanhui2ZHAO Ganglian3,*WU Xiaoyan2CHEN Ziyang1PU Jixiong1,*
(1 Fujian Provincial Key Laboratory of Light Propagation and Transformation, School of Information Science and Engineering,
Huaqiao University, Xiamen 361021, China)
(2 Institute of Fluid Physics, China Academy of Engineering Physics, Mianyang 621000, China)
(3 Unit 93184, Beijing 100071, China)
Abstract The natural fluctuations of the atmosphere, known as atmospheric turbulence, affects the properties of light waves, leading to image distortion and degradation of remote targets during propagation. Research on modeling atmospheric turbulence and simulating image degradation is crucial for correcting distorted images caused by turbulence and improving imaging quality. This study proposes a simulation method for rapidly implementing the image distortion caused by atmospheric turbulence. The phase of atmospheric turbulence is represented by Zernike polynomials, and a neural network is built by correlating Zernike
收稿日期:2023-06-25
基金项目:中国工程物理研究院院长基金(YZJJZQ2022001);国家自然科学基金(62375092)
引用格式:杨德荃, 陶彦辉, 赵刚练, 等. 基于神经网络的大气湍流退化图像的快速仿真[J]. 航天返回与遥感, 2023, 44(6): 57-67.
YANG Dequan, TAO Yanhui, ZHAO Ganglian, et al. Rapid Simulation of Atmospheric Turbulence Degradation Images Based on Neural Networks[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(6): 57-67. (in Chinese)
58航天返回与遥感2023年第44卷
coefficients to rapidly solve the point spread function of turbulence. Using this approach and employing a clear image as the input of the network, a degraded image affected by atmospheric turbulence can be simulated. We investigate the impact of key parameters such as the refractive index structure parameter, object distance and detector size on image degradation. Specifically, the image degradation is analyzed for an object as it propagates through slant-path atmospheric turbulence. To validate the proposed method, we quantitatively compare the simulated images to real turbulence ones, with the differences of only 0.32% and 0.92% in SSIM and MSE, validating the feasibility of the approach in the visible light band.
Keywords atmospheric turbulence; imaging degradation; turbulence effect; slant path
0 引言
当光在大气湍流中传输时,大气中温度、压力和密度变化引起的大气折射率的随机起伏会影响光的传输特性[1],导致光线折射和扭曲。
这种折射和散射的现象会影响成像质量,当进行远距离目标探测时,观测到的目标图像会出现模糊和失真。
在天文学、航空工程和军事等领域,大气湍流对光传输特性的影响是一个非常重要的问题,它会影响到观察目标的清晰度和准确性。
另一方面,由于大气湍流的影响,探测器所采集到的都是有一定畸变的图像,因此对获取的失真图像进行处理尤为重要,目前研究人员已提出了一系列方法用于改善成像质量[1-6]。
由于大气湍流的随机性在不同因素的影响下对成像造成的干扰不尽相同,依据单一或稀少的大气湍流失真图像提出的去湍流的算法,并不能完美解决所有图像的失真问题。
因此,研究大气湍流对成像的影响,了解并掌握大气湍流的性质以及大气湍流造成的失真图像的形成过程,并在可见光波段模拟受大气湍流影响的失真图像极有意义。
早在20世纪40年代就已经开始了针对大气湍流对光传输影响的研究,最早由Kolmogorov提出了一种湍流速度场统计理论,对大气参数的起伏过程进行描述[7],之后Tatarskii提出了一种近似求解光波在大气湍流中传输方程的方法,奠定了理论基础[8],此后Hufnagel及Fried分别推导了湍流的光学传递函数和随机非均匀介质中的光学传递函数[9-12]。
在上述理论的基础上,研究人员开始对大气湍流进行建模,并对失真图像进行模拟[13-16],其中文献[13]提出了一种基于传输函数的统计描述和湍流功率谱的模型,并利用Kolmogorov湍流假设来描述湍流场,将点扩散函数(point spread function, PSF)建模为具有随机均值和协方差的二元高斯模型;文献[14]模拟了水平视角下的图像退化问题;文献[15]模拟了长水平路径下非等时性图像的形成;文献[16]利用数值模拟方法研究了湍流环境下的成像。
此外,研究人员还开展了关于大气湍流特性的相关研究[17-20],例如:文献[17]讨论了湍流影响下的光束到达角起伏问题,文献[18]模拟了扩展物体在大气湍流中的成像,文献[19]总结并比较了几种不同的数值模拟方法,文献[20]利用功率谱反演法对大气湍流的相位屏进行模拟。
这些研究表明,大气湍流的性质将影响在大气中传输的光束和图像,产生光强涨落和图像畸变等效应。
大气湍流会影响图像的退化,特别是斜程传输时的大气湍流这种比较复杂的传输通道,其影响更为复杂。
针对这个问题,本文在模拟大气湍流退化图像的基础上,将斜程传输列入考虑因素,设计深度学习网络结构,对远距离斜程传输的成像进行模拟。
1 模拟湍流成像
1.1 大气湍流的折射率波动结构函数
大气湍流是一种折射率分布不均匀且不断变化的介质,其性质可以通过一个结构函数进行描述,该
第6期 杨德荃 等: 基于神经网络的大气湍流退化图像的快速仿真 59
函数表示为大气湍流场中的任意两点1r 和2r 之间折射率差的均方值:
21212(,)[()()]r r n S r n r =− (1) 式中 S 为结构函数;1r 和2r 为大气湍流场中任意两个点的位置坐标;()n ⋅为折射率函数;<⋅>表示求
均方值运算。
大气湍流可以视为由许多涡旋组成,每个涡旋都有其折射率特征值。
对于Kolmogorov 湍流,其相位φ处的结构函数S φ为[21]: 22300(), n S r C r l r L φ= (2)
式中 12||r r r =− ,为两点间的距离;l 0和L 0分别为湍流内尺度和外尺度;2n
C 为大气折射率结构常数,单位为m –2/3。
大气折射率结构常数2n
C 是湍流强度的度量,在夜晚和清晨时由于太阳的热量较低,2n C 的数值较小,中午2n
C 变得不稳定,这主要是由于太阳的热量导致热空气上浮,与下降的冷空气相遇造成了运动的不规则性。
2n
C 描述了大气折射率随空间、时间波动的大小,表示一定距离范围内大气折射率的变化幅度平方值的平均值,是描述大气湍流的一个重要参量。
对于通过Kolmogorov 湍流传播的球面波S w 可以表示为[22-23]:
5/3w 06.88(/)S r r = (3) 式中 r 0是Kolmogorov 湍流的特征长度,常被称为大气相干长度(亦称Fried 参数),在大气湍流理论中,该参数被用来表示大气湍流对光波波前扰动的强度。
由于无法直接测量大气湍流的扰动强度,因此通常用r 0来近似替代。
当r 0小于光学系统的衍射极限时,大气会影响光学系统的成像性能[24],r 0越小代表受到的湍流影响越严重,所以Fried 参数是一个有实际意义的参数,其定义为[25]: 2123500[0.423(cos )()d ]L n r k C z z γ−−= (4)
式中 k 为波数;γ为天顶角;L 为总传播距离;z 为传播距离。
1.2 大气折射率结构模型
影响湍流强度的因素有许多,其中温度、湿度、风速、地理位置等都会给大气湍流强度带来一定程
度的影响,这些因素对大气湍流强度的作用可以用大气折射率结构常数2n C 来体现。
目前最常用的模型是
Hufnagel-Valley 模型[26]和Modified Hufnagel-Valley 模型[27],其中Hufnagel-Valley 模型属于天基成像观测
系统,适于白天的强湍流成像,2n C 与海拔高度的关系为
253210/100016/1500/100() 5.9410(/27)e 2.710e e h h h n C h v h A −−−−−=×+×+ (5)
式中 h 为海拔高度;v 是对应海拔高度的风速;A 为近地面位置2n C 的典型值。
当21m/s v =,
142/31.710m A −−=×时,对应于一个特殊的Hufnagel-Valley 模型,即HV-5/7模型。
而对于Modified Hufnagel-Valley 模型,即修正的Hufnagel-Valley 模型,其属于大口径地基成像观测系统,适用于黑夜弱
湍流,此时2n C 与h 的关系为
25410/100017/150015/100()8.1610e 3.0210e 1.910e h h h n C h h −−−−−−=×+×+× (6)
对于更常用的HV-5/7模型,其2n C 与海拔高度的关系如图1所示。
从图1中可以直观地看到,2n C 的
大小随着海拔高度的增加基本呈下降的趋势,当海拔高度高于20 km 后,由于2n
C 已经足够小,此时的湍流属于弱湍流,其对成像的影响基本上可以忽略不计。
60 航 天 返 回 与 遥 感 2023年第44卷
图1 2n C 与海拔高度的关系
Fig.1 Diagram of the relationship between 2n C and the altitude
1.3 模拟成像
光传播受到大气湍流的影响,导致波前受到扰动,相位发生变化,这种相位变化被称为相位畸变或相位扰动。
为了分析和模拟大气湍流带来的影响,Noll 提出了利用Zernike 多项式的方法[28]。
将1{()}M j j Z =ρ定义为Zernike 基,1{}M j j a =定义为Zernike 系数,在极坐标系上,对于相位()R φρ,通过Zernike 多项式可将其展开为
1()()M
j j j R a Z φ==∑ρρ
(7)
式中 R 为相机光学系统的孔径半径;T [,]τθ=ρ,其中τ为缩放系数,θ为极角。
式(7)中每一个Zernike 系数都有几何定义,具体结果可以用正交性原理来确定[28],即 2π100,()()()d d j j j W a Z W R Z φφτθ==⎰⎰ρρρ (8) 式中 ,W ⋅⋅是使用光瞳函数()W ⋅作为权重的内积。
为了求得相位()R φρ的Zernike 系数,首先根据Noll 理论计算两个不相等的Zernike 系数1j a 和2j a 的相关性,该相关性用这两个系数之间的期望12[]j j E a a 表示,即
121211221212[]()()()[()()d ()]d j j j j E a a W W Z Z R R E φφ=×⎰⎰ρρρρρρρρ (9) 式中 1ρ、2ρ分别为对应1j a 和2j a 的由缩放系数和极角构成的矩阵;1j Z 和2j Z 为系数1j a 和2j a 下的Zernike 基。
将式(3)所求结构函数代入式(9),并使用Wiener-Khinchin 定理可得到[28]
12121125/31121/2831212,200(2π)(2π)0.046[][(1)(1)](1)d π2p p p p m j j m m J J D E a a p p r ζζδζζζ∞+++−−⎛⎫⎛⎫=++×− ⎪ ⎪⎝⎭⎝⎭⎰(10)
式中 D 表示相机光学系统的孔径大小;ζ为频率;m 1、m 2分别是Zernike 系数1j a 、2j a 对应的方位角频率;12,m m δ是方位角频率m 1、m 2下的冲激函数;p 1、p 2分别是Zernike 系数1j a 和2j a 对应的径向度;11p J +和21p J +分别为p 1+1阶和p 2+1阶的一类贝塞尔函数。
将多个Zernike 系数的相关性的集合组成一个协方差矩阵C ,其中第j 1行j 2列对应的元素为:
1,212[][]j j j j E a a =C (11) 为了从协方差矩阵C 中提取相关样本,利用Cholesky 分解将协方差矩阵C 分解为T =C UU ,U 是分解出来的三角矩阵,在这里利用高斯白噪声b ,得到变换向量a 为
第6期 杨德荃 等: 基于神经网络的大气湍流退化图像的快速仿真 61
a =U
b (12) 利用变换向量a 就能得到一组Zernike 系数。
由Zernike 系数即可计算相位()R φρ,再根据相位失真
函数就能得到对应的点扩散函数(PSF )。
根据图像退化过程[29],一张清晰的图像经过一系列干扰以及一定程度噪声的影响,最终成为退化图像。
大气湍流对图像的影响也是类似的过程,带有物体信息的光传输到观测平面,传输过程受到大气湍流扰动的影响,最终形成大气湍流退化图像。
本文利用点扩散函数描述大气湍流对成像的影响,对于一张清晰图像,可以根据点扩散函数模拟受大气湍流影响的退化图像。
应用Zernike 多项式分析和模拟大气湍流影响的方法,受计算量的影响其实时性会受到限制。
文献[30]提出了一种轻量级网络,减轻了繁杂的PSF 计算过程。
该文献中将观测到的图像y 表示为
T 11T N N y y ⎡⎤⎡⎤⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦ q x y Qx q x (13)
式中 x 表示源图像,此处指没有大气湍流影响的图像;Q 为线性算子;{|1,2,3,,}n n N = q 是存储为线性算子Q 的N 个空间变化的PSF ,,1M n m n m m β==
∑q φ,其中m φ是PSF 的基函数,系数,m n β是第n 个像素
的第m 个基。
据此,式(13)中每一个像素y n 可以改写为: T ,1, 1,2,3,,M
n m n m m y n N β==
=∑ φx (14) 根据上述原理,通过求解m φ和,m n β即可模拟受湍流影响的图像。
为了能够快速求得这两个参数,搭建了如图2所示的网络,该网络是一个轻量级的网络,能够跳过直接求解y n 的复杂性。
图2 网络结构
Fig.2 Network structure
所搭建神经网络的3个全连接层的输入维度为36,输出维度为100。
以Zernike 系数为输入,利用网络中的3个全连接层输出M 个基β。
其中前两个Zernike 系数来移位像素,其他Zernike 系数通过该神经网络的3个全连接层最终输出。
传统算法和应用网络的方法在生成受大气湍流影响图像的速度方面有明显的差别。
在相同参数下,生成100张237237×像素大小的模拟图像,传统算法用时98.32 s ,平均每张0.98 s ,而应用网络的方法用时11.91 s ,平均每张用时0.12 s 。
1.4 斜程传输时大气湍流强度的评估
当光水平传输到观测点时,即整个传输路径中海拔高度保持不变时,通常假设2n C 的大小不变,大气
湍流对成像的干扰程度保持不变。
但当光不是水平传输时,则不能简单用任一海拔高度的2n
C 值来表示整个传输路径中大气湍流的影响。
如1.2节所述,2n C 的取值将随着海拔高度的变化而变化,若传输路径的天顶角为γ,传播距离为L ,
则海拔高度可以表示为
62 航 天 返 回 与 遥 感 2023年第44卷
cos h L γ=⋅ (15)
将式(15)代入式(5),可得到与传播距离L 相关的2()n C L ,再将2()n C L 代入式(4)定义的Fried
参数中,即可获得整个传播路径上受到大气湍流影响的Fried 参数r 0。
因此,只要确定了目标的距离、海拔高度或天顶角中的两个参量,就能评估大气湍流对成像的影响。
2 仿真实验与结果分析
2.1 仿真实验结果
应用Zernike 多项式搭建神经网络架构对大气湍流退化图像进行仿真模拟。
模拟时设置孔径大小D =0.15 m ,传播距离L =2 000 m ,大气相干长度r 0=0.075 m ,利用前文所述的神经网络生成的图像,并与真实湍流进行对比,结果如图3所示,可以看出利用前文所述的神经网络所模拟的受湍流影响的退化图像与真实湍流所采集的退化成像是十分接近的。
(a )无湍流影响的图像
(b )受真实湍流影响的图像 (c )模拟湍流影响的图像 (a )Ground truth (b )Real turbulence
(c )Simulated turbulence
图3 真实湍流与模拟湍流的结果比较 Fig.3 Comparison of the real & simulated turbulence
为了定量描述模拟图像的质量,分别应用结构相似性(SSIM )、峰值信噪比(PSNR )、均方误差(MSE )和信息熵(ENTROPY )等指标对真实湍流和模拟湍流下的成像进行评价。
SSIM 指标可以衡量图片的失真程度,也可以衡量两张图片的相似程度。
SSIM 更偏向于感知,符合人眼直观感觉,SSIM 越接近于1表示两幅图片越接近,此处SSIM 的数值描述的是原始清晰图像与受大气湍流影响的退化图像之间的相似程度。
SSIM 的公式基于样本x 和y 之间的亮度比较部分
2211(,)(2)/()x y x y l x y c c μμμμ=+++、对比度比较部分2222(,)(2)/()x y x y c x y c c σσσσ=+++和结构比较部
分33(,)()/()xy x y s x y c c σσσ=++的比较衡量,其中x μ和y μ分别为x 和y 的均值,x σ和y σ分别为x 和y
的标准差,2x σ和2y σ分别为x 和y 的方差,x y σ为x 和y 的协方差;211()c k L =与222()c k L =为常数,L 为像素范围,10.01k =与20.03k =为默认值。
此时结构相似性SSIM 的值为SSIM [(,)(,)(,)]G l x y c x y s x y αβγ=⋅⋅,其中α,β,γ为调节参数,用来调整3个模块间的重要性。
为了简化形式,将α,β,γ均设为1,令32/2c c =,可以得到结构相似性值G SSIM 为 12SSIM 222212(2)(2)
()()x y xy x y x y c c G c c μμσμμσσ++=++++ (16)
MSE 是均方误差,表示原始图像与处理后图像之间每个像素的差异的平方的平均值,用于衡量原始
第6期 杨德荃 等: 基于神经网络的大气湍流退化图像的快速仿真 63 清晰图像与受大气湍流影响的退化图像之间的差异,该指标越小表示两幅图像越相近。
给定一个大小为m n ×的清晰图像I 和退化图像K ,其MSE 的值E MS 为: 112MS 0
01[(,)(,)]m n i j E I i j K i j mn −−===−∑∑ (17)
式中 (,)I i j 和(,)K i j 分别是清晰图像I 和退化图像K 在图像矩阵中(i ,j )处的像素值。
PSNR 是峰值信噪比,通常用于比较原始图像与经过压缩或处理后的图像之间的相似性,该指标越大表示两幅图像越相近,本文中用于衡量原始清晰图像与大气湍流影响后的退化图像的相似性,其值N PSNR 为:
2PSNR MS 10lg(Z N E = (18)
式中 Z 为图片最大像素值。
ENTROPY 是信息熵,是一种用来衡量图像中信息的不确定性或随机性的指标,在图像处理和信息理论中,其常用于评估图像的复杂性和信息量,信息熵越高,表示图像中包含的信息越丰富和复杂。
对图像每一个灰度级别η的出现频率进行统计,并计算其概率分布()p η,然后对每个灰度级别的概率,按照式(19)计算信息熵值()H η。
将每个灰度级的信息熵进行求和,即可得到整个图像的信息熵。
2()(()log (()))H p p ηηη=−⋅∑ (19) 评价方式采用对100帧图像的单帧评价结果取均值,具体评价结果如表1所示。
表1 对湍流图像的质量评价
Tab.1 Quality evaluation of turbulence images
类别
评价指标 SSIM PSNR/dB MSE ENTROPY/bit 真实湍流
0.899 0 28.067 0 109.539 8 5.054 3 模拟湍流 0.896 1 27.906 1 110.551 3 4.928 2
其中模拟湍流的退化图像与真实湍流下的退化图像的SSIM 、PSNR 、MSE 和ENTROPY 数值分别相差0.32%,3.5%,0.92%和2.5%。
评价结果显示,通过调整参数,可以得到和真实湍流下相近的评价结果。
从另一个角度来看,通过模拟出相似的结果,可以倒推出受真实湍流影响下的图像的获取条件,有助于分析大气湍流的影响。
总体而言,通过对比上述4个图像质量评价指标可以发现,模拟的受湍流影响的成像和真实湍流环境中采集的结果的图像质量评价指标相近。
虽然模拟湍流的结果并不能完全等同于真实湍流,但是仿真结果和真实结果具有较为一致的评价指标,因而可以使用该方法较为准确地进行相关的仿真实验。
2.2 大气湍流参量对图像畸变的影响
在大气湍流对成像影响的模拟中,对成像模拟有较大影响的参量主要包括孔径大小D 、传播距离L 、
Fried 参数r 0和折射率结构常数2n C 。
对于孔径大小为D 的光学系统,当光线通过孔径进入该系统时,如果孔径足够大,则能够减少光线的散射和衍射现象,会有更多光线进入镜头并更好地聚焦于成像平面,形成更清晰、更明亮的图像;而对于较小的孔径,光线必须通过一个更小的开口,受自身波动性质影响会发生衍射,导致图像变得模糊和失真。
传播距离的影响主要体现在光线在传播过程中会发生折射和散射,这些现象会导致成像质量的下降。
当光线通过大气湍流时,由于大气湍流中不同部分的折射率有差异,使光线在传播中的速度和方向都会
64航天返回与遥感2023年第44卷
发生变化,进而导致图像发生畸变和失真。
此外,光线与介质粒子或分子会发生相互作用而偏离原来的方向,导致其在传播过程中发生散射,这种散射现象会产生噪声和干扰,造成图像的边缘和细节模糊,最终导致成像质量下降。
折射率结构常数是描述大气湍流强弱最重要的参数之一,一般而言,大气湍流的折射率结构常数越大,则大气湍流效应越显著,引起的图像失真和畸变愈明显。
在验证了利用Zernike多项式的网络架构可以一定程度上仿真受大气湍流影响的畸变图像后,本文进一步考虑大气湍流参量对图像所带来的影响。
对于孔径大小D、传播距离L、Fried参数r0和折射率结构常数2n C的不同取值,利用神经网络的方法分别进行大气湍流退化模拟并进行对比,总结参量变化对成像的影响,以便更准确地预测在不同情况下的大气湍流退化图像。
1)当L=3 000 m,r0=0.1 m时,D取0.2、0.1、0.05 m时的仿真结果如图4所示。
从图4中可以清晰地看到,当孔径不断缩小时,受大气湍流的影响图像的扭曲愈加严重,图像边缘会逐渐出现失真。
(a)无湍流影响的图像(b)D=0.2 m (c)D=0.1 m (d)D=0.05 m (a)Ground truth (b)D=0.2 m (c)D=0.1 m (d)D=0.05 m
图4 不同孔径大小的仿真结果
Fig.4 Numerical simulation with different aperture sizes
2)当D=0.1 m,r0=0.1 m时,改变传播距离L,不同传播距离(L=1 000 m,5 000 m,10 000 m,)的湍流退化模拟图像结果如图5所示。
随传播距离不断增大,由于大气湍流影响,图像的扭曲倾斜不断加重,并且更加密集。
这是因为随着传播距离增加,光线发生折射和散射的概率逐渐提高,致使整体成像质量不断降低。
(a)无湍流影响的图像(b)L=1 000 m (c)L=5 000 m (d)L=10 000 m (a)Ground truth (b)L=1 000 m (c)L=5 000 m (d)L=10 000 m
图5 不同传播距离的仿真结果
Fig.5 Numerical simulation with different propagation distances
3)当D=0.1 m,L=3 000 m时,改变折射率结构常数2n C,不同折射率结构常数2n C=10–16m–2/3,10–15 m–2/3,10–14 m–2/3的湍流退化模拟图像结果如图6所示。
可以很明显地看出,随着2n C的增大,图像失真扭曲程度不断增大。
当2n C小于10–17 m–2/3量级时,湍流对成像的影响基本上可以忽略不计。
第6期 杨德荃 等: 基于神经网络的大气湍流退化图像的快速仿真 65
(a )无湍流影响的图像
(b )2n C =10–16 m –2/3 (c )2n C =10–15 m –2/3 (d )2n C =10–14 m –2/3 (a )Ground truth (b )2n C =10–16 m –2/3 (c )2n C =10–15 m –2/3 (d )2n C =10–14 m –2/3
图6 不同折射率结构常数的仿真结果
Fig.6 Numerical simulation with different 2n C
4)当远距离传输和斜程传输时,要考虑目标海拔高度和传输距离的影响,这种情况下的大气湍流更为复杂。
在模拟中,保持孔径大小D =0.1 m 不变,光波长λ=500 nm ,目标海拔高度设定在7 km 处,改变r 0和L 进行仿真,不同天顶角(γ=45°,69°,76°)的湍流退化模拟图像结果如图7所示。
(a )无湍流影响的图像
(b )γ=45° (c )γ=69° (d )γ=76° (a )Ground truth (b )γ=45° (c )γ=69° (d )γ=76°
图7 斜程传输时的仿真结果
Fig.7 Numerical simulation of slant path
图7中随着天顶角的增加,对应的传播距离L 从10 km 依次变化到20 km 和30 km ,Fried 参数r 0从0.23 m 依次变化到0.10 m 和0.06 m ,图像逐渐模糊不清。
可以发现,远距离传输对成像的影响非常严重,斜程传输时图像质量将随着距离的增加而逐渐降低。
表2为斜程传输模拟成像质量评价结果。
当目标处于海拔7 km 时,随着传输距离的增加,SSIM 和PSNR 的数值不断下降,说明成像结果与原图的相似度不断下降,人眼可感知的图像质量降低;MSE 的数值不断上升,说明成像的结果与原图之间的差异不断增加;ENTROPY 的数值不断上升,说明成像结果变得更加混乱和复杂,尤其是灰度分布和纹理。
上述评价结果表明,随着传输距离的增加,Fried 参数r 0将逐渐减小,从而导致图像的质量不断降低。
相比于未受大气湍流影响的图像,随着大气湍流强度的增加,图像的质量以及与清晰图像的相似性均越来越低,符合受大气湍流影响的成像规律。
表2 斜程传输成像质量评价
Tab.2 Quality evaluation of slant path images
传输距离L /km 评价指标
SSIM
PSNR/dB MSE ENTROPY/bit 10 0.950 1
27.575 1 115.242 1 2.729 7 20 0.927 1
24.997 3 208.818 9 2.754 0 30
0.906 1 23.266 7 309.695 8 2.796 1
66航天返回与遥感2023年第44卷3 结束语
本文对大气湍流理论进行了分析,并使用Zernike多项式对受大气湍流影响的相位进行模拟,研究了受大气湍流影响的退化图像。
考虑到图像退化结果影响因素的多面性,搭建了深度学习网络,仿真模拟不同参量条件下的大气湍流及其引起的图像畸变。
通过与实际采集的湍流退化图像进行对比,发现该方法的仿真结果与实际图像具有较好的一致性;之后进一步分析了斜程传输下的大气湍流对成像的影响,提出一种对不同海拔高度、不同天顶角条件下大气湍流强度的统一计算方法,从而得到斜程传输下受大气湍流影响的模拟退化结果。
上述成果可为研究目标经过大气湍流传输后的图像畸变以及图像还原提供一定的参考。
参考文献(References)
[1]王英俭, 时东锋. 大气对光学成像的影响及校正技术[J]. 量子电子学报, 2020, 37(4): 409-417.
WANG Yingjian, SHI Dongfeng. Atmospheric Effects on Optical Imaging and Correction Techniques[J]. Chinese Journal of Quantum Electronics, 2020, 37(4): 409-417. (in Chinese)
[2]李庆菲, 朱志超, 方帅. 大气湍流退化图像的复原研究[J]. 合肥工业大学学报(自然科学版), 2011, 34(1): 80-82+127.
LI Qingfei, ZHU Zhichao, FANG shuai. Research on Restoration of Atmospheric Turbulence Degenerated Images[J].
Journal of Hefei University of Technology(Natural Science), 2011, 34(1): 80-82+127. (in Chinese)
[3]ANANTRASIRICHAI N, ACHIM A, KINGSBURY N G, et al. Atmospheric Turbulence Mitigation Using Complex
Wavelet-Based Fusion[J]. IEEE Transactions on Image Processing, 2013, 22(6): 2398-2408.
[4]ZHU X, MILANFAR P. Removing Atmospheric Turbulence via Space-Invariant Deconvolution[J]. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 2013, 35(1): 157-170.
[5]LAU C P, LAI Y H, LUI L M. Restoration of Atmospheric Turbulence-distorted Images via RPCA and Quasiconformal
Maps[J]. Inverse Problems, 2019, 35(7): 074002.
[6]JIN D, CHEN Y, LU Y, et al. Neutralizing the Impact of Atmospheric Turbulence on Complex Scene Imaging via Deep
Learning[J]. Nature Machine Intelligence, 2021, 3(10): 876-884.
[7]KOLMOGOROV A N. The Local Structure of Turbulence in Incompressible Viscous Fluid for Very Large Reynolds
Numbers[J]. Proceedings of the Royal Society A–Mathematical Physical and Engineering Sciences, 1991, 434(1890): 9-13.
[8]TATARSKII V I. Some New Aspects in the Problem of Waves and Turbulence[J]. Radio Science, 1987, 22(6): 859-865.
[9]HUFNAGEL R E, STANLEY N R. Modulation Transfer Function Associated with Image Transmission through Turbulent
Media[J]. Journal of the Optical Society of America, 1964, 54(1): 52-61.
[10]FRIED D L. Propagation of a Spherical Wave in a Turbulent Medium[J]. Journal of the Optical Society of America, 1967,
57(2): 175-180.
[11]FRIED D L. Limiting Resolution Looking Down Through the Atmosphere[J]. Journal of the Optical Society of America,
1966, 56(10): 1380-1384.
[12]FRIED D L, Cloud J D. Propagation of an Infinite Plane Wave in a Randomly Inhomogeneous Medium[J]. Journal of the
Optical Society of America, 1966, 56(12): 1667-1676.
[13]POTVIN G, FORAND J L, DION D. A Simple Physical Model For Simulating Turbulent Imaging[C]//Infrared Imaging
Systems: Design, Analysis, Modeling, and Testing XXII. Bellingham, WA: SPIE, 2011, 8014: 323-335.
[14]REPASI E, WEISS R. Computer Simulation of Image Degradations by Atmospheric Turbulence for Horizontal
Views[C]//Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XXII. Bellingham, WA: SPIE, 2011, 8014: 279-287.
[15]BOS J P, ROGGEMANN M C. Technique for Simulating Anisoplanatic Image Formation over Long Horizontal Paths[J].
Optical Engineering, 2012, 51(10): 101704.
[16]LACHINOVA S L, VORONTSOV M A, FILIMONOV G A, et al. Comparative Analysis of Numerical Simulation
Techniques for Incoherent Imaging of Extended Objects through Atmospheric Turbulence[J]. Optical Engineering, 2017, 56(7): 071509.。