基于测量基优化的低采样率单像素成像

光学 精密工程
Optics and Precision Engineering
第 29 卷 第 5 期2021年5月
Vol. 29 No. 5
May 2021
文章编号 1004-924X(2021)05-1008-06
基于测量基优化的低采样率单像素成像
赵梓栋】，杨照华"，李高亮2
(1.北京航空航天大学仪器科学与光电工程学院，北京100191；
2.北京华航无线电测量研究所，北京100010)
摘要：单像素成像结合压缩感知相关算法利用很少一部分无空间分辨的桶探测器采样值就能重构出成像物体的高质量 图像。

然而，随机地选取投射的散斑序列无法在更低的采样率下成像。

为进一步实现单像素成像在极低采样率下的成
像效果，本文提出了基于数据驱动的哈达玛矩阵排序方案，利用对整个数据集的训练效果来自适应地选择透射的散斑信
号序列，在重构图像过程中使用两种不同的压缩感知相关算法在数值仿真和实验条件下实现了 5%超低采样率下对成
像物体的图像重构，并和目前最优的哈达玛矩阵排序方案进行了比较，发现在1%〜5%的采样率下本文方法的重构效
果更优。

本文研究成果可用于提升单像素成像的成像速度，在成像制导和医学成像中有着极大的应用前景。

关 键 词：鬼成像；单像素成像；压缩感知；哈达玛矩阵排序；数据驱动
中图分类号：O431. 2 文献标识码：A doi ：10. 37188/OPE. 20212905. 1008
Sub -Nyquist single -pixel imaging by optimizing sampling basis
ZHAO Zi -dong 1 , YANG Zhao -hua 1* , LI Gao -liang
(1. Beijing University of A eronautics and Astronautics , Beijing 100191, China ;
2. Beijing Huahang Radio Measure/nent Institute , Beijing 100010, China )
* Corresponding author , E -mail ： yangzh@buaa. edu. cn
Abstract ： Single -pixel imaging combined with compressed sensing can reconstruct high -quality images of
an imaged object from a small part of the measurement results of a bucket detector without a spatial resolu ­tion. However , at low sampling rates , randomly selected projected speckle sequences limit the quality of
reconstructed images. To achieve improved imaging at very low sampling rates ， this paper proposes a da ­
ta -driven Hadamard matrix sorting scheme ， which uses the training effect of an entire dataset to adaptively select transmitted speckle signal sequences. In the process of reconstructing an image , two different com ­
pressed -sensing -related algorithms are employed to realize the image reconstruction of an imaged object at
an ultra -low sampling rate of 5% in a numerical simulation and physical experiment ， and it is sorted with the current optimal correlation Hadamard matrix. The schemes are compared ， and it is found that the re ­construction effect of the method proposed in this paper is better at sampling rates of 1% to 5%. The re ­
search results presented in this paper can be used to increase the imaging speed of single -pixel imaging ， and can be applied to fields such as imaging guidance and medical imaging.
Key words ： ghost imaging ； single pixel imaging ； compressed sensing ； Hadamard matrix reordering ； data
driven
收稿日期:2020-10-14;修订日期:2020-10-29.
基金项目：国家自然科学基金资助项目(No. 61973018,No. 61801452);国家民用航天项目资助(No.G040301)
第5期赵梓栋，等:基于测量基优化的低采样率单像素成像1009
1引言
二维图像是如今应用最为广泛的光电信息之一。

传统成像基于阵列探测器的透镜成像原理。

作为传统成像方式的一种替代，单像素成像在时序上记录每个测量基掩膜基的光强信息，在阵列探测器昂贵的非可见波段和极弱光探测下相较传统成像方式优势明显。

然而，单像素成像需要投射大量的散斑并记录光强信息，这无疑会造成存储空间及时间的浪费，从而限制单像素成像的实际应用。

在已有的研究中，成像效率的提升主要体现在优化重构方法和优化采样散斑上。

在优化重构算法方面，传统的计算关联成像使用关联算法来重构物体图像，之后在此基础上提出了差分鬼成像和归一鬼成像算法。

随着压缩感知理论的提出，研究人员发现压缩感知的线性测量模型与计算关联成像的测量过程相同，并在此基础上提出了单像素相机⑴。

压缩感知利用自然物体在某些测量基下的稀疏特性，以计算资源的代价换取在极低采样率下的成像，目前已经在核磁共振、天文观测及显微成像中有着极为重要的应用。

然而，对于中等分辨率的图像，传统的压缩感知在采样率低于30%下很难获取高质量的重构图片。

因此，人们将压缩感知和深度学习相结合，但这种方法明显的缺点就是需要大量的训练时间和数据集，因此很难实现应用。

在优化采样散斑方面，传统的计算关联成像使用的是随机散斑，这种散斑的非正交性导致对一张分辨率为N的物体成像时投射的掩膜矩阵数量需要远高于N。

为提升成像效率，主流算法使用的掩膜矩阵为正交测量基，如傅里叶测量矩阵或哈达玛测量矩阵。

其中，哈达玛矩阵构造简单，易于二值化，是最常使用的掩膜测量矩阵。

在欠采样条件下，测量基的选择对成像的结果有着显著的影响。

因此，国内外先后提出了针对哈达玛矩阵的俄罗斯套娃排序(Russian Doll,RD)⑵、切蛋糕排序(Cake Cutting,CC)⑶、进化压缩感知(Evolutionary Compressed Sensing,ECS)⑷和小波系数排序等排序方法⑸。

采用这些方法排序的哈达玛矩阵相对于未排序的哈达玛矩阵，作为调制的掩膜矩阵在提升成像效率和减少测量次数上的优势明显。

但这些排序方法都是固定准则，在某些条件下成像效果可能较差。

本文提出一种基于训练集数据统计的哈达玛散斑排序方法，在计算重构时使用快速沃尔什哈达玛变换⑹来代替传统运算中矩阵的乘法运算，不仅可以加速训练和重构过程，在分辨率较大时还可以大幅减少存储资源。

2理论和方法
2.1单像素成像理论
单像素成像光路如图1所示，其中数字微镜阵列(Digital Micro-mirror Device,DMD)为核心器件。

激光发出的光经过成像透镜到DMD上后打到成像物体上，反射或者投射的光被单光子探测器接收。

DMD上有数百万个可控制士12。

偏转的微镜，每个微镜的偏转方向由加载到DMD 上的调制矩阵决定，如矩阵元T”对应+12。

方向偏转，矩阵元“一1”对应一12。

方向偏转。

在实际成像过程中，调制矩阵序列不断刷新，对应着光强信号不断变化，将光信号转化成的数字信号并和加载在DMD上的调制矩阵序列经过相关算法计算，即可恢复出重构图像的信息。

G(xy)
图1单像素成像光路
Fig.1Optical path of single pixel imaging
在实际成像过程中，单像素成像常常受制于实时性的要求，因此压缩感知被引入到单像素成像的重构算法当中。

单像素成像的数学模型如下：
y=Ax+e,(1
)
1010
光学 精密工程
第 29 卷
式中：无为1X M 维向量，表示待测物体的二维图
像，而加载到DMD 中调制矩阵序列中的每个调 制矩阵可以变为1 X N 维的向量;M 个调制矩阵 序列构成了一个已知的M X N 的测量矩阵A ；观
测值对应M 个调制矩阵为1 X N 维的向量夕;代
表成像过程中的随机噪声。

从公式(1)中可以看 出，每一个桶探测器信号理论上是每个掩膜和目
标图 像做内 积得到 的 o 图 像重 构 过程可 以 通 过
凸优化的相关算法来求解。

在评价重构图像的质量时，本文采用两项评
价指标：均方根误差(Root Mean Squared Error ,
RMSE )和峰值信噪比(Peak Signal to Noise Ra ­
tio ,PSNR )o PSNR 是一种全参考的图像质量
评价标准，是最大信号功率和噪声功率的比值， 其计算公式为：
PSNR = 10 X log 10
(M MS (E i )] (
2
)
RMSE 计算的是被污染重构图像和原图的
均方根误差，假设I 是原图，K 是重构图片。

RMSE 的计算公式如下：
MSE =N X N
2：1
S N =1
J (i ，) - K (“)「,
表1 TVAL3和FDRI 算法重构效果的比较
Tab. 1 Comparison of reconstruction results of TVAL3
and FDRI
采样 PSNR/dB RMSE 重构时间/s
率/ TVAL3 FDRI TVAL3 FDRI TVAL3 FDRI 1% 18.64 19.31 0.41 0.39 0.24 0.253%
23.21
24. 16 0.315% 24.65
24. 91 0.21
10% 26.34 26.42
0. 1715%
28.64
27.03
0. 15
0. 28 0. 34 0. 390.21
0. 170. 15
0. 45 0. 440. 560. 61
0. 530. 58
RMSE =
MSE
丄工N
工
j
(，)
( 3)
( 4)
其中N 是图像的像素数。

在衡量重构质量时,
PSNR 越大,RMSE 越小，重构图片的质量越好。

单像素成像中使用的重构算法主要有两 种[7-12]:第一种是Li 等于2010年提出的基于增广
拉格朗日和交替方向的TV 最小化方案(TV
用FDRI 算法作为重构算法。

2.2数据驱动的矩阵排序方案
为减少单像素成像过程中所需投射的散斑 数目和重构时间，在压缩感知重构算法下如何利 用图像本身的稀疏性来构造出一组测量基，使成
像物体的重建效果和效率在相同采样率下达到
最优是关键。

在单像素成像中，最常使用的测量 基为Hadamard 矩阵测量基，其各个元素二值和
完备正交测量基的属性使它成为研究的重点。

哈达玛测量基的排序方案主要有切蛋糕排序、俄 罗斯套娃排序和小波系数排序等，其核心在于分
析特定哈达玛矩阵测量基的几何拓扑结构，然后 人工给出确定的排序准则。

这些准则固然能反
应哈达玛矩阵的一些性质，但人工确定的准则存
在一定的误差，且在排序指标相同的情况下无法
进行排序。

因此，本文提出一种数据驱动的哈达 玛测量基排序方案，用测量基中各个矩阵对整个
数据集的采样效果进行评价。

在单像素成像的欠采样成像过程中，选择不
minimization scheme based on Augmented La ­
grangian and alternating direction algorithms ，
TVAL3)；第二种是Czajkowski 等在2018年提出
的傅里 叶正则化方案(Fourier Domain Regular ­
ization ,FDRI ) o 两种算法对lena 图片的重构结
果比较如表1所示。

从表1中可以看出，FDRI 算法的成像效果
在采样率低于15%的情况下和TVAL3算法的
重构效果相当。

而由于FDRI 算法中并没有迭代 运算，其重构时间小于TVAL3算法，因此本文采
采样率 6%
10%
25%
50%
PSNR/dB 23.06
24.17
26.85
30.15
图2不同排序在不同采样率下的成像效果
Fig. 2 Reconstructed images in different orders at different
sampling
rates
第5期赵梓栋，等:基于测量基优化的低采样率单像素成像1011
同部分的桶探测器值参与最后的重构运算对成像效果的影响很大。

如图2所示，在低采样率下自然序和随机序下图像的重构效果极差，而进化压缩感知方法将桶探测器值的绝对值从大到小排序，使用前部分桶探测器值进行重构，其效果明显优于另外两种方法。

由此可知Hadmard矩阵排序的任务是：找到一个和Hadamard矩阵自然序(或者Walsh序)对应的索引，按此索引排序的Hadamard基在实际问题中对一张未知物体采样后的结果可以产生相对较大的桶探测器值，生成质量相对较高的重构图像。

由于事先没有图像信息，无法知道哪些散斑对重构最为重要,因此最基本的想法是对物体全采样后的桶探测器的绝对值进行降序排序，排序后再使用前m张散斑参与重构。

这种方法被称为进化压缩感知，这种Hadamard基的顺序被称为power序。

该方法虽然可以利用较少的测量结果取得质量较高的重构图像，但实质上仍然是全采样，只是减少了重构的运算量，并没有减少测量时间和重构时间。

在此排序方法的基础上，本文提出了基于数据集学习的Hadamard矩阵的排序方法。

其基本步骤如下：在训练之前确定输入图片采样率厂和图片大小p X p。

训练过程中使用CIFAR-10数据集包含的10类，10000张32X32分辨率的图片。

训练的具体步骤如下：对训练集合中的每张图片转成p X p像素的图片。

用自然序哈达玛基对图片进行全采样，得到该图片的桶探测器值序列仇，对％每个元素的绝对值进行降序排序，排序后可得到降序的~，同时可以获得~相对于仇各位置元素改变的序列厶，该序列是｛1,2,•；序列的重新排列。

对数据集的n张图片进行上述操作得到序列厶,,的含义是对第i张图片散斑序列投射的先后顺序。

将每个I作为新矩阵I s et的每
_11_
一行，构成索引矩阵I set=…。

整体流程如图3
-I n-
所示。

数据集
040080012001600
单张图片全采样后的桶探测器值
040080012001600
排序后的桶探测器值
序列向量
〃次测量
序列矩阵
训练的序列向量
13328...
|41|
图3数据驱动获取哈达玛矩阵部分测量序列的流程
Fig.3Pipeline of training order of Hadamard matrix in data driven
3结果与讨论
为验证本文提出的排序方法的有效性，本文进行了仿真实验和实物实验。

在仿真实验中，选用20张测试图片进行测试。

对测试集里每张图片进行1%〜15%极低采样率下的成像，图像尺寸为128X128像素。

实验中，比较的排序规则有4种:(1)哈达玛矩阵自然序(natural)，即按哈达玛矩阵原始构造公式下的顺序；(2)切蛋糕排序(CC),按哈达玛矩阵各测量矩阵连通域个数从小到大进行排序的结果；(3)俄罗斯套娃排序(RD),将整个哈达玛测量基分为4部分，再将第一部分进行递归式的切分,每一部分再按一定规则进行排序；(4)数据驱动训练排序，即本文提出的排序方案。

仿真结果如图4所示，不进行排序的自然序下的哈达玛矩阵的成像效果最差，使用压缩感知
相关算法仍无法实现极低采样率下的单像素成
1012
光学精密工程
第29卷
H P /H N S d
不同顺序及采样率下重构图片的PSNR 和RMSE
4 RSNR and RMSE of different orders and sampling
4
图
rates
像；而在1%〜6%更低的采样率下数据训练的效 果会明显优于另两种人工确定准则的排序方法,
在5%〜15%的采样率下和其他方法的重构结果
相当。

而考虑到训练的图片集合和重构图片像 素并不相同（训练中将训练集图片放大到测试图 片的尺寸），且训练图片和测试集图片完全不相
关，因此该结果仍有提升空间，证明数据驱动的 哈达玛矩阵排序方法在原理上优于人工确定准
则的哈达玛矩阵排序方法。

选用分辨率板作为成像物体，实验成像效果
如图5所示。

在仿真实验的基础上还加了几种排
序方法：（1）哈达玛随机序（random ）：将哈达玛矩 阵每一行随机排列；（2）进化压缩感知（ECS ）：进 行全采样，将桶探测器值从大到小进行排序，再
选取其部分参与重构。

从重构结果中可以看出，ECS 的成像效果最
优，这是由于它采用了全采样和排序的结果；而
自然序和随机序完全无法满足低采样率下的成
像要求，本文提出的数据驱动排序方法和CC 排
序和RD 排序的成像效果相差无几，在成像细节
上效果更优。

ECS
10%15%20%25%30%
Cake cutting
Data driven
Natural
Random
RD
5%
njgg
t
111= 6
111 =III 三 D
C
川三
HIE
O
IIIH
III 三 D
Original image
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Normalized intensity
图5分辨率板在不同顺序及采样率下的成像效果
Fig. 5 Reconstructed images of USAF resolution test chart with different orders and sampling
rates
第5期赵梓栋，等:基于测量基优化的低采样率单像素成像1013
4结论
为解决实时成像中极低采样率下的单像素成像问题，本文提出了基于数据集训练的Had-mard矩阵排序方法，并在理论、数值仿真以及实际成像实验上进行了研究及验证。

结果表明：在1%〜5%的采样率条件下，数据驱动的哈达玛矩
参考文献：
[1]ROMBERG J.Imaging via compressive sampling
[J].IEEE Signal Processing Magazine,2008,25
(2)：14-20.
[2]FERRI F,MAGATTI D,LUGIATO L A,et al.
Differential ghost imaging[J].Physical Review Let­
ters,2010,104(25)：253603.
[3]YU W K.Super sub-nyquist single-pixel imaging by
means of cake-cutting hadamard basis sort[J].Sen­
sors(Basel,Switzerland),2019,19(19)：E4122.
[4]EDGAR M P,GIBSON G M,BOWMAN R W,
et al.Simultaneous real-time visible and infrared vid­
eo with single-pixel detectors[J].Scientific Re­ports,2015,5:10669.
[5]SUN M J,MENG L T,EDGAR M P,et al.A
Russian Dolls ordering of the Hadamard basis for
compressive single-pixel imaging[J].Scientific Re­ports,2017,7(1)：3464.
[6]QI W F,ZHOU J J.Distribution of0and1in the
highest level of primitive sequences over Z/(2C)[J].
Science in China,Ser A,1997,40(6)：606-611. [7]李明飞，阎璐，杨然，等.基于Hadamard矩阵优化
排序的快速单像素成像[J].物理学报，2019,68阵排序方法相较目前常用的RD排序和CC排序成像效果更优。

本文在理论上说明了利用数据学习训练的方法可以在非全采样条件下对实际成像物体产生较大桶探测器值序列，并提出了一种研究单像素成像中最优测量基选取问题的新思路，在非人工确定排序的情况下确定欠采样条件下的散斑序列，具有实际应用价值。

(6)：87-94.
LI M F YAN L YANG R et al.Fast single-pix­
el imaging based on optimized reordering Hadamard
basis[J].Acta Physica Sinica,2019,68(6):87-
94.(in Chinese)
[8]CZAJKOWSKI K M,PASTUSZCZAK A,KO-
TYNSKI R.Real-time single-pixel video imaging
with Fourier domain regularization[J].Optics Ex­press,2018,26(16)：20009-20022.
[9]HAMOOD M T,BOUSSAKTA S.Fast Walsh-
hadamard-Fourier transform algorithm[J].IEEE
Transactions on Signal Processing,2011,59(11):
5627-5631.
[10]AGOSTINELLI F,HOFFMAN M,SADOWS­
KI P,et al.Learning activation functions to im­
prove deep neural networks[J].Computer Sci­
ence,2015:arXiv:1412.6830.
[11]ZHANG Z,WANG X,ZHENG G,et al.Fast
Fourier single-pixel imaging via binary illumination
[J].Scientific Reports,2017,7(1)：12029.
[12]LI CH B.An Efficient Algorithm for Total Varia­
tion Regularization with Applications to the Single
Pixel Camera and Compressive Sensing[D].
Houston:Rice University,2010.
作者简介:
王梓栋(1996-),男，安徽黄山人，硕
士研究生，2014年于航空航天大学获
得学士学位，主要从事鬼成像的研究。

E-mai：*********************通讯作者:
杨照华(1976-),女，黑龙江哈尔滨
人，副教授，博士生导师,1998年.2004
年于哈尔滨工业大学分别获得学士、
博士学位，主要从事光学成像探测及
应用的研究。

E-mail：yangzh@buaa.
edu.
cn。