基于预测和JPEG2000的红外图像无损压缩方法

基于预测和JPEG2000的红外图像无损压缩方法
杨雪;陈凡胜
【摘要】为了解决空间遥感凝视型探测器获取的数据量巨大的问题，研究了红外图像的无损压缩。

经比较，JPEG2000国际标准压缩算法具有较好的压缩性能且有相应的ASIC（Application Specific Integrated Circuit）芯片易于系统实现。

本文对连续的红外图像序列的空间和时间相关性进行了分析，以此为基础提出了一种基于预测和JPEG2000算法相结合的无损压缩方案，并以ASIC和FPGA为平台实现了一个复杂度低、性能高的实时无损压缩系统。

对不同复杂程度的源图像进行的压缩实验表明，该系统能够实现连续红外图像平均无损压缩比4.516，与
JPEG2000标准算法相比，无损压缩比提高了59%以上。

%Among the various IR image compression methods, the standard compression algorithm JPEG2000 has better compression effect. A new compression scheme based on prediction and JPEG2000 is presented by analyzing the correlation of continuous IR image sequences. A low-complexity, high-performance, real-time compression system is realized based on FPGA and ASIC. The experimental results show that the average lossless compression ratio of continuous IR image sequences is 4.516, which is improved by more than 59% compared with JPEG2000.
【期刊名称】《红外技术》
【年(卷),期】2016(038)002
【总页数】6页(P144-148,156)
【关键词】红外图像;空间相关性;时间相关性;线性预测;JPEG2000;无损压缩
【作者】杨雪;陈凡胜
【作者单位】中国科学院上海技术物理研究所，上海 200083;中国科学院上海技
术物理研究所，上海 200083
【正文语种】中文
【中图分类】TN216;V443+.1
非制冷红外焦平面阵列（IRFPA）是红外探测系统获取红外图像信息的核心光电器件，随着应用领域的扩大以及半导体工艺的提升，IRFPA正朝着大阵列规模、高
转换精度、高帧频探测的方向发展[1]。

这些发展都带来了同一个问题——探测产
生的数据量急剧增长。

由于卫星存储容量和传输带宽有限，红外图像压缩技术成为红外探测应用中的关键技术。

在空间红外弱小目标探测应用中，要求传输过程中完全保留图像信息以免损失的信息对后续目标检测和图像处理造成影响，所以需要进行无损压缩。

基本的图像无损压缩方法有3种：去除图像统计冗余的熵编码算法、去除像素间
冗余信息的预测压缩算法和去除图像全局相关性的变换编码算法。

第一代图像编码方法是基于Shannon信息论的熵编码，代表方法包括Huffman编码、算术编码、Lempel-Ziv字典编码等，这类方法压缩效率有限，压缩比普遍不高；随后，人们认识到图像像素之间有一定相关性，可以通过预测的方法去除信息冗余，提出了以差分脉码调制（DPCM）为代表的各种预测编码方法，静态图像无损压缩新标准JPEG-LS[2]就是采用基于上下文预测编码的思想，这类方法硬件实现容易，压缩
比相对较高，但适用范围较窄；20世纪90年代，小波变换被用于图像编码领域，它通过将图像信号分解成不同空间分辨率、不同频率特征和方向特征的子图像，有
效地去除了图像的全局相关性[3]。

1996年，Sweldens提出的小波提升方案，实现从整数到整数的小波变换[4]，被目前公认的具有最好压缩性能的JPEG2000[5]
标准算法纳入到核心无损压缩框架中，这类方法的压缩比相对最高，算法相对复杂。

还有一些新型压缩算法，例如基于矢量量化[6]、分形理论[7]以及人工神经网络理
论[8]等压缩方法，复杂度太高，很少用于红外图像压缩。

为了深入认识连续红外图像[9]的相关性，本文用高德红外相机在外滩对着江面上
缓慢行驶的游轮进行拍摄，对其中45帧连续的图像进行了分析。

图像尺寸为
256×320，采样精度为14bit，用16bit存储，原图像大小为160KB。

下面我们
来看看它的相关性。

空间相关性是指图像内某像素与相邻像素间的相似性，用自相关系数来衡量，定义式为：
式中：(1, k)为图像像素水平垂直方向的间距；f(x,y)是图像灰度函数；(x,y)为空间坐标；M、N为图像尺寸；Uf为图像灰度的平均值，即：
取不同的l、k值的组合，得到不同空间位置像素之间的相关性大小C(l, k)。

对45幅连续的红外图像，分别计算l＝0、k＝1（左右相邻）、k＝0、l＝1（上下相邻）和l＝k＝1（45°角）的自相关系数以及l＝k＝1, 2, 4（相同方向不同间距）的自
相关系数，结果分别如图1所示。

由图1(a)可知，相邻像素相关性较高，都在0.9以上，左右相邻的像素的相关性最高，这是由于我们的探测器在垂直方向上有比较大的非均匀性。

由图1(b)可知，
随着像素之间距离变大，自相关系数快速减小。

由此可知，红外图像具有较强的空间相关性，其中左右相邻的像素之间的相关性最大，像素间的间距越大，相关性越小。

连续的帧序列像素间的相关性（也称时间相关性）是指两帧图像在同一空间位置上的像素间的相似性，用互相关系数来衡量，定义式为：
式中：fi(x,y)，fj(x,y)分别代表两帧红外图像；Ui，Uj分别为图像i和图像j灰度的平均值。

不同的cij，表示不同间距的两幅红外图像之间的相关性大小。

对45幅连续的红外图像，分别计算＝1, 2, 4, 8（不同帧间距的序列）的互相关性系数，结果如图2所示。

由图2可知，随着图像间距的增大，互相关系数有较小的降低，均
保持在0.9以上，说明连续的红外图像序列有极强的时间相关性。

用同样的思路，我们对缓慢进站的列车、天空中缓慢移动的云以及楼顶飞过的飞机等连续红外图像做了相关性分析。

得到统一的结论：单帧图像具有较强的空间相关性，其中左右相邻的像素之间的相关性最强；连续帧序列具有极强的时间相关性，互相关系数都在0.9以上。

经比较分析，同时综合考虑实际应用的需求，本设计采用西安电子科技大学开发的一款高速图像压缩ASIC芯片（雅芯天图）与Xilinx公司的VIRTEX-5系列的FPGA来实现图像压缩系统。

系统框图如图3所示。

数据采集板对相机拍摄的图像按照一定的格式打包并通过LVDS接口送到转接板，在转接板中将数据解包缓存于SDRAM中，对要压缩的图像进行预测去相关并将
预测残差转化成压缩芯片要求的数据格式，通过LVDS接口（LVDS25电平，最高传输速率达200MHz）送到压缩板经雅芯天图芯片压缩，压缩码流经LVDS接口
送回转接板再通过RS422串口送到PC机通过解压缩软件解压重构图像，同时PC 机还可以通过USB对压缩芯片进行配置。

预测器去相关的基本思想是建立在图像具有一定相关性的基础之上，选择相关像素对当前像素进行预测，然后用真实值减去预测值得到数据量较小的预测残差可以实现压缩。

预测器的性能越好，预测值越接近真实值，预测残差就越小，压缩效果也越好。

无损压缩中，预测编码是去除图像相关性的重要手段，常用的预测器主要有线性预测器和非线性预测器两种。

非线性预测器可以将图像分成小块，根据邻域像素模板的平坦程度设计不同的预测函数，因而其预测效果比线性预测器好，但算法
复杂度也相对较高。

本系统可以通过对转接板上的FPGA编程来设计预测器，对
图像进行预测去相关。

项目要求压缩系统的整体算法复杂度低，因此我们选用线性预测器。

考虑到系统的普适性，并结合前面对图像相关性的分析，针对图像的空间相关性和时间相关性，我们设计了两个简单的预测器。

对于第一帧参考图像，我们进行帧内预测。

由于图像左右相邻的像素之间相关性最大，以第一列为参考，之后每一个像素用它左边的像素来预测。

图像的帧间预测最简单的方法是直接用当前帧的像素灰度值减去前一帧图像的灰度值，即选择前一帧图像对应位置的灰度值作为当前处理帧的预测值，该方法也称为帧间差分编码。

本项目的红外弱小目标图像中，目标的运动量很小并且空间细节少，所以帧间差分编码的效率很高。

因此对于相邻帧的图像，我们以第一帧为参考，之后每一帧图像的像灰度值直接用前一帧同一空间位置上的灰度值来预测。

用实际图像的灰度值减去预测值得到预测误差。

对以上预测误差进行了分布统计，如图4所示，图4(a)是帧内预测误差分布情况，图4(b)是帧间预测误差分布情况。

可以看出，预测误差以0为中心对称分布。

原图像的灰度值范围是（3, 2155），帧内预测误差的绝对值范围是（0, 659），帧间预测误差的绝对值范围是（0, 189），灰度值的动态范围大大降低。

由于我们的专用压缩芯片只支持无符号数输入，所以对得到的误差值需要将负数映射为正数，我们对预测残差进行直流平移，即将误差值整体加上一个值，使最小值变为0。

雅芯天图是西电面向航天遥感应用开发的一款基于JPEG2000国际标准压缩算法
的专用压缩芯片，主要功能是完成高速图像数据的实时压缩编码处理。

它支持四级9/7或5/3小波变换，支持的图像像素位深为8～16bit，支持从无损到有损任意
码率的压缩。

相比于ADI公司的具有较好性能的图像压缩芯片ADV212，该芯片
的数据处理能力（120MSPS）提高了近两倍（ADV212最高数据处理能力为
65MSPS[10]）。

图5为雅芯天图芯片的接口关系，通过配置接口，将芯片工作所需各个参数传输给芯片内部的压缩模块，实现图像的压缩。

JPEG2000作为新一代静止图像压缩标准，2000年，由国际标准化组织（ISO）和国家电信联盟（ITU）正式出台。

其杰出的图像编码性能和众多吸引人的特性使其被广泛应用于移动通信，医学图像，卫星遥感等多个领域。

图6为JPEG2000编码的基本结构。

编码器假定输入数据有一个标准的动态范围，并且以零为中心，预处理过程就是让这个假设能够实现。

预处理主要是将源图像划分为较小的矩形区域，称为拼接块，作为独立的图像用于压缩。

目的是为了降低压缩过程所需的内存资源。

降低量级可以使样本的动态范围基本关于零对称，使在进行离散小波变换后的系数的动态范围不会过大，有利于编码[11]。

比如一个像素位深为N的无符号灰度图像，其输出动态范围是[0, 2N－1]，如果将每一个像素值减去2N－1，就能得到动态范围以零为中心的标准动态范围。

对每个拼接块做离散小波变换，变换的目的是去除图像的全局相关性，有利于后面的编码从而大幅提高压缩效率。

为了实现无损压缩，小波变换选用可逆的整数-整数的5/3变换。

变换后的系数不能进行量化，所以无损模式没有量化操作。

为了对小波变换后的系数进行编码，这里采用优化截断嵌入块编码（EBCOT）[12]。

第一级编码按照位平面编码的次序经过三个通道进行基于上下文的自适应二进制算术编码。

第二级编码即分层打包形成码流，压缩后的码流结构和JPEG标准大体上一致。

为了说明本方案的压缩效果，我们对不同复杂度的连续红外图像采用直接通过专用压缩芯片压缩和基于预测和JPEG2000相结合的方法压缩，比较压缩效果如表1所示。

从表1可知，对于不同复杂度的红外图像，本文提出的压缩方案均比直接用JPEG2000算法的压缩比高，压缩比最高可达7.2094。

相比于单纯用
JPEG2000压缩算法，本方案能有效提高压缩比59%倍以上。

通过线性预测有效去除了图像像素之间的相关性，对获得的残差图像进行
JPEG2000压缩，压缩效果得到了很大的提高。

对于实际红外图像序列，选择第一帧图像为参考图像进行帧内预测，其后每一帧以前一帧为参考进行帧间预测。

为了控制压缩的出错率，将每15帧图像作为一组，即第16帧图像作为新的第一帧参
考图像重复上述预测，如此循环，可以实现较好的压缩效果，满足实际工程的应用要求。

为了方便后续对原图像进行处理和分析，我们需要对采集的压缩码流进行解压缩。

本系统是在PC机上用与雅芯天图压缩芯片配套的解压缩软件来实现图像的解压缩。

解压缩是压缩的逆过程，如图7所示。

本实验是将压缩码流传送到PC机端，用与专用高速图像压缩芯片配套的解压缩软件对码流进行解压缩，得到解码后的残差图像来重构原图像。

由于残差图像进行平移处理之后才进行JPEG2000压缩，所以解码出来的残差图像要减去一个平移量。

这个平移量我们会通过转接板送到PC端。

由于专用高速压缩芯片支持有损，无损和直通三种压缩模式。

为了实现逆预测，我们需要将第一帧参考图像的第一列像素值通过直通模式发送到解压端，结合第一帧残差图像我们可以还原第一帧参考图像，再通过其他残差图像可以依次重构其他的图像。

理论上，无损压缩是完全无失真的压缩，重构图像应该跟原始图像完全一样。

为了准确验证重构效果，以原始图像和重构图像之间的均方误差（MSE）作为评价指标。

MSE的定义式如下：
分别计算每一帧重构图像和原始图像间均方误差，结果都为0，说明该系统实现的压缩过程确实是无损压缩。

红外图像压缩是红外探测应用中的关键技术。

为满足项目对压缩系统小体积、高性能、低复杂度的要求，提出用FPGA＋ASIC作为硬件平台来搭建无损压缩系统，
在兼顾系统低复杂度的情况下采用集成了性能较好的JPEG2000算法的高速图像
压缩芯片，为提高系统压缩性能提供了基础。

针对红外图像序列有很强相关性的特点，提出了基于预测和JPEG2000相结合的无损压缩方案，并在硬件平台上取得
了较好的压缩效果。

实验结果表明：与JPEG2000压缩方法相比，本文提出的基
于预测和JPEG2000相结合的红外图像无损压缩方法利用简单的线性预测去除红
外图像的空间和时间相关性，使压缩比提高了59%以上。

在其他红外探测应用中，根据获取的红外图像的相关性特性，可以设计相对复杂、更有针对性的预测器对图像进行预测去相关，这样可以取得更好的压缩效果。

【相关文献】
[1] BLACK S H, SESSLER T, GORDON E, et al. Un-cooled detector development at Raytheon[C]//Proc. of SPIE on Defense, Security, and Sensing, 2011, 8012: 80121A-
80121A-12.
[2] GERA Y, WANG Z, SIMON S, et al. Fast and context-free lossless image compression algorithm based on JPEG-LS[C]// Data Compression Conference (DCC), Proc. of IEEE, 2012: 396-396.
[3] 孙韶杰. 基于EBCOT的图像压缩系统及感兴趣区域编码技术的研究与实现[D]. 长沙: 国防科学
技术大学, 2006.
SUN Shao-jin. The Research and Implementation of Image Compression System based on EBCOT and ROI Coding Technology [D]. Changsha: National University of Defense Technology, 2006.
[4] SWELDENS W. The lifting scheme: a construction of second generation wavelets[J]. SIAM Journal on Mathematical Analysis, 1998, 29(2): 511-546.
[5] TAUBMAN D, MARCELLIN M. JPEG2000 Image Compression Fundamentals, Standards and Practice: Image Compression Fundamentals, Standards and Practice[M]. Springer Science & Business Media, 2012.
[6] 喻言. 基于块自适应残差矢量量化的SAR图像压缩[J]. 系统仿真学报, 2014(8): 029.
YU Yan, SAR Image compression based on block adaptive residual vector quantization[J]. Journal of System Simulation, 2014(8): 029.
[7] 郭蕾, 李东辉, 缪志甫. 结合压缩感知理论的快速分形编码[J]. 计算机工程与设计, 2012, 33(9): 3494-3497.
GUO Lei, LI Dong-hui, LIAO Zhi-pu. Fractal coding combine with compress sensing [J]. Computer Engineering and Design, 2012, 33(9): 3494-3497.
[8] 武妍, 万伟. 基于遗传算法设计和训练人工神经网络的方法[J]. 红外与毫米波学报, 2007, 26(1): 65-68.
WU Yan, WAN Wei, Method on design and training of artificial neural network based on genetic algorithm[J]. Journal of Infrared and Millimeter Waves, 2007, 26(1): 65-68.
[9] 周强, 白廷柱, 刘明奇, 等. 基于可见光图像的近红外场景仿真[J].红外技术, 2015, 37(1): 11-15. ZHOU Qiang, BAI Ting-zhu, LIU Ming-qi, et al. Near infrared scene simulation based on visual image[J]. Infrared Technology, 2015, 37(1): 11-15.
[10] FAN X, HU B, LI Z, et al. Real-time compression system research based on DMD hadamard transform spectrometer[J]. Procedia Engineering, 2010, 7: 297-303.
[11] 高勇, 尹琦, 李存华. JPEG2000 编码方案和结构划分研究[J]. 计算机与信息技术, 2007, 12: 16. GAO Yong, YIN Qi, LI Cun-hua, Study of JPEG2000 coding scheme and structure division[J]. Computer and Information Technology, 2007, 12: 16.
[12] LIAN C J, CHEN K F, CHEN H H, et al. Analysis and architecture design of block-coding engine for EBCOT in JPEG 2000[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2003, 13(3): 219-230.。