基于帧间相关性的自适应采样率分块视频压缩感知

doi :10.3969/j.issn.1001-893x.2015.04.002引用格式:左觅文,常侃,施静兰,等.基于帧间相关性的自适应采样率分块视频压缩感知[J].电讯技术,2015,55(4):360-365.[ZUO Miwen,CHANG Kan,SHI Jinglan,et al.Adaptive Rate Block Compressive Video Sensing Based on Inter-frame Correlation[J].TelecommunicationEngineering,2015,55(4):360-365.]基于帧间相关性的自适应采样率分块视频压缩感知*左觅文,常　侃**,施静兰,覃团发(广西大学计算机与电子信息学院,南宁530004)摘　要:针对现有基于自适应采样率的分块视频压缩感知方案的单帧总采样率不可控的问题,提出了一种新的自适应采样率分配方案㊂首先,对当前帧图像块进行固定预采样;然后,根据预采样的测量值来估计图像块的变化程度,并计算该图像块与当前帧图像的复杂度比例;接下来,根据复杂度比例分配图像块自适应采样率,并将固定预采样及自适应采样的测量值合并为最终测量值㊂实验结果表明,与固定采样率算法相比,提出的方案在相同采样率下可获得1dB 左右的峰值信噪比增益㊂所提方案可获得高质量的重构图像,且总采样率可控,因此增强了自适应采样分块视频压缩感知方案的有效性和实用性㊂关键词:视频压缩感知;自适应采样率;帧间相关性中图分类号:TN919.8 文献标志码:A 文章编号:1001-893X (2015)04-0360-06Adaptive Rate Block Compressive Video Sensing Basedon Inter -frame CorrelationZUO Miwen,CHANG Kan,SHI Jinglan,QIN Tuanfa(School of Computer and Electronic Information,Guangxi University,Nanning 530004,China)Abstract :The existing adaptive block compressive video sensing(CVS)schemes can not adaptively allocate sampling rate for each image block under a given target sampling rate for the whole frame.Therefore,a new adaptive sampling scheme is proposed.Firstly,a fixed part of sampling rate is allocated to every block in a frame.Secondly,the variation of a block is estimated according to the pre-sampled measurements,and the complexity ratio of this block is also calculated.Afterwards,the adaptive part of sampling rate is allocated according to the complexity ratio of a block,and the final measurements are formed by combining the fixed part and the adaptive part of measurements.Experimental result shows that compared with non -adaptive scheme,the proposed method can get about 1dB peak signal to noise ratio(PSNR)increment.Since the proposed method can achieve high quality of reconstructed images under any given target sampling rates,it increases the effectiveness and the practicality of the adaptive rate-based block CVS schemes.Key words :compressive video sensing (CVS);adaptive sampling rate;inter-frame correlation1　引　言由Candès 和Donoho 等人提出的压缩感知(Compressive Sensing,CS)理论[1]突破了香农(Shan⁃non)采样定理的瓶颈㊂该理论可用远低于奈奎斯特采样定理要求的速率采样信号,并且又能完美恢复信号[2]㊂压缩感知理论被提出后在信号获取㊁遥感成像㊁超分辨率㊁图像复原㊁人脸识别㊁医学图像处理等许多领域得到了应用并受到了广泛的关注㊂㊃063㊃第55卷第4期2015年4月电讯技术Telecommunication EngineeringVol.55,No.4April,2015***收稿日期:2014-10-13;修回日期:2015-04-08 Received date :2014-10-13;Revised date :2015-04-08基金项目:国家自然科学基金资助项目(61261023,61401108);广西自然科学基金资助项目(2013GXNSFBA019272);广西教育厅科学研究项目(201203YB001)Foundation Item :The National Natural Science Foundation of China (No.61401108);The Natural Science Foundation of Guangxi (2013GXNSFBA019272);The Foundation of Education Commission of Guangxi (2013YB001)通讯作者:pandack0619@ Corresponding author :pandack0619@近年来,视频压缩感知(Compressive Video Sensing,CVS)技术的出现,使得低复杂度视频信号获取成为可能㊂同时,一些较为实用的方案,例如分块压缩感知[3]㊁残差重构方案[4-5]等,则有效地推进了CVS 技术的应用进程㊂CVS 方案主要分为视频信号压缩感知测量和视频信号重构两部分㊂一般测量过程运算量较低,而重构过程则需要迭代求解复杂度相对较高的最优化问题㊂为了获得更高的重构质量,许多学者都致力于重构算法的研究,许多的重构算法被提出,常见的有迭代阈值法㊁贪婪算法㊁凸优化算法等㊂然而,在测量过程中能否合理地分配采样率也会影响到重构质量㊂基于此,自适应采样率视频压缩感知系统被提出,目前国内外已有学者提出了不同的自适应采样率方案,例如Garrett War⁃nell [6]提出的自适应采样率方案将图像分为前景和背景,根据关注度的不同分配不同的采样率,但是这种方案牺牲背景的重构质量,对整个视频重构质量的提高没有起到太大的作用㊂武明虎等[7]提出的自适应方案根据视频信号本身的局部稀疏度和远程稀疏度自适应分配采样率,但是该算法重构得到的质量不是很理想㊂基于帧间相关性,练秋生等[8]提出了新的自适应采样率方案,通过阈值将视频图像分为三种不同的块:近似变化块㊁缓慢变化块㊁快速变化块,并给它们分配不同的采样率㊂此方案在提高了图像重构质量的同时并未明显增加算法复杂度,算法有效性有了明显的提升㊂但是,该方案的阈值不能根据序列自适应调整,在一定程度上影响了算法的性能㊂我们在文献[8]的基础上,通过综合应用序列内的空间㊁时间相关性,实现了不同种类图像块的自适应分类[9]㊂但是,上述所有自适应采样方案,均无法在给定的目标采样率下实现各图像块的自适应采样率分配,也即总采样率不可控㊂因此,在实际传输带宽受限的情况下上述变采样率方案是不实用的㊂为了进一步提升变采样率方案的实用性,本文提出了一种基于帧间相关性的自适应采样率分配方案,将图像块采样分为固定预采样部分与基于图像块复杂度比列的自适应采样部分,能够在给定总采样率的条件下实现各图像块的采样率自适应分配,以适应各类实际传输环境㊂2　自适应采样率分配视频压缩感知方案2.1　算法总体框架为实现总采样率可控,本文提出一种基于帧间相关性的两级自适应CVS 框架,如图1所示㊂该框架中,对参考帧采用固定采样率测量,对非参考帧采用变采样率测量㊂对于某给定非参考帧,总的测量值包括固定采样率测量值以及自适应采样率测量值㊂假设非参考帧图像块的平均采样率为S ,则有S =F +A ,其中F 为固定采样率,A 为平均自适应采样率㊂图1　基于帧间相关性的自适应采样率分块视频压缩感知方案Fig.1Adaptive rate block compressive video sensing scheme based on inter-frame correlation 在固定预采样阶段,每个图像块的采样率均固定为F ,并根据固定测量值与参考帧对应测量值的残差能量来估计图像块的变化程度㊂在自适应采样阶段,通过计算图像块占整帧图像的复杂度比值来分配自适应采样率㊂如果第t +1帧的第i 个图像块x i t +1的变化程度所占比值较小,则分配的采样率A i <A ;反之,A i >A ㊂2.2　参考帧的测量本文采用块采样模式[3],将参考帧分为N 个大小为B ×B 的不重叠图像块㊂并对各个图像块用相同的测量矩阵ΦB 单独采样㊂对于第i 个图像块x i t ,其测量向量可以表示为y i t =ΦB x i t ,其中ΦB ∈R m ×n (m㊃163㊃第55卷左觅文,常侃,施静兰,等:基于帧间相关性的自适应采样率分块视频压缩感知第4期<<n,n=B2),x i t∈R n×1,y i t∈R m×1㊂则整个参考帧的测量向量可以表示为Y t=ΦB X t㊂(1)式中,X t∈R n×N㊁Y t∈R m×N的每一列向量分别代表各个块的像素向量和测量向量,m/n是采样率㊂参考帧将用于后续非参考帧的估计,因此其重建质量影响着整个视频序列的有效重建㊂在提出方案中,对参考帧采用固定高采样率进行测量,以保证其重建质量㊂2.3　非参考帧的自适应测量2.3.1　衡量图像块的变化程度若时域相邻图像块变化较快,则可断定其复杂度较高,因此需为其分配相对较多的测量值㊂一般可采用第t+1帧的第i个图像块x i t+1与第t帧的第i个图像块x i t间的残差能量判断图像块的变化:E(x i t,x i t+1)=‖x i t-x i t+1‖22㊂(2)但是在实际的视频压缩感知系统中,仅已知视频像素的测量值而未知原始的视频像素值,因此不能采用公式(2)来判断帧间相关性大小㊂借鉴文献[8]的方案,采用前后帧相同位置图像块的测量值的残差能量大小来判断图像块的变化程度:E(y i t,y i t+1)=‖y i t-y i t+1‖22㊂(3) 2.3.2　图像块采样率的自适应分配在固定预采样阶段,给各图像块分配固定采样率F来获得预测量值㊂固定采样率不仅能确保最低视频帧重构质量,还可以用于估计图像块的变化程度㊂自适应采样率分配如下:A i=W i×N×A㊂(4)式中,A i是分给图像块x i t+1的采样率;W i是标准的分配比例系数,根据图像块的变化程度确定㊂当图像块的变化程度比较小时,为其分配相对低的采样率;反之则为其分配相对高的采样率㊂非参考帧的重构质量不仅跟测量值的多少成正比,而且还受到它与参考帧之间差别的影响㊂基于此考虑,本文提出如下公式来计算W i的值:W i=E(y i t,y i t+1)∑N j=1E(y j t,y j t+1)㊂(5)通过公式(4)和公式(5)可以达到两个作用:第一,相同帧内的每个图像块的复杂度得以衡量,并根据复杂度比例实现采样率的自适应分配;第二,由于∑N i=1W i=1,为当前帧的图像块分配的总采样率固定为N×(A+F),也即单帧图像总采样率可控㊂2.3.3　总测量向量的生成本文设定固定采样率和自适应采样率如下:F=C×S,(6)A=(1-C)×S㊂(7)式中,C是分割参数㊂为了确保固定采样部分的测量值能够真实地反应非参考帧与参考帧的差异,C 值不应该设定过小㊂当整个采样率S较大时,可将参数C设置小值;反之,应将参数C设置大值以保证最基本的重构质量㊂自适应测量矩阵是根据各个图像块的采样率得到的,设定随机测量矩阵为Φ=[φΤ1,φΤ2, ,φΤn]Τ,φΤi∈R n×1是图像块x i t+1的测量向量,n表示x i t+1中的像素数㊂在本文的框架中,所有对应的测量矩阵的行都是从矩阵Φ中提取㊂固定预采样矩阵为ΦF i= [φΤ1,φΤ2, ,φΤm]Τ,m=「n×F⌉,自适应采样矩阵为ΦAi=[φΤm+1,φΤm+2, ,φΤm+m i]Τ,m i=「n×A i⌉㊂所以,最终图像块x i t+1的总测量矩阵为Φi=ΦF iΦéëêêùûúúAi=[φΤ1, ,φΤm,φΤm+1, ,φΤm+m i]Τ㊂(8)综上所述,图像块x i t+1的最终测量值由固定预采样率测量值与自适应采样率测量值合并得到: y i t+1=[y iF t+1,y iA t+1]=[φ1x i t+1, ,φm x i t+1,φm+1x i t+1, ,φm+m i x i t+1]㊂(9)可以发现,固定预采样率测量值是最终测量值中的一部分,并且这部分测量值用于重构图像,这样可以避免造成测量值的浪费,同时也降低了整个系统的计算复杂度㊂3　视频压缩感知实施流程在发送端,对单个非参考帧的自适应采样流程如图2所示㊂图2　非参考帧的自适应采样流程Fig.2Adaptive sampling algorithm for non-reference frames㊃263㊃电讯技术 2015年流程具体描述如下:步骤1:将图像分成N个B×B大小的图像块,并且令i=1;步骤2:对第i块图像块进行固定预采样率F采样;步骤3:根据公式(3)计算测量值的残差能量作为判断该块的变化程度的依据;步骤4:根据公式(4)和公式(5)来分配自适应部分的采样率A i;步骤5:合并固定预采样率部分y iF t+1的测量值与自适应采样率部分y iA t+1的测量值作为此块的最终测量值;步骤6:如果i≥N则结束整个压缩采样过程;否则,令i=i+1,重新执行步骤2㊂在接收端,对参考帧各图像块进行直接重构,对非参考帧中各图像块采用多假设预测重构算法[5]进行重构㊂4摇实验结果我们对CIF格式的container㊁news㊁flower㊁city㊁football㊁bus这6组标准视频序列进行仿真实验㊂对于每一组序列,分块的大小B为8,参考帧的采样率为0.5,非参考帧的采样率S取值0.1㊁0.2㊁0.3㊁0.4㊁0.5,阈值C为0.5,残差重构采用离散小波域(Discrete Wavelet Transform,DWT)下基于块的SPL 方法(Block-Based CS with Smoothed PL Reconstruc⁃tion,BCS_SPL)[10]㊂将本文算法简称为ASIFC(Adaptive Sampling based on Inter-Frame Correlation),图3展示了ASIFC针对6个测试序列在5个采样率下非参考帧重建图像的平均峰值信噪比(Peak Signal to Noise Ratio,PSNR),作为比较基准,在图中也同时列出了文献[5]提出的多假设预测固定采样率(简称MH-SPL)的性能㊂从图中可知,与固定采样率MH-SPL 相比,本文方案加入了帧间相关性,根据图像块不同的变化程度合理分配采样率,在相同采样率下获得比MH-SPL更高的PSNR㊂(a)container (b)news(c)flower (d)city(e)football(f)bus图3　非参考帧重构质量比较Fig.3Reconstruction quality comparison for non-reference frames㊃363㊃第55卷左觅文,常侃,施静兰,等:基于帧间相关性的自适应采样率分块视频压缩感知第4期 图4为container 序列部分主观质量重构效果图,可以看到本文方案中该序列主要运动的船体部分重构质量明显提高,船体边缘的块效应明显降低㊂从图5中我们可以看到本文方案ASIFC 有效提高了news 序列的主要运动区域的重构质量㊂可见本文方案根据图像块的变化程度来分配采样率的方案是有效的,能够在一定程度上抑制块效应的产生,提高视频的重构质量㊂图4　0.1采样率下 container”序列重构结果Fig.4Partial reconstruction results of sequence container”at 0.1samplingrate图5　0.2采样率下 news”序列重构结果Fig.5Partial reconstruction results of sequencenews”at 0.2sampling rate为了进一步验证提出的自适应方案的性能,本文还与文献[8]提出的方案VS-MHFP1作比较㊂其中本文方案ASIFC 与VS-MHFP1中的各个参数与前述实验参数设置保持一致㊂此外,VS-MHFP1的5个阈值参数按照文献[8]设定为l 1=0.003㊁l 2=0.15,S 1=0.05㊁S 2=0.2㊁S 3=0.5,其中l 1㊁l 2为判定非参考帧图像块的阈值,小于l 1的图像块为近似不变块,大于l 2的图像块为快速变化块,介于l 1与l 2之间的图像块为缓慢变化块,S 1㊁S 2㊁S 3分别为近似不变块㊁缓慢变化块㊁快速变化块的采样率㊂表1为两种方案下非参考帧重构质量对比㊂从表1中可以观察到:(1)本文方案ASIFC 中,变化比较缓慢的序列container㊁news㊁flower 的重构质量差于VS-MHFP1,原因在于,VS-MHFP1方案不考虑总采样率是否可控,针对不同序列,由VS-MHFP1算法生成的总采样率差异很大(例如container 和bus);但是,带来的好处是,给予各图像块自适应分配采样率的自由度较高㊂相比之下,本文算法虽无需事先设定多个阈值,但是各帧采样率可控,且为了保证最低重建质量而设置了固定采样率部分,因此在一定程度上限制了各图像块分配采样率的自由度㊂特别是在测试变换缓慢的序列时,由于固定采样率部分的存在,使得自适应部分的可调整空间较为有限;(2)针对变化比较快的序列city㊁football㊁bus,本文方案的重构质量相对VS-MHFP1有0.5dB 左右的峰值信噪比增益,原因在于,VS -MHFP1根据阈值强制性地将图像块分为近似不变块㊁缓慢变化块㊁快速变化块3类,并分配不同的采样率㊂由于阈值不能根据序列特性自适应分配,在本实验给定的阈值下,VS-MHFP1方案对city㊁football㊁bus 序列的采样率分配不够合理㊂另一方面,本文算法的固定采样率部分保证了各图像块的最低重构质量,且各图像块的复杂度计算自适应进行,无需通过阈值判定,因此获得了更好的重建质量㊂表1　非参考帧重构PSNR 比较Table 1Reconstruction PSNR comparison fornon-reference frames 测试序列采样率PSNR /dBVS-MHFP1ASIFC container 0.0728.1727.29news 0.1428.1428.11flower 0.1923.8323.18city 0.2529.1229.63football0.2526.9627.14bus0.3826.2426.685摇结束语本文提出了一种基于帧间相关性的自适应采样率分块视频压缩感知方案,通过帧间相关性的大小自适应分配图像块的采样率㊂根据实验结果可知,本文提出的方案能够获得比现有固定采样率方案MH-SPL 更高的重构质量,而跟现有的自适应采样率方案VS-MHFP1相比,虽然在较低的单帧总采样率下,重构质量会受到视频图像块的自适应采样自由度的影响而降低,但是在较高的单帧总采样率下能够提高视频的重构质量㊂另外,本文方案解决了现有自适应采样率方案中总采样率不可控这一问题,在算法实用性上强于已有的其他算法㊂下一步工作的重点将研究视频压缩感知重构方案㊂参考文献:[1]　Candes E,Rober J,Tao T.Roubust uncertainty principles:exact signalreconstru -ction from highly incomplete fre⁃㊃463㊃ 电讯技术 2015年quencyinformation[J].IEEE Transactions on InformationTheory,2006,52(2):489-509.[2]　石光明,刘丹华,高大化,等.压缩感知理论及其研究进展[J].电子学报,2009,37(5):1070-1081.SHI Guangming,LIU Dahua,GAO Dahua,et al,Advances inTheory and Application of Compressed Sensing[J].ActaElectronica Sinica,2009,37(5):1070-1081.(in Chinese) [3]　Gan L.Block compressed sensing of natural images[C]//Proceedings of the15th International Conference on Digit⁃al Signal Processing.Cardiff,UK:IEEE,2007:403-406.[4]　常侃,覃团发,唐振华.基于多重假设的视频压缩感知分层重建[J].数据采集与处理,2013,28(6):732-738.CHANG Kan,QIN Tuanfa,TANG Zhenhua.Multi-hy⁃pothesis Based Hierarchical Reconstruction for Com⁃pressed Video Sensing[J].Journal of Data Acquisitionand Processing,2013,28(6):732-738.(in Chinese) [5]　Tramel E W,Fowler J E.Video compressed sensing withmultihypothesis[C]//Proceedings of the IEEE Data Com⁃pressionConference.Snowbird,UT:IEEE,2011:193-202.[6]　Warnell G,Reddy D,Chellappa R.Adaptive rate com⁃pressive sensing for ba-ckground subtraction[C]//Pro⁃ceedings of2012IEEE International Conference on A⁃coustics,Speech,and Signal Processing.Kyoto:IEEE,2012:1477-1480.[7]　武明虎,朱秀昌.自适应采样率分配的分布式压缩感知视频编码[J].南京邮电大学学报,2013,33(1):62-67.WU Minghu,ZHU Xiuchang.Dynamic Measurement RateAllocation for Distributed Compressive Video Sensing[J].Journal of Nanjing University of Posts and Telecom⁃munications,2013,33(1):62-67.(in Chinese) [8]　练秋生,田天,陈书贞,等.基于变采样率的多假设预测分块视频压缩感知[J].电子与信息学报,2013,35(1):203-208.LIAN Qiusheng,TIAN Tian,CHEN Shuzhen,et al.BlockCompressed Sensing of Video Based on Variable SamplingRates and Multihypothesis Predictions[J].Journal of E⁃lectronics&Information Technology,2013,35(1):203-208.(in Chinese)[9]　左觅文,常侃,施静兰,等.基于空时相关性的变采样率分块视频压缩感知[J].电讯技术,2013,53(11):1489-1493.ZUO Miwen,CHANG Kan,SHI Jinglan,et al.Adaptiveblock compressive video sensing scheme based on spatial-temporal correlation[J].Telecommunication Engineering,2013,53(11):1489-1493.(in Chinese)[10]　Mun S,Fowler J E.Block compressedsensing of imagesusing directional tra-nsforms[C]//Proceedings of2009International Conference on Image Processing.Cairo,E⁃gypt:IEEE,2009:3021-3024.作者简介:左觅文(1991 ),女,湖北孝感人,广西大学硕士研究生,主要研究方向为压缩感知㊁视频编码;ZUO Miwen was born in Xiaogan,HubeiProvince,in1991.She is now a graduatestudent.Her research concerns compressed sens⁃ing and video coding.Email:miwenzuo@常　侃(1983 ),男,广西南宁人,2010年于北京邮电大学获博士学位,现为广西大学计算机与电子信息学院副教授,主要研究方向为压缩感知和视频编码与传输; CHANG Kan was born in Nanning,Guangxi Zhuangzu Au⁃tonomous Region,in1983.He received the Ph.D.degree from Beijing University of Posts and Telecommunications in2010.He is now an associate professor.His research interests include com⁃pressed sensing,video coding and transmission. Email:pandack0619@施静兰(1990 ),女,广西南宁人,广西大学硕士研究生,主要研究方向为压缩感知和稀疏表示;SHI Jinglan was born in Nanning,Guangxi Zhuangzu Auton⁃omous Region,in1990.She is now a graduate student.Her re⁃search concerns compressed sensing and sparse representation. Email:hui7154@覃团发(1966 ),男,广西宾阳人,1997年于南京大学获博士学位,现为广西大学计算机与电子信息学院副院长㊁教授㊁中国电子学会高级会员㊁中国通信学会高级会员,主要研究方向为无线多媒体通信㊁网络编码㊁视频编码和图像检索㊂QIN Tuanfa was born in Binyang,Guangxi Zhuangzu Auton⁃omous Region,in1966.He received the Ph.D.degree from Nanjing University in1977.He is now a professor and vice Dean of School of Computer and Electronic Information,Guangxi Uni⁃versity.He is also a senior member of China Institute of Elec⁃tronics and China Communication Institute.His research interests include wireless multimedia communications,network coding, video encoding and image retrieval.Email:tfqin@㊃563㊃第55卷左觅文,常侃,施静兰,等:基于帧间相关性的自适应采样率分块视频压缩感知第4期。