一种改进的视频序列质量合并算法

合集下载

一种改进的视频序列超分辨率重建算法及应用

一种改进的视频序列超分辨率重建算法及应用
A nI pr v d S pe - e out n Re o sr c o g rt m f m o e u rr s l i c n t u t nAl o ih o o i Vi e q n ea t d oSe ue c ndIs Appi a o lc t n i
2 S h o f l tca d o mu i t n A h i ies yo T c n lg , ’nh nA h i 4 0 2 C ia . c o l E e r n m nc i , n u v r t f e h oo y Maa sa n u 2 3 0 , hn ) o ci C ao Un i
Abs r c : An mp o e r c n tu ton tat i r v d e o sr c i me h t e ha e he ma r s l to f r t od o n nc t i ge e o u i n o
mut.rme v d o s q e c s p o o e a e n jit kn s f t e tc nq e f l fa ie e u n e i r p s d b s d o onl ma ig u e o h e h iu s o i y
Ma i m o t ir P o a it ( P n ric O t o v x S t P s . tf s a xmu A P s r i rbb l MA )ad P oet no C n e es(0c ) A rt eo i y i . s l e p t 1 0 i s mao se ly d b nrd cn h rc n io e o jg t i i d sai . ma et tri mpo e y it u ig te peo dt n d cnu ae mp f i ad n i o i

基于亮度残差的VVC_帧内编码改进算法

基于亮度残差的VVC_帧内编码改进算法

第37卷第3期2023年6月南华大学学报(自然科学版)Journal of University of South China(Science and Technology)Vol.37No.3Jun.2023收稿日期:2023-01-20基金项目:国家自然科学基金项目(62001209)作者简介:王芳冰(1997 ),女,硕士研究生,主要从事深度学习和强化学习等方面的研究㊂E-mail:1181394084@㊂∗通信作者:林文斌(1970 )男,教授,博士,主要从事深度学习与强化学习等方面的研究㊂E-mail:lwb@DOI :10.19431/ki.1673-0062.2023.03.007基于亮度残差的VVC 帧内编码改进算法王芳冰1,李㊀跃2,林文斌1,2∗(1.南华大学数理学院,湖南衡阳421001;2.南华大学计算机学院,湖南衡阳421001)摘㊀要:通用视频编码(versatile video coding ,VVC )标准由联合视频专家组共同制定,它遵循基于混合块的编解码器及其前身高效视频编码(high efficient video coding ,HEVC )的传统架构㊂与HEVC 相比,VVC 的帧内预测功能包含大量修改,编码效率大大提高㊂在VVC 的基础上,提出了一种改进的基于亮度残差的帧内编码算法,通过减少率失真代价的检查次数,在保证编码质量不受较大影响的前提下,降低了计算复杂性,并提高了VVC 的帧内编码效率㊂实验结果表明,在VTM16.0的VVC 软件版本下,在相同配置下,改进算法的编码时间可以减少27.03%,而Bjøntegaard-Delta rate 只增加了0.9%㊂关键词:VVC ;亮度残差;帧内预测;VTM16.0中图分类号:TN919.81文献标志码:A 文章编号:1673-0062(2023)03-0046-07Improve Algorithm of VVC Intra Coding Based on Luminance ResidualWANG Fangbing 1,LI Yue 2,LIN Wenbin 1,2∗(1.School of Mathematics and Physics,University of South China,Hengyang,Hunan 421001,China;2.School of Computer Science,University of South China,Hengyang,Hunan 421001,China)Abstract :The versatile video coding (VVC)standard is jointly formulated by the joint video expert group (JVET).It follows the traditional architecture of mixed block based co-dec and its predecessor high efficient video coding (HEVC).Compared with HEVC,the intra prediction function of VVC contains a large number of modifications,and the coding efficiency is greatly improved.In this paper,an improved intra coding algorithm based onluminance residuals is proposed on the basis of VVC.By reducing the number of rate-dis-tortion cost checks,the computational complexity is reduced and the intra frame coding ef-ficiency of VVC is improved while ensuring that the coding quality is not greatly affected.第37卷第3期王芳冰等:基于亮度残差的VVC帧内编码改进算法2023年6月Under the VVC software version of VTM16.0,the experimental results show that under thesame configuration,the coding time of the improved algorithm can be reduced by27.03%,while the Bjøntegaard-Delta rate can only be increased by0.9%.key words:VVC;luminance residual;intra prediction;VTM16.00㊀引㊀言随着显示技术的发展和对超高清视频需求的增加,视频应用不断向高帧速率和高分辨率发展㊂针对这一趋势,引入了一种新的视频编码标准,称为通用视频编码(versatile video coding,VVC)㊂VVC是一种国际视频编码标准,与高级视频编码(advanced video coding,AVC)和高效视频编码(high efficient video coding,HEVC)相比,它具有更高的压缩能力㊂它由ITU-T视频编码专家组(video coding expert group,VCEG)和ISO/IEC运动图像专家组(moving picture expert group, MPEG)建立的联合视频专家组(joint video experts team,JVET)共同设计[1-2]㊂帧内预测是视频编码的主要研究领域之一㊂它利用图像的空间相关性来消除空间信息的冗余,实现视频数据的压缩㊂在VVC中,提出了许多新的帧内预测技术,包括模式相关帧内平滑(mode dependent intra smoothing,MDIS)㊁交叉分量线性模型(cross component linear model, CCLM)㊁位置相关帧内预测组合(position dependent intra prediction combination,PDPC)㊁多参考线(multi reference line,MRL)帧内预测㊁帧内子分区(intra sub partition,ISP)㊁矩阵加权帧内预测(matrix weighted intra prediction,MIP)等[3]㊂帧内预测是VVC标准应用的基础,它发生在以下两种情况下:首先,为了确保随机访问能力(不包括逐行解码和刷新场景),只允许帧内预测而不允许帧间预测的帧被插入到每个视频序列中,即所谓的I帧㊂其次,对于视频帧中可能发生的局部时间场景变化,例如存在遮挡时,帧间预测很可能失效,需要使用帧内预测㊂在典型的视频序列中,虽然最常用帧间预测,但以帧内预测模式编码的块占总比特率的很大一部分㊂有效的帧内预测算法通常可以减少在每个I帧中发生的比特率波动,因为它消耗高比特率㊂帧内预测技术在视频编码技术中起着重要的作用,对编码性能有很大的影响㊂优化帧内预测技术以提高编码效率是一项重要任务㊂1㊀相关工作1.1㊀VVC帧内编码VVC继承了经典的三步模式搜索方法,如图1所示[4]㊂图1㊀VVC中帧内模式选择的流程图Fig.1㊀The flowchart of intra mode selection in VVC第一步称为粗糙模式决策(rough mode deci-sion,RMD),它使用Hadmard成本(Hadmard cost, Hcost)值从67个正常模式中选择N个候选模式,如图2所示㊂67种正常模式包括两种非定向模式(DC模式和Planar模式)和65种定向模式㊂这N个模式形成RMD模式列表,并根据Hcost按升序排序㊂N根据编码单元(coding unit,CU)的大小被设置为2或3㊂在第二个步骤中,从相邻CU导出最可能模式(most probable mode,MPM)列表,并且通过RMD模式列表初始化ISP模式列表㊂然后,将MPM列表中的前m个模式与RMD 模式列表合并,以形成完整的模式列表(complete mode list,CML)㊂根据相邻CU的模式是否相同, m分别设置为1或2㊂因此,CML的大小为3㊁4第37卷第3期南华大学学报(自然科学版)2023年6月或5㊂第三步称为率失真优化(rate distortion opti-mization,RDO),它使用RDO 过程从CML 和ISP 模式列表中选择出率失真代价(rate-distortioncost,RD Cost)最小的模式为最佳模式㊂图2㊀VVC 中的角度帧内预测模式Fig.2㊀Angular intra prediction modes in VVC1.2㊀快速模式决策算法有两种类型的快速模式决策算法㊂第一个是为RMD 过程设计的㊂例如,H.Zhang 等[5]为HEVC 编码器提出了一种快速模式决策方法㊂L.Gao 等[6]提出了两种快速内部预测算法,以减少率失真优化的候选模式的数量㊂L.L.Wang 等[7]提出了一种用于模式决策和信令处理的新的自适应模式跳过算法㊂T.Zhang 等[8]提出了一种基于梯度的方法,以减少RMD 过程和RDO 过程的候选模式㊂M.Jamali 等[9]提出了一种基于改进的边缘检测㊁考虑相邻块中的最相关模式和绝对变换差分和(sum of absolute transformed difference,SATD)代价分类的快速帧内模式决策方法㊂W.Jiang 等[10]提出了一种基于梯度的快速模式决策算法,以降低HEVC 的计算复杂性㊂参考文献[5]和参考文献[6]分别提出了一种渐进式搜索方法来计算部分预测模式的Hcost,而参考文献[7-10]研究了纹理和模式之间的关系,仅研究了少数模式㊂第二种设计用于RDO 过程㊂例如,M.Jamali 等[11]提出了一种基于低复杂度绝对变换差成本之和预测内部模式RDO 过程的新方法,以降低HEVC 内部模式决策的计算复杂性,同时节约编码时间㊂J.Tariq 等[12]提出通过融合Hadmard 代价并使用由空间和时间相关性形成的统计推断来初始化候选模式列表,从而改进了RMD 的快速模式决策策略㊂这些方法重新设计了RDO 过程预测模型,以降低编码复杂度㊂简而言之,为VVC 设计低复杂度算法有三个挑战㊂首先,一系列新技术叠加在VVC 内部编码中,以提高编码性能,然而,这些新模型并不总是提供比正常模型更准确的预测,这导致了巨大的计算冗余㊂第二,标准模式的选择不再局限于最近的参考线,这一点需要注意㊂第三,随着宽角度模型的采用,模型预测的类型显著增加㊂这导致了大量冗余模式预测,降低了预测模型的精度,并显著提高了编码复杂性㊂本文选择VTM16.0作为实验参考和测试软件,VTM16.0集成了许多方法来降低帧内编码的复杂性,然而,通过使用下一节中提出的方法,仍然可以进一步降低帧内编码的复杂性㊂2㊀提出算法本节提出了一种预终止帧内预测算法,通过控制残差以减少RDO 过程中RD Cost 检查的次数来降低计算复杂性,从而提高VVC 的帧内预测效率㊂首先,建议使用CU 的总体残差平均值来确定当前编码的CU 是否提前终止后续模式的RDO 过程,然而,当总体残差平均值太大时,尽管可以有效地减少VVC 的帧内编码时间,但这将导致图像编码质量有一定下降㊂因此,通过实验设置了一个阈值,以确保图像编码质量不受较大影响,达到编码质量和编码效率的平衡,通过该算法,得到了不错的实验结果㊂2.1㊀亮度残差算法为了降低VVC 帧内编码的复杂性,设计了一种基于亮度预测值和亮度原始值来计算当前CU 的总体残差平均值的算法㊂为了计算总体残差平均值,应首先确定当前编码块的每个像素的原始像素值和预测像素值之间的绝对差,如公式(1):R (x ,y )=D (x ,y )-Y (x ,y )(1)式中:D (x ,y )为当前CU 的原始亮度值;Y (x ,y )为当前CU 的预测亮度值;R (x ,y )为原始亮度值与预测像素值之间的绝对差值㊂根据VTM 软件,量化参数(quantization pa-rameter,QP)的设置将影响CU 的亮度预测值㊂因此,将CU 的基本QP 值作为计算平均残差的参数之一,如公式(2)第37卷第3期王芳冰等:基于亮度残差的VVC帧内编码改进算法2023年6月P(x,y)=R(x,y)Q/K(2)式中:Q是设置的QP值;K是用于对QP等级进行分类的参数㊂在本实验中,其值设置为2㊂像素矩阵总和为:S=ðh y=0ðw x=0P(x,y)(3)式中:w是当前CU的宽度,h是当前CU的高度,并且有0<x<w,0<y<h㊂公式(4)为当前CU总体残差平均值的计算公式:A=S h㊃w(4)表示当前CU原始值和预测值之间的总体残差的平均值㊂在计算当前CU总体残差平均值之后,使用阈值来平衡编码质量和编码复杂度㊂当平均残差值小于该阈值时,这意味着原始亮度值和预测亮度值之间的差很小,保证编码质量不受较大影响㊂2.2㊀快速决策算法在第一步RMD之后,从67个正常模式中选择N个候选模式以形成RMD列表㊂并且第二步骤从相邻CU导出MPM列表,并且ISP模式列表由RMD模式列表初始化㊂然后,MPM列表中的前m个模式与RMD模式列表合并以形成CML㊂根据相邻CU的模式是否相同,m分别设置为1或2㊂此时,预测模式的数量从67个大大减少到十几个,然后通过RDO检查预测模式以获得最佳模式㊂算法将在RDO过程前进行,进一步减少预测模式,从而减少RDO过程中RD Cost检查的计算次数,降低计算复杂性㊂在计算CU总体残差平均值之后,设置阈值来平衡编码质量和编码复杂度㊂当总体平均残差值小于该阈值时,意味着原始像素值与预测像素值之间的差异小,判断条件正确;否则,判断条件错误㊂通过实验比较测试,当阈值设置为4时,可以获得最佳的实验结果,即,当目前的模式总体残差平均值小于4时,该模式将进入下一步的RDO 过程列表中,否则将其剔除㊂该算法可以大大减少RDO过程中RD Cost检查的次数,从而降低计算复杂性并提高编码效率㊂将改进算法命名为FMD,即fast mode decision,改进的算法流程图如图3所示㊂图3㊀本文提出的算法流程图Fig.3㊀The algorithm flow chart proposed inthis paper3㊀实验结果实验平台的CPU是Intel i5-10400T处理器,具有8G内存和64位Windows11操作系统㊂该算法用C++语言实现,并集成到VVC编码器的官方参考软件VTM16.0中㊂为了测试该算法的编码性能,该算法中使用的视频测试序列根据分辨率分为A~E五类,涉及不同的场景和不同的分辨率,这些视频序列是JCT-VC官方推荐的㊂通过将BD码率(Bjøntegaard-Delta rate,BD rate)和编码节省时间(time saving,TS)与原始VVC的VTM16.0版本编码器进行比较来衡量编码性能,每个序列的TS由四个不同QP的平均TS 计算㊂为了验证所提出算法的性能,该算法在VVC参考软件VTM16.0上实现㊂由于所提出的算法用于加速帧内编码,因此采用全帧内(all intra,AI)配置,QP值设置为22㊁27㊁32和37㊂编码性能由BD rate[13]来衡量,BD-rate负的值时,表示相同条件下,码率减少,性能提高,正的第37卷第3期南华大学学报(自然科学版)2023年6月值是码率增加,性能下降㊂TS 用于衡量编码复杂性的降低㊂TS 计算为T =TVTM-T pro T VTMˑ100%(5)式中:T VTM 为原始算法的总编码时间;T pro 为改进算法的总的编码时间㊂VTM16.0与所提出算法之间的性能比较如表1所示,它给出了五种视频序列的平均BDrate,可以观察到,在所有序列上编码效率都获得了一致的增益㊂最大的好处来自序列 Tango2 ,它可以节省48.63%的时间㊂篮球相关序列也取得了良好的效果,其中 basketball drive 是节省时间最多的序列,节省了36.46%的时间㊂图4显示了FMD 算法与VTM16.0原始算法在BQSquare(416ˑ240)㊁BQMall(832ˑ480)㊁Four-People(1280ˑ720)和ParkScene(1920ˑ1080)序列的率失真曲线(Rate-distortion curves,RD curves)比较结果,包括RD 性能方面的最佳情况(BQSquare)和最坏情况(ParkScene)㊂结果表明,在低码率和高码率配置下,所提出的算法在多数序列上都优于VTM16.0,即使在最坏的情况下,所提出的算法和原始VTM16.0参考编码器也可以在不同的QP 下实现非常相似的图像质量㊂表1㊀FMD 算法与原始VTM16.0性能比较Table 1㊀Performance comparison between FMDalgorithm and original VTM16.0视频分组视频序列FMD(VTM16.0)BD-rate /%T /%ATraffic1.327.22PeopleOnStreet 0.626.55BKimono1.439.20ParkScene 1.533.72Cactus 1.032.45BasketballDrive 1.336.46BQTerrace 0.725.74CBasketballDrill 1.130.73BQMall 1.023.25PartyScene0.517.13RaceHorsesC0.827.26DBasketballPass0.827.11BQSquare-0.111.22BlowingBubbles 1.121.29RaceHorses 0.724.88EFourPeople 1.123.40Johnny 0.932.24KristenAndSara0.526.73Average0.927.03图4㊀VTM16.0和FMD 算法在不同QP 下几种典型视频序列的RD 曲线Fig.4㊀RD curves of several typical video sequences under different QPs betweenthe original VTM16.0and FMD algorithm第37卷第3期王芳冰等:基于亮度残差的VVC帧内编码改进算法2023年6月㊀㊀由于目前尚无基于残差提前终止的快速模式决策算法的类似工作,因此将本文的实验结果与参考文献[14]中的实验结果进行了比较㊂这篇文章提出了一种VVC基于支持向量机的快速平面预测模式决策算法Fast Intra Mode Decision-Support Vector Machines(FIMD-SVM),用于帧内编码时快速确定平面或非平面预测模式,避免了多种帧内预测模式的RDO计算,从而减少了编码时间㊂实验结果表明,与VTM5.0相比,该算法的编码时间平均缩短了18.0%,而BD rate仅提高了1.3%㊂同样在VTM5.0软件上进行了实验,实验结果表明,本文提出的FMD算法的编码时间平均减少了21.36%,而BD rate平均提高了1.71%,对比结果见表2㊂可以看出,本文提出的FMD算法更具有节省时间的优点,但在编码性能上有一定的损失㊂然而,需要指出的是:1)参考文献[14]的基准是VTM5.0,而本文的基准是VTM16.0㊂本文提出的算法在VTM16.0上的BD rate和节约编码时间方面都取得了较好的效果;2)算法仍有改进的空间㊂表2㊀VTM5.0上FMD算法与FIMD-SVM的性能比较Table2㊀The comparison of performance between theFMD algorithm and FIMD-SVM coding on VTM5.0.单位:%视频序列FMD(VTM5.0)BD rate TSFIMD-SVMBD rate TSTraffic 1.923.730.9211.41 PeopleOnStreet 1.419.89 1.0715.98 Kimono 2.032.370.6318.89 ParkScene 1.931.140.4624.16 Cactus 1.729.71 1.3222.31 BasketballDrive 2.536.91 1.9118.78 BQTerrace 1.226.09 1.2720.46 BasketballDrill 2.025.91 2.0614.68 BQMall 1.920.87 1.4217.22 PartyScene 1.016.090.7620.95 RaceHorsesC 1.422.090.9517.92 BasketballPass 2.225.19 1.5215.12 BQSquare0.812.32 1.2524.99 BlowingBubbles 1.520.87 1.4217.98 RaceHorses 1.420.22 1.3119.21 FourPeople 2.019.88 1.7215.28 Johnny 2.032.37 1.9615.31 KristenAndSara 1.922.88 1.7313.59 Average 1.724.36 1.3218.014㊀结㊀论本文提出了一种基于亮度值残差的快速决策编码模式优化算法,以减少研发成本的检测次数,降低计算复杂度㊂该算法进一步在第一步RMD 和第二步MPM和ISP模式列表结合得到的CML 中提取预测模式,减少了RDO过程中RD Cost的检查次数,从而降低了编码计算的复杂性,节省了编码时间㊂该方法在VVC参考软件VTM16.0上进行了测试㊂实验结果表明,该算法平均节省约27%的编码时间,编码效率损失可以忽略不计㊂参考文献:[1]DONG X,SHEN L,YU M,et al.Fast intra mode decision algorithm for versatile video coding[J].IEEE transactions on multimedia,2021,24:400-414.[2]BROSS B,WANGANG Y K,YE Y,et al.Overview of the versatile video coding(VVC)standard and its applications [J].IEEE transactions on circuits and systems for video technology,2021,31(10):3736-3764.[3]PFAFF J,FILIPPOV A,LIU S,et al.Intra prediction and mode coding in VVC[J].IEEE transactions on circuits and systems for video technology,2021,31(10):3834-3847.[4]PIAO Y,MIN J,CHEN J.Encoder improvement of unified intra prediction[C]//Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/ SC29/WG11.Guangzhou:JCTVC-C207,2010:568-577. [5]ZHANG H,MA Z.Fast intra mode decision for high effi-ciency video coding(HEVC)[J].IEEE transactions on circuits and systems for video technology,2013,24(4): 660-668.[6]GAO L,DONG S,WANG W,et al.Fast intra mode decision algorithm based on refinement in HEVC[C]//2015 IEEE International Symposium on Circuits and Systems (ISCAS).Lisbon,Portugal:IEEE,2015:517-520. [7]WANG L L,SIU W C.Novel adaptive algorithm for intra prediction with compromised modes skipping and signaling processes in HEVC[J].IEEE transactions on circuits and systems for video technology,2013,23(10):1686-1694.[8]ZHANG T,SUN M T,ZHAO D,et al.Fast intra-mode and CU size decision for HEVC[J].IEEE transactions on circuits and systems for video technology,2016,27(8): 1714-1726.[9]JAMALI M,COULOMBE S,CARON F.Fast HEVC intra mode decision based on edge detection and SATD costs classification[C]//2015Data Compression Conference. Snowbird,UT,USA:IEEE,2015:43-52.(下转第58页)第37卷第3期南华大学学报(自然科学版)2023年6月[17]TANG G W,JING M G,ZENG X Y,et al.Adaptive CUsplit decision with pooling-variable CNN for VVC intraencoding[C]//2019IEEE Visual Communications andImage Processing(VCIP).Sydney,Australia:IEEE,2019: 85-88.[18]AMESTOY T,MERCAT A,HAMIDOUCHE W,et al.Tunable VVC frame partitioning based on lightweightmachine learning[J].IEEE transactions on image pro-cessing,2020,29:1313-1328.[19]LI Y,YANG G,SONG Y,et al.Early intra CU size de-cision for versatile video coding based on a tunable de-cision model[J].IEEE transactions on broadcasting, 2021,67(3):710-720.(上接第45页)[7]陈铠杰,万德成.基于黏性修正SST k-ω模型的水翼空化流数值模拟计算[J].水动力学研究与进展, 2019,34(2):224-231.[8]LEE J R,JEON S M,HASOLLI N,et al.Removal char-acteristics of paint particles generated from paint spray booth[J].The science of leadership forum,2019,26(21): 810-817.[9]HUANG S L,YIN C Y,YAP S Y.Particle size andmetals concentrations of dust from a paint manufacturing plant[J].Journal of hazardous materials,2010,174(1/ 2/3):839-842.[10]杜启蒙,叶胜雄,郭鑫涛,等.纸盒式干式喷房下的风平衡探索与实践[J].内燃机与配件,2021(22): 34-35.[11]孔飞,张川,韩俊杰,等.迷宫纸盒过滤器过滤效果数值模拟[J].现代涂料与涂装,2020,23(3):45-48.(上接第51页)[10]JIANG W,MA H,CHEN Y.Gradient based fast modedecision algorithm for intra prediction in HEVC[C]//20122nd International Conference on Consumer Electron-ics,Communications and Networks(CECNet).Yichang,China:IEEE,2012:1836-1840.[11]JAMALI M,COULOMBE S.Fast HEVC intra mode de-cision based on RDO cost prediction[J].IEEE transac-tions on broadcasting,2018,65(1):109-122. [12]TARIQ J,KWONG S.Adaptive stopping strategies forfast intra mode decision in HEVC[J].Journal of visualcommunication and image representation,2018,51:1-13.[13]FLYNN D,MARPE D,NACCARI M,et al.Overview ofthe range extensions for the HEVC standard:Tools,pro-files,and performance[J].IEEE transactions on circuitsand systems for video technology,2015,26(1):4-19.[14]YAO Y,WANG J,DU C,et al.A support vector machinebased fast planar prediction mode decision algorithm forversatile video coding[J].Multimedia tools and appli-cations,2022,81(12):17205-17222.。

一种改进的融合帧差法的ViBe算法

一种改进的融合帧差法的ViBe算法

一种改进的融合帧差法的ViBe算法史瑞环;吴斌;李务军;范风兵【摘要】ViBe运动目标检测算法速度快,能有效抑制噪声,但在光照强度突然改变的情况下,该算法会造成大面积的背景像素被误判为前景像素,针对此问题提出一种改进的融合帧差法的ViBe算法.实验结果表明,改进的算法能在光照有变化时依然能检测到完整的运动目标.【期刊名称】《微型机与应用》【年(卷),期】2016(035)004【总页数】3页(P44-45,49)【关键词】ViBe;目标检测;帧差法【作者】史瑞环;吴斌;李务军;范风兵【作者单位】西南科技大学信息工程学院,四川绵阳621010;西南科技大学信息工程学院,四川绵阳621010;西南科技大学信息工程学院,四川绵阳621010;西南科技大学信息工程学院,四川绵阳621010【正文语种】中文【中图分类】TP391.4随着互联网和物联网的飞速发展,近年来智能安防监控得到了广泛的关注和应用。

前景目标的提取是运动视频分析的关键步骤,提取的目标是否准确完整将直接影响到后续的目标分类、目标跟踪和识别的准确率。

目前,常用的运动检测方法有:帧差法、背景差法、光流法[1]。

其中,背景差法应用最为广泛,核心原理是为每一个像素点建立一个背景模型,然后用模型与当前像素相比,以确定是否为背景像素。

经典的背景差法是GMM[2],它将单一像素点所呈现的颜色用M(一般取 3~5)个高斯分布来近似,能处理多模型背景场景,但是它的计算量非常大,需要估计分布的参数,而且更新参数难调试。

2009年,BARNICH O等人[3]提出了一种全新的背景差算法——ViBe算法,只通过在每个像素领域内随机选取若干个采样点对各像素建立一个样本模型,采用随机的方法更新背景模型。

对比其他一些前沿的背景提取方法,ViBe算法简单,有效地简化了程序,加快了对于帧的处理速度的同时,可以达到较高的准确度,增强了抗噪能力并减少了计算负载[4]。

但是该算法在背景光照突然发生变化时会将大面积的背景误判为运动前景[5],导致检测出的目标无法识别。

一种改进的HEVC编码单元划分方法

一种改进的HEVC编码单元划分方法

一种改进的HEVC编码单元划分方法谢晓燕;王欢;石鹏飞【摘要】针对高效率视频编码(HEVC)帧内预测中的率失真优化(RDO)算法计算复杂度高的问题,该文提出了一种基于统计学的率失真优化的改进方法.通过对不同量化参数的率失真代价概率分布图产生的阈值进行统计,得到最大编码单元(LCU)划分过程中不同深度的闽值方程,并利用该阈值提前终止编码单元的划分从而达到降低计算复杂度的目的.实验表明该文所提出的改进方法与HEVC的测试模型HM10.0相比,在保证视频质量和码率基本不变的前提下(码率仅增加了0.5%,Y-PSNR只降低了0.019dB),减少了26.7%的编码时间,提高了编码效率.【期刊名称】《西北大学学报(自然科学版)》【年(卷),期】2015(045)003【总页数】5页(P389-393)【关键词】HEVC;帧内预测;编码单元划分;率失真优化【作者】谢晓燕;王欢;石鹏飞【作者单位】西安邮电大学计算机学院,陕西西安710061;西安邮电大学计算机学院,陕西西安710061;西安邮电大学计算机学院,陕西西安710061【正文语种】中文【中图分类】TN919.81近年来,数字视频已经成为许多电子应用媒体的主要形式[1],高清晰率、高帧率、高压缩率的发展趋势愈加明显,而已颁布的视频标准H.264/AVC在这些方面呈现出一定的局限性[2]。

因此在2010年1月,ITU-T VCEG(video coding experts group)视频编码专家组和ISO/IEC MPEG(moving picture experts group)运动图像专家组成立了JCT-VC(joint collaborative team on video coding)联合小组,制定了新一代高效率视频编码标准:HEVC(high efficiency video coding)[3],其核心目的是在H.264/AVC的基础上,将压缩效率提高一倍[4]。

视频流媒体传输中的质量测量与改进方法研究

视频流媒体传输中的质量测量与改进方法研究

视频流媒体传输中的质量测量与改进方法研究随着互联网的快速发展,视频流媒体正日益成为人们获取信息和娱乐的主要途径。

在视频流媒体的传输过程中,确保视频的质量对于用户体验具有至关重要的作用。

因此,对于视频流媒体传输中的质量测量与改进方法的研究变得至关重要。

本文将探讨视频流媒体传输中的质量测量方法以及改进方法,并深入分析现有研究成果和未来发展的方向。

首先,视频流媒体传输中的质量测量方法是保证视频质量的基础。

视频质量的测量可以通过以下几个指标来进行评估:码率(Bitrate),帧率(Frame rate),分辨率(Resolution),以及视频压缩算法本身的性能等。

在测量视频质量时,我们可以采用主观评估和客观评估两种方法。

主观评估依赖于用户对视频质量的主观感受,而客观评估则基于对视频内容的测量和分析。

常用的主观评估方法有问卷调查和实验室测试,而客观评估方法则涉及到各种图像和视频质量评估算法,例如结构相似性指标(SSIM)和峰值信噪比(PSNR)等。

其次,为了改进视频流媒体传输中的质量,我们可以采取一系列措施。

其中一项重要的措施是采用自适应比特率控制(ABR)算法。

ABR算法可以根据当前网络状况和用户需求动态调整视频的码率,以保证流畅的传输和良好的观看体验。

目前,ABR算法主要分为基于缓冲区的算法和基于质量的算法两种。

基于缓冲区的算法主要是根据缓冲区的填充状态来调整视频码率,例如几个广为使用的算法如BOLA(Buffer-based Optimal Rate Adaptation)和MPC(Measured PC)等;而基于质量的算法则使用客观或主观质量指标来进行码率调整,例如FastMPC(Fast Measured PC)和A-QuIC (Adaptive Quality of Information Control)等。

除了ABR算法外,优化视频压缩算法也是改进视频质量的重要途径。

视频压缩算法在视频传输中扮演着至关重要的角色,其决定了视频的质量和传输效率。

一种改进的UAV视频序列影像镶嵌方法

一种改进的UAV视频序列影像镶嵌方法

应 用需求 , 一般 采 用 的策 略 是对 视 频 影 像 进 行 离 接 出所需 的影 像 。序列 影像 镶 嵌 技术 是 一 种获 取
匹配 为主要 处理过 程完 成影像 配 准 。提 出 的方 法
散 采样获 得影像 序列 。进 而利 用影 像镶 嵌 方法 拼 是 基 于特征 的处理 方 法 中的一种 。
m ac i g Th o h t ne p o e sn n t e r s lso e t r ac i , i e s r d t a i t fi g e itai n thn . r ug hef r c si g o h e ut ff au e m t hng t n u e he v ldi o ma er gsr to i y a d g ta prf rb e mo ac i e ut n o e ea l s i kng r s l. K e o ds vd o i g o e sn ; i g e e c s i ig; i g e t e t h n y w r : i e ma epr c s i g ma e s qu n e mo acn ma e f aur mac i g
文 章 编 号 :6 3 3 8 20 )60 1 - 17 - 3 ( 07 0 -4 50 6 4

பைடு நூலகம்
种 改进 的 U V视 频 序 列 影 像 镶嵌 方 法 A
于 文率 ,余 旭初 ,张 鹏 强 ,周 俊
( 息工程大学 测绘 学院, 南 郑州 405 ) 信 河 5 0 2
摘 要 : 频 序 列 影像 自动镶 嵌 是 U V视 频影 像 处 理 应 用 中 的基 础 环 节 和 重 要 研 究 方 向。 针 对 序 列 影 像 镶 嵌 视 A

基于多路径QUIC的视频流传输优化

基于多路径QUIC的视频流传输优化

基于多路径QUIC的视频流传输优化基于多路径QUIC的视频流传输优化摘要:随着互联网的快速发展和智能手机的普及,视频流传输已经成为人们日常生活中不可或缺的一部分。

然而,由于网络延迟、带宽限制和网络拥塞等问题,视频传输时常会出现卡顿、画质下降等现象。

为了解决这些问题,基于多路径QUIC的视频流传输优化被提出。

本文将介绍QUIC的基本概念,探讨基于多路径QUIC技术的视频流传输优化方法,并通过模拟实验验证其效果。

1. 引言随着高清视频和4K视频的逐渐普及,人们对于视频流传输的需求越来越高。

然而,网络环境的不确定性导致视频传输遇到了许多挑战。

传统的TCP协议在视频传输中存在诸多问题,如长连接建立时间长、延迟高、丢失数据包无法快速恢复等。

而QUIC协议则具备较好的抗网络拥塞、低延迟和高吞吐量的特点,因此被认为是改善视频流传输的有效方法。

2. QUIC协议概述QUIC(Quick UDP Internet Connections)是由Google提出的一种基于UDP的传输协议。

它将传输层和应用层的功能整合,通过使用UDP替代TCP作为传输层协议,将连接建立和传输合并为一个步骤,减少了连接建立的延迟。

QUIC还采用了0-RTT(零往返时间)连接特性,通过预先缓存的密钥和证书,实现了快速的连接建立过程。

3. 基于多路径QUIC的优化方法为了进一步提升视频传输的质量和性能,可以利用多路径QUIC技术来优化传输过程。

多路径QUIC允许同时使用多个网络路径进行数据传输,以提高带宽利用率和抗网络拥塞能力。

具体优化方法如下:3.1 多路径选择机制在多路径QUIC中,需要选择合适的网络路径进行数据传输。

传统的路径选择方法通常基于RTT(往返时间)和带宽进行选择,但这种方法无法适应网络环境的快速变化。

因此,可以引入拥塞控制算法,并结合网络情况动态选择路径。

3.2 基于带宽预测的码率自适应在视频流传输中,合理选择适应当前网络带宽的码率是提升视频质量的关键。

几种视频压缩算法对比

几种视频压缩算法对比

几种视频压缩算法对比随着视频技术的快速发展,视频压缩算法变得越来越重要。

视频压缩算法能够将视频信号的码率减少到一个可接受的水平,同时保持相对较高的视频质量。

本文将会对比几种常见的视频压缩算法,包括H.264、H.265、VP9和AV11.H.264(也称为MPEG-4AVC)是一种广泛使用的视频压缩算法。

它通过使用运动补偿、变换编码和熵编码等技术来减少视频信号的冗余信息。

H.264在视频质量和码率之间取得了很好的平衡,因此受到了广泛的应用。

2.H.265(也称为HEVC)是H.264的继任者,它在视频压缩方面进一步提高了性能。

H.265通过引入更高级的编码技术,例如更小的变换块和自适应量化等,来提高视频质量。

相对于H.264,H.265能够在相同的码率下获得更好的视频质量。

3.VP9是由谷歌公司开发的一种开源视频编码格式。

VP9通过使用更高级的编码技术,例如更小的变换块和可变参数熵编码等,来提高视频压缩性能。

与H.265相比,VP9在相同的码率下可以提供与H.265相当的视频质量。

4. AV1是由联合视频编码专家组(AOMedia)开发的一种开源视频压缩算法。

AV1整合了多种先进的编码技术,包括更小的变换块、自适应量化和可变参数熵编码等。

相对于H.265和VP9,AV1能够在相同的码率下获得更好的视频质量。

从视频质量和压缩性能方面来看,H.265、VP9和AV1相对于H.264在视频压缩上都有显著的改进。

然而,H.265和VP9在实际应用中仍然是较为常用的视频压缩算法,因为它们具有较好的兼容性和稳定性。

AV1目前还处于发展阶段,虽然有较好的压缩性能,但还需要进一步的优化和广泛的支持。

综上所述,H.264、H.265、VP9和AV1都是常见的视频压缩算法。

这些算法在视频压缩方面有不同的优势和劣势,具体的选择应该根据实际应用需求和平台支持来进行决定。

随着技术的不断进步,视频压缩算法也将会不断发展和改进,以满足日益增长的视频传输和存储需求。

tpsrc极致码流算法

tpsrc极致码流算法

tpsrc极致码流算法tpsrc极致码流算法是一种用于视频编码的算法,旨在提高视频编码的效率和质量。

该算法通过优化编码过程中的各个环节,从而达到更高的压缩比和更好的视觉质量。

下面将对tpsrc极致码流算法进行详细介绍。

## 算法原理tpsrc极致码流算法主要包括以下几个方面的优化:### 1. 帧内预测帧内预测是视频编码中常用的一种技术,它利用当前帧中已经编码的像素值来预测未编码像素值。

tpsrc极致码流算法通过改进帧内预测算法,提高了预测准确性和效率。

### 2. 帧间预测帧间预测是指利用已经编码的前一帧或后一帧像素值来预测当前帧像素值。

tpsrc极致码流算法通过引入更复杂的运动估计算法和补偿技术,提高了帧间预测的准确性和效果。

### 3. 熵编码熵编码是一种无损压缩技术,它通过对数据进行统计分析并建立合适的概率模型,将出现概率较高的数据用较短的编码表示,从而达到压缩数据的目的。

tpsrc极致码流算法通过改进熵编码算法,提高了编码效率和质量。

### 4. 量化量化是视频编码中一种重要的过程,它将连续的像素值转换为离散的数值,从而减少需要存储和传输的数据量。

tpsrc极致码流算法通过优化量化算法,提高了图像细节的保留和恢复能力。

## 算法特点tpsrc极致码流算法具有以下几个特点:### 1. 高压缩比tpsrc极致码流算法通过优化各个环节,提高了视频编码的压缩比。

相比传统的视频编码算法,tpsrc能够在保持相同视觉质量的情况下,减少存储和传输所需的带宽。

### 2. 高视觉质量tpsrc极致码流算法在提高压缩比的同时,也注重保持视频的视觉质量。

通过改进预测、补偿和熵编码等技术,tpsrc能够更好地保留图像细节和运动信息。

### 3. 低延迟tpsrc极致码流算法在编码和解码过程中,能够实现较低的延迟。

这对于实时视频传输和交互式视频应用非常重要,能够提升用户体验。

### 4. 跨平台兼容tpsrc极致码流算法可以在不同的硬件平台上运行,并且与各种视频编解码器兼容。

短视频平台的内容质量评估与改进机制研究

短视频平台的内容质量评估与改进机制研究

短视频平台的内容质量评估与改进机制研究随着社交媒体和智能手机的普及,短视频平台逐渐成为人们获取信息、娱乐休闲的重要途径。

然而,由于平台上存在大量低质量、虚假甚至有害内容,短视频平台面临着内容质量的评估与改进的挑战。

本文将对短视频平台的内容质量评估与改进机制进行研究,以期提供有益的解决方案。

一、短视频平台内容质量现状分析如今,短视频平台上存在各种各样的内容,包括创意短视频、搞笑短视频、游戏直播等。

然而,与此同时,也有大量的低质量、低俗、暴力、虚假甚至有害内容泛滥其中。

这些内容的存在严重影响着用户的使用体验和认知偏差。

二、短视频平台内容质量评估机制的设计与优化为了保证短视频平台上内容质量的提升,需要建立科学合理的评估机制。

具体而言,可以从以下几个方面进行设计与优化。

1. 用户反馈系统用户反馈是内容质量评估的重要参考依据之一。

短视频平台应该建立完善的用户反馈系统,鼓励用户通过举报、评论等方式向平台反映问题。

平台应及时处理用户反馈,并采取相应措施,包括删除低质量、有害内容,甚至对违规用户进行处罚。

2. 内容审核机制短视频平台应在内容上传前进行审核,以保证内容的合法性和合规性。

这需要建立一支专业的内容审核团队,通过人工审核和智能化审核技术,对上传的视频逐一进行审核。

同时,平台应制定明确的审核标准和流程,确保审核工作的公正性和准确性。

3. 算法优化短视频平台的内容推荐算法在内容质量评估与改进中起着重要作用。

平台应不断优化推荐算法,提高内容推荐的准确性和个性化程度。

除了考虑用户的个人兴趣和偏好,还应加入内容质量的评估因素,避免向用户推送低质量、虚假的内容。

三、内容质量改进机制的建立与完善除了评估机制,短视频平台还需要建立改进机制,以不断提升内容质量和用户体验。

1. 制定规范与标准短视频平台应制定一系列规范与标准,明确不允许上传的内容形式和内容类型。

例如,禁止上传低俗、暴力、有害等内容,限制广告的形式和数量,规范资讯类内容的真实性和准确性等。

如何解决视频编码过程中的卡顿问题

如何解决视频编码过程中的卡顿问题

视频编码是将原始视频信号转换为数字数据流的过程,以便在数字媒体设备上播放或传输。

然而,有时候在视频编码的过程中,我们会遇到卡顿问题。

这种卡顿现象会影响观看体验,因此需要有效解决。

本文将从多个方面探讨如何解决视频编码过程中的卡顿问题。

1. 优化视频编码参数视频编码的性能与编码参数有着密切的关系。

选择适当的编码参数可以提高编码效率,减少卡顿现象。

首先,选择适当的帧率,过高的帧率会增加编码的复杂度,导致卡顿;而过低的帧率则会降低视频质量。

其次,选择合适的码率。

过高的码率会增大数据量,对网络传输要求较高,使得视频播放存在卡顿的风险;而过低的码率会导致视频画质下降。

通过调整这些参数,可以平衡视频质量和编码性能,从而减小卡顿现象的发生。

2. 提高编码设备性能视频编码需要耗费大量的计算资源,低性能的编码设备可能无法处理复杂的编码任务,从而导致卡顿。

因此,提高编码设备的性能是解决卡顿问题的一种重要方法。

可以通过增加设备的内存容量、提升处理器的性能等途径来提升编码设备的性能。

当编码设备具备足够的计算能力时,可以更好地应对编码过程中的复杂任务,减少卡顿现象的发生。

3. 选择合适的编码算法视频编码的算法选择也对卡顿问题有着重要的影响。

不同的编码算法在处理复杂度和编码效率上不同。

一种可能的解决方案是选择更先进的编码算法,如/HEVC,它比传统的编码算法具有更高的压缩比,能够在相同的码率下提供更好的视频质量。

通过采用先进的编码算法,可以降低编码复杂度,减少卡顿现象的发生。

4. 优化网络传输环境视频编码完成后,需要通过网络传输到播放设备上进行解码和播放。

网络传输环境的不稳定性是导致视频卡顿的主要因素之一。

为了解决这个问题,可以采取以下措施。

首先,提升网络带宽和稳定性。

可通过使用高速宽带网络、增加网络设备数量等方式来提高网络带宽和稳定性,从而减少视频卡顿的风险。

其次,优化网络传输协议。

选择更高效的传输协议,如UDP代替TCP,可以减少卡顿现象的发生。

视频编码技术的改进与优化

视频编码技术的改进与优化

视频编码技术的改进与优化摘要:随着互联网的飞速发展,视频成为了人们生活中不可或缺的一部分。

为了更好地传输和播放视频内容,视频编码技术逐渐成为了研究的热点。

本文将探讨视频编码技术的改进与优化,介绍了几种常见的视频编码技术及其改进方式,并分析了优化技术对视频编码质量和传输效果的影响。

1. 引言随着数字化时代的到来,视频成为了人们获取信息和娱乐的主要方式之一。

视频的传输质量和播放效果直接关系到用户的体验,而视频编码技术是实现高质量视频传输和播放的核心。

为了满足人们对高清晰度、低延迟和高帧率等要求,视频编码技术不断进行改进和优化。

2. 常见视频编码技术2.1 H.264/AVCH.264/AVC是目前应用最广泛的视频编码标准之一。

它采用了高效的预测和变换技术,可以有效地压缩视频数据。

然而,H.264/AVC编码存在一些问题,如编码复杂度高、压缩比率有限等。

为了改进H.264/AVC编码,研究人员提出了一系列技术,如基于深度学习的帧间预测、熵编码优化等。

2.2 H.265/HEVCH.265/HEVC是H.264/AVC的继任者,已经取得了较大的成功。

H.265/HEVC在编码效率和视频质量方面都有显著的提升。

为了进一步优化H.265/HEVC编码,研究人员提出了一些改进的算法,如自适应量化参数控制、可变片大小等。

这些改进使得H.265/HEVC编码在压缩比率和画质保持方面更加灵活和高效。

2.3 AV1AV1是一种由Alliance for Open Media开发的开源视频编码标准。

它具有出色的压缩性能和广泛的应用前景。

AV1采用了深度学习技术和自适应编码技术,可以显著提高编码效率和视频质量。

研究人员也在AV1编码中提出了一系列优化算法,如帧内预测模式选择、变换优化等,进一步提升了AV1的性能。

3. 视频编码技术的优化方法3.1 深度学习技术的应用深度学习技术被广泛应用于视频编码的优化中。

通过训练神经网络模型,可以提高帧间预测的准确性和压缩效率。

高效视频编码方法的研究与优化

高效视频编码方法的研究与优化

高效视频编码方法的研究与优化随着数字媒体的迅猛发展,视频编码技术在多媒体通信、娱乐和广告等领域起着至关重要的作用。

高效的视频编码方法可以实现更好的视频质量和更低的比特率,为高清视频传输和存储提供更好的支持。

本文将对高效视频编码方法进行研究与优化,探讨其相关原理和技术。

一、视频编码方法的概述视频编码是将视频信号转换为数字信号的过程,主要包括视频采样、变换编码和熵编码三个步骤。

视频编码的目标是尽可能地减少视频数据的冗余,并以最小的比特率保持良好的视觉质量。

二、现有的视频编码方法1. H.264/AVC编码标准H.264/AVC是一种广泛使用的视频编码标准,具有较好的压缩性能和较低的编码延迟。

它通过使用运动估计、帧内预测、帧间预测等技术,实现了更高的编码效率和更好的视频质量。

2. H.265/HEVC编码标准H.265/HEVC是H.264/AVC的下一代编码标准,具有更高的压缩性能和更低的比特率。

它引入了更先进的帧内预测、帧间预测和变换编码技术,能够进一步提高视频质量和减小比特率。

三、视频编码方法的优化方向1. 运动估计优化运动估计是视频编码中的关键环节,其精度和速度直接影响整个编码系统的性能。

通过改进运动搜索算法、优化运动矢量预测算法等方式,可以提高运动估计的准确性和速度。

2. 变换编码优化变换编码对视频质量和压缩性能都有较大的影响。

研究优化变换系数选择方法、设计高效的变换系数量化方法等,可提高视频质量和减小比特率。

3. 熵编码优化熵编码是视频编码中的最后一步,主要包括数据压缩和解压缩两个过程。

优化熵编码算法,如改进上下文建模、利用自适应码率控制等技术,可以进一步提高编码效率和视频质量。

四、视频编码方法的研究挑战1. 视频编码的高效性与复杂度之间的平衡高效视频编码方法通常需要更复杂的算法和更高的计算资源。

如何在保持良好视频质量的同时降低编码算法的复杂度,是一个亟待解决的难题。

2. 视频编码的实时性和延时之间的平衡实时视频通信要求较低的编码延时,而高效视频编码方法往往需要较长的编码时间。

MOOCDR-VSI_一种融合视频字幕信息的MOOC资源动态推荐模型

MOOCDR-VSI_一种融合视频字幕信息的MOOC资源动态推荐模型

MOOCDR-VSI_一种融合视频字幕信息的MOOC资源动态推荐模型MOOCDR-VSI:一种融合视频字幕信息的MOOC资源动态推荐模型摘要:随着互联网技术的发展,在线教育已经成为一种受欢迎的学习方式。

然而,对于海量在线教育资源的高效浏览与利用仍然是一个挑战。

针对这一问题,本文提出了一种融合视频字幕信息的MOOC资源动态推荐模型,即MOOCDR-VSI。

该模型通过在MOOC视频资源中提取字幕信息,并与用户个人特征和历史行为数据相结合,实现了精确的资源推荐。

实验结果表明,该模型在提高教育资源的利用效率方面具有良好的应用前景。

1. 引言随着MOOC(Massive Open Online Course)模式的出现,在线教育得到了广泛的关注和应用。

MOOC提供了丰富多样的教育资源,但这也为用户在大量资源中寻找适合自己的学习资料带来了挑战。

因此,如何利用用户的个人特征和历史行为数据,提供个性化的资源推荐成为了一个研究热点。

2. 相关工作在过去的研究中,许多学者已经提出了各种各样的MOOC资源推荐模型。

然而,这些模型通常只利用了视频的基本信息,如标题、标签等,忽略了视频字幕中包含的丰富语义信息。

因此,本文提出的MOOCDR-VSI模型是在现有研究的基础上进行改进的。

3. 模型设计为了充分利用视频字幕中的语义信息,我们首先需要从字幕中提取关键词。

我们采用了一种基于TF-IDF的关键词提取算法,该算法能够识别出字幕中的关键主题。

然后,我们将这些关键词与用户的个人特征和历史行为数据相结合,建立了一个基于协同过滤的推荐模型。

该模型能够根据用户的学习兴趣和历史行为,推荐出最适合其个人需求的MOOC资源。

4. 实验与评估为了验证MOOCDR-VSI模型的有效性,我们在一个真实的MOOC平台上进行了实验。

我们选择了1000名学生作为实验对象,并将他们分为实验组和对照组。

实验组使用了MOOCDR-VSI模型进行资源推荐,而对照组则使用了传统的基于协同过滤的推荐模型。

电影胶片斑块损伤修复技术的研究(1)

电影胶片斑块损伤修复技术的研究(1)

上海交通大学硕士学位论文电影胶片斑块损伤修复技术的研究姓名:***申请学位级别:硕士专业:通信与信息系统指导教师:***20081201电影胶片斑块损伤修复技术的研究摘要由于长期存放和多次播放,电影胶片存在着灰尘、污垢、霉斑、掉色、图像抖动、划伤、闪烁、噪声、变色、模糊等各种问题。

本文首先详细描述了老电影胶片中存在的各种损伤,并介绍了这些损伤的产生原因及其在视频序列中的表现特征。

对于其中的斑块损伤,本文进行了重点研究。

通过分析传统的斑块检测算法,可以发现视频中由于噪声的影响,在确定斑块位置、细化斑块边缘以及去伪取真方面是一个较大的难点。

本文提出了一种基于改进SROD的斑块检测算法。

算法中首先对传统的SROD算法进行改进,有效降低了算法对阈值设置的敏感程度,从而提高了抗噪性能,并得到初步的检测结果。

进而提出EM估计算法框架对初步检测结果进行后处理,即先后对候选斑块进行灰度分级和面积分级,以进一步消除噪声影响,确定斑块位置以及边缘信息。

传统的斑块修复方法通常仅仅利用时域上或空域上的相关信息进行数据重建,或者一些算法虽然考虑了时域和空域的结合,但计算复杂度较高。

本文提出了基于空时结合图像修复技术的斑块修复算法。

现有的图像修复算法都是二维的,我们在模型中加入了时间域的信息,充分利用了视频序列中空域和时域的信息。

在此基础上,我们提出了空域双向叠加修复和时域多候选区叠加修复的方法,取得了较好的斑块修复效果。

本文采用实际电影胶片胶转磁后的视频序列和人为加入了斑块的高清数字电影序列作为实验素材,分别对传统算法和提出的算法进行实验和仿真。

通过实验结果的对比可以发现,本文所提出的算法可以有效的对斑块进行检测和修复,而且模型复杂度较低,具有一定的实用价值。

关键词:电影胶片修复,斑块检测,斑块修复,图像修复RESEARCH ON BLOTCH REMOV AL IN OLD FILMSABSTRACTDigital film archives are usually damaged due to aging and frequently playing, which may cause different artifacts on the films, such as dust spots, dirt, blotches, film unsteadiness, line scratches, flicker, noises, color variations and blurs. In this thesis, respective causes and characteristics of several typical artifacts are firstly described in details, as well as the existing systems for artifacts removal. This thesis then focused on blotch detection and blotch removal techniques, trying to find out more automated and simple ways for blotch recovery.After studying the traditional detection techniques, we can find that it’s very difficult to determine the location of blotches, thinning its edge and reduce false alarms due to noise. This thesis proposed a blotch detection method based on improved SROD algorithm. First, the SROD algorithm is improved by taking into account the influence of noise, thus enhancing the anti-noise performance and reducing the sensitivity of its threshold setting. Then an EM postprocessing framework, composed of gray classification and area classification, is introduced to determine the location of blotches and thinning its edge. According to the experiments, the method proposed in this thesis get satisfied results. Blotch detection results are significantlyimproved comparing with traditional techniques.Some traditional blotch removal techniques use only the spatio or temporal information for data interpolation. The others which make use of both directions, however, usually imply a high computational complexity. Considering taking advantage of both spatio and temporal information with a lower complexity, we extend the image inpainting model from 2-D to 3-D. On this basis, an inpainting-based spatio-temporal algorithm for removing blotch is proposed. This algorithm is realized by introducing the Bi-directional method in current frame and the Multi-candidate Areas method in different frames. The results show that the method is effective for removing blotches.KEY WORDS:Digital film restoration, blotch detection, blotch removal, Inpainting图片目录图1-1 视频记录,存储,转化和数字化过程中可能产生的失真[1] (3)图1-2在Charlie Chaplin的电影中连续三个有瑕疵的帧(a, c, e),右图为左图的局部放大,分别显示的是(b)噪声(d)灰尘和大斑点(f)垂直划痕[1] (4)图1-3 数字电影修复系统[5] (9)图1-4 老电影胶片数字修复流程框图1[3] (11)图1-5 老电影胶片数字修复流程框图2 [4] (11)图1-6 整体的磁盘到磁盘的修复系统[4] (12)图2-1(a) 斑块检测与修复同步进行方法 (b) 模块化方法 (16)图2-2 (a) ROD检测器像素选取 (b) ROD检测器像素排序 (19)图2-3 MMF子滤波器模板 (23)图2-4 插值原理图 (25)图3-1 Postprocessing检测后处理步骤 (34)图3-2 带后处理模块的斑块去除系统 (35)图3-3 改进的SROD检测器像素选取方法 (35)图3-4 EM算法检测后处理框架 (37)图3-5 不同检测算法的检测性能[1] (a) Western序列 (b) MobCal序列 (c) Manege序列 (d) Tunnel序列 (39)图3-6 待修复序列 (40)图3-7 待修复序列(a)第二帧中的斑块位置 (41)图3-8 采用不同阈值时SROD和ISROD的检测结果 (42)图3-9 序列(a)斑块检测结果 (43)图3-10 序列(b)斑块检测结果 (44)图4-1 图像修复示意[31] (47)图4-2 待修复区域示意图 (48)图4-3 基于空时结合图像修复技术的斑块修复算法实现 (50)图4-4 八种修复匹配模板 (51)图4-5 双向叠加修复的扫描顺序 (51)图4-6 待修复区域的空间关系 (52)图4-7 图3-6(a)序列斑块修复主观结果比较 (57)图4-8 图3-6(b)序列斑块修复主观结果比较 (58)表格目录表4-1客观修复结果比较 (59)上海交通大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。

jctvc原理

jctvc原理

jctvc原理JCTVC(Joint Collaborative Team on Video Coding)是一个由国际电信联盟(ITU)和国际标准化组织(ISO)共同组成的团队,致力于视频编码标准的研究和开发。

JCTVC的目标是提供高效的视频编码算法,以实现更好的视频质量和更低的比特率。

JCTVC的原理基于一种被称为HEVC(High Efficiency Video Coding)的视频编码标准。

HEVC是一种先进的视频编码技术,能够在保持视频质量的同时,显著减少视频文件的大小。

JCTVC团队通过对HEVC标准的研究和改进,进一步提高了视频编码的效率和性能。

JCTVC的原理主要包括以下几个方面:1. 帧内预测:帧内预测是一种通过利用当前帧内的像素值来预测未来帧内的像素值的技术。

JCTVC团队通过改进预测算法和优化预测模式,提高了帧内预测的准确性和效率。

2. 运动估计和补偿:运动估计和补偿是一种通过分析视频序列中的运动信息,来预测未来帧的像素值的技术。

JCTVC团队通过引入更精确的运动估计算法和改进的补偿技术,提高了运动估计和补偿的准确性和效率。

3. 变换和量化:变换和量化是一种将视频序列中的像素值转换为频域系数,并对其进行量化的技术。

JCTVC团队通过改进变换和量化算法,提高了视频编码的压缩比和图像质量。

4. 熵编码:熵编码是一种将频域系数进行编码的技术,以进一步减小视频文件的大小。

JCTVC团队通过改进熵编码算法和优化编码参数,提高了视频编码的效率和性能。

JCTVC的原理不仅仅是对视频编码技术的改进,还包括对视频质量评估和标准化的研究。

JCTVC团队通过开展主观和客观的视频质量评估实验,以及与其他国际组织的合作,制定了一系列视频编码标准,为视频产业的发展提供了技术支持。

JCTVC的原理在实际应用中具有广泛的应用前景。

随着互联网的普及和视频应用的快速发展,对高效视频编码技术的需求越来越迫切。

svt av1 编码参数

svt av1 编码参数

svt av1 编码参数(最新版)目录1.SVT-AV1 编码参数概述2.SVT-AV1 编码参数的具体设置3.SVT-AV1 编码器的性能与优势4.SVT-AV1 编码器在不同领域的应用正文SVT-AV1 编码参数是一种用于视频压缩的技术参数,它是基于 AV1视频编码标准的一种改进。

SVT-AV1 编码器可以在保证视频质量的前提下,实现更高的压缩率和更快的传输速度。

下面,我们将详细介绍 SVT-AV1 编码参数的具体设置和其在不同领域的应用。

一、SVT-AV1 编码参数概述SVT-AV1 编码参数是基于 AV1 视频编码标准的一种技术参数。

AV1 是一种由谷歌、Netflix 等公司主导开发的视频编码标准,其目的是为了取代 H.264/AVC 和 H.265/HEVC 等传统视频编码标准。

相比传统的视频编码标准,AV1 可以在保证视频质量的前提下,实现更高的压缩率和更快的传输速度。

而 SVT-AV1 编码参数则是对 AV1 视频编码标准的一种优化和改进,可以更好地适应不同应用场景的需求。

二、SVT-AV1 编码参数的具体设置SVT-AV1 编码参数主要包括以下几个方面的设置:1.码率控制:SVT-AV1 编码器可以通过调整码率来控制视频的压缩率和传输速度。

一般来说,码率越高,视频的质量越好,但传输速度越慢;码率越低,视频的质量越差,但传输速度越快。

2.帧率控制:SVT-AV1 编码器可以通过调整帧率来控制视频的流畅度和压缩率。

一般来说,帧率越高,视频的流畅度越好,但压缩率越低;帧率越低,视频的流畅度越差,但压缩率越高。

3.量化参数:SVT-AV1 编码器可以通过调整量化参数来控制视频的质量和压缩率。

一般来说,量化参数越高,视频的质量越好,但压缩率越低;量化参数越低,视频的质量越差,但压缩率越高。

三、SVT-AV1 编码器的性能与优势SVT-AV1 编码器具有以下几个方面的优势:1.高压缩率:SVT-AV1 编码器可以实现更高的压缩率,可以在保证视频质量的前提下,实现更小的文件大小和更快的传输速度。

AVC改造技术方案

AVC改造技术方案

AVC改造技术方案一、背景介绍AVC(Advanced Video Coding)是一种先进的视频编码技术,其主要功能是将原始视频数据进行压缩和解压缩,以便在有限的带宽和存储容量下传输和存储视频。

然而,随着互联网带宽的不断提高和视频质量的要求不断提升,AVC编码技术已经逐渐显现出局限性。

因此,对AVC进行改造成为更高效的视频编码技术是当前亟待解决的技术难题。

二、目标与需求分析AVC改造技术方案的目标是提高视频压缩比和视频质量,以满足用户对高清视频的需求。

具体的需求包括: 1. 提高编码算法的灵活性,适应不同类型视频的编码需求; 2. 提高编码效率,减少视频数据的传输带宽和存储容量; 3. 提供更好的视频质量,减少视频压缩带来的失真; 4. 与现有设备和标准兼容,兼容性好,便于应用和推广。

三、技术方案设计为了实现AVC改造技术方案的目标和需求,我们提出以下技术方案: 1. 引入新的视频编码算法:通过分析视频的空间和时域特性,提出基于深度学习的视频编码算法,利用深度神经网络学习视频的特征,并根据学习到的特征进行压缩编码,以提高编码效率和视频质量。

2. 增大编码单元的大小:AVC中的编码单元大小为16x16,我们可以将其增大到32x32或更大,以提高编码效率。

同时,为了避免失真的提升,我们引入自适应帧内预测算法,在不同的编码单元大小下选择最优的预测方法。

3. 优化视频压缩算法:通过引入更高效的运动估计算法和运动补偿算法,减少视频数据的传输带宽。

同时,为了减少视频压缩带来的失真,我们提出基于深度学习的失真补偿算法,通过学习视频的失真特征,对解压缩后的视频进行后处理。

4. 兼容性设计:为了实现与现有设备和标准的兼容性,我们在设计AVC改造技术方案时考虑了与现有AVC标准的兼容,并提供了兼容性测试和验证的方案。

四、实施与推广计划AVC改造技术方案的实施计划包括以下几个阶段: 1. 技术研发阶段:在这个阶段,我们将进行视频编码算法的研发,包括深度学习模型的设计和参数优化,引入自适应帧内预测算法和失真补偿算法,并进行算法的实现和验证。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
价可 分 为静 止 图像 质 昼 评 价 和 序 列 图 像 ( 视 频 ) 量 评 价 。 如 质 通

一l
常 .序 列 图像 质 量 评 价 是 建 立 在 静 止 图 像 质 量 评 价 的 基 础 之 上 , 过 合J 序列 巾各 帧 静 止 图像 的质 量 评 价 指 标 得 到 整 个 序 通 f
a oi m, e rsl fti a o tm so i e cr lt n wt h u jc v vl t n dt.iay te vl i f l rh t eut o hs l rh hw hg r or ai i te sbet e ea ai aa n l , ai t o g t h s gi h e o h i u o F l h dy
文章 编 号 :0 2 8 3 (0 6 3— 0 8 0 文 献标 识 码 : 中 图分 类号 :P 9 10 — 3 l2 0 75 0 6 — 2 A T 31
Ne Vie e u n e Qu ly P oig Alo i m w d o S q e c ai o l g rt t n h
Ab ta t Frt a vd o s q e c P a Sg a—O Nos Rai( S sr c : i l ie e u n e e k in l t— ie sy t P NR ) mo e i o srce a d h n.a e n ti o d l s n t td. n te b sd o hs c u
列 的 质量 指 际 。
∑ ∑【 , 1 ( y ) P ,n , , nz (y ) ,】
MS n) E( = — 一 MN —
● 2

ቤተ መጻሕፍቲ ባይዱ
() 1 () 2 、
现 有 的 序 列 像 质 量 合 l 算 法 r . 应 用 较 广 泛 的 是 j } I r Mn o sl 式 , 它 通 过 计 算 序 列 巾 各 帧 像 评 价 指 标 的 ikw k 公 Mik wk no si和 束 表示 序 列 的 质 最 ;此 外 还 有 H m d a aa等 存 他 们
t e me h d i p o e y e p rme t . h to s rv d b x e i ns
Ke r s ie ulyea ai ;u n v u l ytm; V dl y wod :vdo q ai vl t n hma i a ss t u o s e D Q moe
(S P NR) 型 , 量 梯 度 模 型 , 于感 兴 趣 区 域 ( 模 能 基 ROI模 型 和 人 )
于PN S R指 标 直 观 并 且 计 算 方 便 , 于 处 理 , 过 建 立 并 分 析 易 通 序 列 峰 值 信 噪 比 (P N 模 型 . 以 发 现 Mikw k 合 并 模 S S R) 可 n o si

要: 首先 建 立 了 一 个片 列 图像 峰 值 信 噪 比模 型 , 然后 在 此 模 型 基 础 上 , 出了一 种 新 的视 频 序 列 质 量 合 并 算 法 。 传 提 与
统的 Mikw k 合 并算法相比, n o si 该算法结果与人眼主观测试数据 具有 更好 的相 关性 。最后 实验 证 实了该方法的有效性。 关键词 : 视频质量评价 : 人眼视 觉 系统 : V D Q模型
的 三 层 噪声 加 杈模 型 用 到 的 一 种 加权 算法 。研 究 表 明 , 两 种 这
,尺( ) 1 1g一 一 v n = 0o ! - MS n) E(
其 中 p( y n 为 被 评 图 像 , ( Y n 为 参 考 图像 , 、 为 图 像 ,, ) p , ,) Ⅳ 大 小 , y为像 素坐 标 ; E n 为 第 n幅 图 像 的均 方 误 差 。 、 MS ( )
mo e , n w i e s q e c q a i p oi g ag rt m i n r d c d Co a e w t t e rd to a Mi k ws i o l g d la e v d o e u n e u l y o l lo i t n h s to u e + mp r d i i h h ta i n l i n o k p oi n
l 引 言
图像 质量 评 价 在 图 像 处 理 系统 中 有 着 重 要 意 义 . 直 接 说 它 明 了 图像 处 理 系统 的优 劣 和 算 法 的 有 效性 。 目前 已 经发 展 了许 多 客 观 的 图 像 质 量 评 价 模 型 , 主 要 有 : 传 统 的 峰 值 信 噪 比
维普资讯

种改进的视频序 列质量合并算法
邹伦 开 ,周 娅 ,王宏 远
( 中科技 大 学 电信 系 数 字视 频 与通信 中心 , 华 武汉 407 ) 30 4
E— i :0 l n a @g i c i ma l z u u k i maL o n
ZoU n k i ZH0 U Lu - a . Ya. ANG n — u n W Ho g y a
( i t ie e h ooy ad C mm nct n Istt , lH S Wu a 3 0 4 C ia Dg a V d o T c n lg n o u iai ntue E , U T, h n 4 0 7 ,hn ) il o i
型1 1 不 足 , 后 加 以改 进 。 2的 , 3 然
21 静止 图像 的峰值 信噪 比 .
峰 值 信 噪 比 (S R) 图像 质 量 评 价 中 最 常 用 的 指 标 , PN 是 其
定 义如 下 D I :

眼视 觉 特 性 ( S 模 型 等 。 根据 评 价 对象 的 不 同 , HV ) 图像 质 量 评
相关文档
最新文档