视频格式转换芯片中帧频提升算法及硬件实现

研究设计

电 子 测 量 技 术

ELECT RON IC M EASU REM ENT T ECH N OLOGY 第30卷第8期2007年8月

视频格式转换芯片中帧频提升算法及硬件实现*

王南飞 姚素英 陆 尧 史再峰

(天津大学电信学院专用集成电路设计中心 天津 300072)

摘 要:帧频提升算法因算法复杂、运算量大,一直是视频格式芯片硬件实现中的难点所在,针对国内同类型芯片因搜索方法的不足,造成的在某些特殊运动下图像效果差,提出了一种基于全搜索块匹配运动估计的帧频提升算法。另外通过加权重相关系数,有效地消除了噪声,通过自适应滤波插值算法,使算法具有更广泛的适应性,并且提供一种基于流水线、串并结合和DD A (Dig ital Differ ential A na lyzer,数字微分分析)算法的硬件实现结构。最后,整个设计通过了FP GA 验证,并且图像效果良好。

关键词:视频格式转换芯片;帧频提升;块匹配;硬件实现;DDA 中图分类号:T N941.3 文献标识码:A

Hardware implement and algorithm of frame rate up -conversion

integrated in a video format conversion chip

Wang Nanfei Y ao Suying Lu Y ao Shi Zaifeng

(ASIC Des ign C enter,Sch ool of Electronic Information Engineering,T ianjin U nivers ity,Tianjin 300072)

Abstract:F rame rate up -co nversio n is alw ays reg arded as the difficulty in the har dw are implement w hen designing the v ideo for mat conversio n chip for its heavy calculat ion and complex algo rithm.T o deal w ith t he sho rtag e of sear ch t echnique in the same ty pe chip,w hich causes unacceptable imag e quality at same special mo ve ty pes,a fr ame r ate up -co nv ersion algo rithm based on ful-l search blo ck matching inter po lation is pr oposed.In additio nal,combining ser ial and par allel and DDA algo rit hm,elim inate no ise is fulfilled by adding weighted co rr elation index ,self -adaptiv e interpolatio n is ado pted to enlar ge mor e use,and t he hardw are implement architecture is used based o n pipelining.F inally,the desig n is validated by F PGA ,and the image is g oo d.

Keywords:video fo rmat conver sion chip;f rame rate up -co nv ersio n;blo ck -matching;har dw are implement;DDA

*基金项目:天津市科委科技攻关项目(043184511)资助

0 引 言

随着科技的进步,各种各样的显示器在市场中出现,如PH P 、L CD 、DLP 、CRT 、RPTV 等。对大多数显示器来讲,视频信号的输入格式与本身规格存在很大差异,为了

解决上述格式间的不同,视频格式转换芯片[1]

成为显示系统不可缺少的关键芯片。

在帧频提升算法中,传统的场复制,场平均在对运动图像处理时会产生明显的运动抖动和图像的模糊[2],早已不能满足人们对图像质量的要求。在近些年中,人们不断提出各种基于块匹配运动估计和运动补偿帧插入的帧频提升方法。国内在该方面目前尚处于起步阶段,普遍采用小匹配块和快速搜索方法,图像效果较差,本文针对这一不足,并综合考虑算法的复杂性、硬件实现难度给出一种

基于小匹配块和全搜索块匹配帧频提升算法,有效地改善

了图像质量。另外,在硬件实现上,通过DDA 算法实现对任意比例的帧频变换的控制,采用串并结合的结构大大减小对硬源的利用,最后给出了FPGA 验证结果。

1 基于块匹配运动估计帧频提升算法

1.1 块匹配运动估计及搜索方法的选取

首先考虑的是匹配块的大小,较小的匹配块产生更多不正确的运动指针,但由于假定匹配块里运动指针一致,所以较大的匹配块不太精确。设计中采用较小的匹配块,因为较大的匹配块即使采用快速搜索方法,搜索出一个匹配块的运算次数是较小匹配块的5倍以上(如表1,其中d 为搜索范围,N 为匹配块大小),硬件资源消耗太大,根本无法满足视频格式转换芯片芯片级设计要求。另外,由于

#

14#

王南飞等:视频格式转换芯片中帧频提升算法及硬件实现

第8期

采用较小匹配块而产生的更多不正确运动指针通过加权重相关系数的方法来减少。

表1 各算法性能比较搜索方法

运算个数公式匹配块大小运算个数本设计全搜索(2d +1)2@N

2@2100文献3空间递归搜索9@N 3@381大匹配块

空间递归搜索

9@N

8@8

576

其次是搜索方法的问题,由于采用较小的匹配块,因此一些快速搜索方法[3]在某些特殊运动上很容易陷入局部最佳点,产生更多不正确的运动指针,使得图像效果差。以空间递归搜索[4]为例,该方法是在假设图像的运动方向一致的情况下,用前一个匹配块的运动指针作参考,只搜索其相邻的9个匹配块,但事实上通常会出现图像中运动方向不同的情况,如背景和物体向相反方向运动,这样反而会产生更多不正确的运动矢量,并且恢复周期非常长。针对这一问题,设计中采用全搜索的方法。并且由于匹配块较小,增加的运算量并不多(如表1),但性能上有很大的改进,而且对于各种运动情况下均适用。1.2 块匹配算法说明

在块匹配算法中,每帧图像被分成M @N 匹配块,并假定在一个块中所用像素的运动相同,并将当前帧中的参考块与前一帧中的候选块比较,得到最佳的匹配块。由于两帧相隔的时间间隔很短(以PAL 制式为例约20m s),也就说明两帧之间匹配块的运动矢量比较小。没有必要搜索所有的像素,这样需要设定一个水平和垂直的最大搜索范围来减小运算,搜索范围限定在(M +

2p )@(N +2q)个像素之中,算法描述如图1。

图1 算法描述

定义最佳匹配的搜索判据有以下几种,包括相关函数(Cross -Correlat ion Funct ion,CCF ),均方误差(Mean -

Square Error,MSE ),平均绝对差(M ean Absolute Difference,MA D )和绝对差之和(Sum of Absolute Difference,SAD)。在实际应用中,由于SAD 函数简单,便于硬件实现[5],而且具有令人满意的性能,因此应用最为广泛,设计中也采用这种算法。公式为:

SA D (x,y)=

E M-1i=0

E

N -1

j =0

|f (i,j ,n)-f (i +x ,j +y ,n -

1)|

式中:(x,y)为运动指针;-p [x [p ,-q [y [q;搜索窗范围为(M +2p )@(N +2q);f (i,j ,n)表示当前参考块的像素值;f (i +x ,j +y,n -1)表示前一帧搜索窗中候选块的像素值。

1.3 权重相关系数

在大面积亮度变化缓慢的地方,本算法匹配块较小,各个匹配块之间亮度值差异可能较小,噪声对上述算法匹配的结果影响很大,可能会产生一些不正确的运动指针。设计采用加权重相关系数(Weigh ted correlat ion index,WCI)的方法减小噪声的影响[6],降低了块匹配错误出现的概率。在WCI 中,假定大部分的运动指针都靠近(0,0)点。其公式如下:

W CI (x,y)=SAD (x ,y)(1+K (x 2

+y 2

)),(vx ,vy )=argmin (WCI (x ,y))。

式中:K 为弹性系数,由实验结果得出,一般在0.01到0.2之间。(v x ,v y)为运动指针坐标。

选择加权重相关系数后计算出的最小值的块为最佳匹配块。

1.4 自适应中值滤波帧插值

非运动补偿的帧插入虽然简单,但没有考虑像素点的运动信息,图像质量不能满足要求。运动补偿帧插入在运动区域分辨性很高,且能有效地消除闪烁,但仍会造成错误的运动指针和误差[7]。设计中采用自适应中值滤波的方法,如图1,以插补帧中需要插补的块为中点,在当前帧和前一帧相应位置的周围搜索匹配块,进行插补,能够最大程度的减小错误的运动指针所带来的误差。

如图1所示,由上述算法得到的运动指针,在假设指针场是平滑的情况下,采用中值滤波得到其平均值。公式如下:

f p (x,y,n -12

)=f (x +

v x 2,y +v y 2,n -1)+f (x -v x 2,y -v y

2

,n)2

另外,由于匹配块,搜索块等受大小限制,任何算法都会在某些特殊运动,和运动非常剧烈等极端情况下产生不匹配的情况,本算法虽然在绝大部分情况下均能适用,但仍不能排除某些极端情况的产生,因此本算法采用和场间均值加权的方法得到最终像素值,使得本算法具有广泛的适用性。公式如下:

#

15#