视频格式转换芯片中帧频提升算法及硬件实现
基于FPGA的视频转换系统设计
基于FPGA的视频转换系统设计任勇峰;王大伟;石永亮;于丽娜【摘要】为解决不同视频系统之间显示时序、色彩空间、帧频、分辨率等不一致的问题，设计了一种以FPGA为控制核心， DDR2 SDRAM为高速缓存的视频转换系统，该系统从图形工作站采集到DVI视频，先进入高速缓存模块，然后通过视频转换算法在FPGA内部完成RGB至YCbCr的色彩空间转换，最后控制硬件实现PAL视频输出，实现了由DVI视频向PAL视频的转换。
经长期测试证明：该系统稳定可靠，达到设计要求。
%In order to solve the display between different video systems in consistencies timing,color space,framerate,resolution,etc,a video conversion system was designed,which regards FPGA as the control core,DDR2 SDRAM for cache. the device system collected DVI video from workstation graphics,firstly enters the cache mod⁃ule,and then completes the color space conversion and frame rate conversion via video conversion algorithm within the FPGA,and finally controls hardware PAL video output,completed by the DVI video conversion to PAL video. The long-term test proves:the system is stable and reliable,and meet the design requirements.【期刊名称】《电子器件》【年(卷),期】2016(039)003【总页数】7页(P655-661)【关键词】视频转换;DVI;PAL;高速缓存;转换算法【作者】任勇峰;王大伟;石永亮;于丽娜【作者单位】中北大学仪器科学与动态测试教育部重点实验室;中北大学仪器科学与动态测试教育部重点实验室;中北大学仪器科学与动态测试教育部重点实验室;中北大学电子测试技术重点实验室，太原030051【正文语种】中文【中图分类】TP274.2随着多媒体信息技术的高速发展，视频技术多元化发展成为趋势，而同时也激化了视频系统之间互联的矛盾。
ffmpeg 转码插帧逻辑
ffmpeg 转码插帧逻辑FFmpeg是一款功能强大的开源多媒体处理工具，可以用于转码、剪辑、合并等多种操作。
在转码过程中，插帧是一个重要的逻辑，可以提高视频的流畅度和观看体验。
插帧是指在原始视频中插入额外的帧，以增加视频的帧率。
通过插入额外的帧，可以使视频的动作更加平滑，避免画面的卡顿和不连贯。
在FFmpeg中，可以通过设置相关参数来进行插帧的操作。
在进行插帧操作之前，首先需要了解原始视频的帧率。
帧率是指每秒钟显示的静态图像数量，通常以fps（Frames Per Second）表示。
常见的视频帧率有24fps、30fps、60fps等。
如果原始视频的帧率较低，可以通过插入额外的帧来提高帧率。
在FFmpeg中，可以使用以下命令进行插帧操作：```ffmpeg -i input.mp4 -r 60 output.mp4```其中，`-i input.mp4`指定输入文件为input.mp4，`-r 60`指定输出文件的帧率为60fps，`output.mp4`为输出文件名。
通过设置输出文件的帧率为60fps，就可以实现插帧操作。
需要注意的是，插帧操作可能会导致视频的文件大小增加，因为插入额外的帧会增加视频的数据量。
因此，在进行插帧操作时，需要权衡视频质量和文件大小。
除了插帧操作，FFmpeg还提供了丰富的转码功能，可以对视频进行压缩、裁剪、调整分辨率等操作。
通过合理使用FFmpeg的转码功能，可以满足不同场景下对视频的处理需求。
FFmpeg是一款功能强大的多媒体处理工具，插帧是其中重要的逻辑之一。
通过插入额外的帧，可以提高视频的帧率，使视频的动作更加平滑。
在进行插帧操作时，需要注意视频质量和文件大小的权衡，以达到最佳效果。
通过合理使用FFmpeg的转码功能，可以对视频进行多种处理操作，满足不同场景下的需求。
面向异步视频的嵌入式图像处理系统设计
面向异步视频的嵌入式图像处理系统设计作者：郑鑫来源：《现代电子技术》2012年第22期摘要：在此设计出一种基于DSP+FPGA技术的面向异步视频的嵌入式图像处理系统，以一种灵活的架构避免了帧间不同步方法对双口RAM显存的需求，既能够保证图像输出质量，又有利于提升图像处理的性能指标。
系统以FPGA为核心，连接DSP和4片帧存，通过帧存的循环复用将缓存和显存融合起来，省略了数据搬运的环节。
当输入帧频小于输出帧频时，从系统总体的角度分析帧存的状态转换规律；当输入帧频大于输出帧频时，从单个帧存的角度分析帧存的状态转换规律，并给出了可编程逻辑设计的源程序。
该方案已在产品中应用，通过升级能够满足更高的技术要求。
关键词：异步视频；图像处理；嵌入式系统；FPGA；帧存切换中图分类号：TN91934；TP391 文献标识码：A 文章编号：1004373X（2012）22001404收稿日期：20120612 图像处理系统输入视频信息，运行图像处理算法，输出处理后的图像信号，实现目标检测、跟踪、识别等功能。
系统的输入和输出常常是不同的视频格式，二者由于帧频的不同，处于异步的状态。
为了提高异步视频时输出画面的质量，本文展开了深入的研究，设计出一种基于DSP+FPGA技术的面向异步视频的嵌入式图像处理系统，提高了输出图像的视觉效果，结构简洁，具有小巧灵活的优点。
1异步视频的处理方法如果图像处理系统的输入为复合模拟视频，帧频25Hz；输出为XGA格式，帧频60 Hz；一幅输入画面平均产生2.4次输出画面，此时系统处理的就是异步视频，有3种处理方法：帧内不同步方法、帧间不同步方法和准同步方法。
（1）帧内不同步方法。
输出帧以输入帧的帧频进行切换，当一帧输入数据准备好后，输出帧就切换到新一帧的视频数据，不管此时输出帧进行到了哪个时刻。
这种模式中输入帧和输出帧处于帧内的不同步状态，即输出帧的画面可能由非同一幅输入帧画面组成。
当相邻的两帧图像存在较大差异（目标与传感器有较高的相对运动）时，输出帧的画面会出现明显的分界。
视频帧率转换专利技术综述
视频帧率转换专利技术综述视频帧率转换是一种将视频的帧率从一个数值转换为另一个数值的技术，其主要实现方式是对原始视频进行插帧或者删除帧的处理。
目前，这种技术已经被广泛运用于电视、电影、广告等领域，以提升视频画面质量和观看体验。
下面我将从技术原理、发展趋势和应用场景三个方面来对视频帧率转换的专利技术进行综述。
技术原理：视频帧率转换技术常采用时间域插值或像素域插值的方式进行处理。
时间域插值是指将原始视频的帧率增加或减少，例如将30帧/秒的视频转换为60帧/秒或者15帧/秒；像素域插值是指通过对视频的像素进行重新排序或者补全来实现帧数的变更。
另外，还有一些增加了神经网络算法的视频帧率转换技术，能够更为精确地模拟出新帧。
发展趋势：随着人们对清晰、流畅的视觉效果要求不断提高，视频帧率转换技术也会不断发展和优化。
目前主要的发展趋势包括：1. 提高转换精度和稳定性，避免画面出现抖动或者画面锯齿现象。
2. 将视频镜头特效、人物动作等异于静态的物体进行跟踪和分析，从而在拍摄中自动生成高质量的缺失帧。
3. 进一步优化神经网络算法，提高计算效率和准确度。
4. 将视频帧率转换技术应用于虚拟现实、增强现实等新领域，提高视觉体验感。
应用场景：视频帧率转换技术广泛应用于电影、电视剧、广告、视频直播、游戏等领域，其中主要的应用场景包括：1. 改善视频画面质量和观看体验，例如将低帧率的电视剧转换为高帧率的电影，提高画面流畅度。
2. 在游戏开发中，将低帧率的游戏画面转换为高帧率，提高画面稳定性和玩家体验感。
3. 在视频直播中，将高带宽视频转换为低带宽视频，以适应不同观众的网络带宽需求。
4. 将高帧率视频转换为低帧率视频，以满足节能要求或者延长摄像机电量等。
综上所述，视频帧率转换技术是一种十分重要的视频处理技术，其应用范围和发展前景广泛。
只有通过不断探索和优化，才能更好地满足用户对视频画面质量和观看体验的不断追求。
基于双向运动补偿的帧速率上变换算法
ｌ 概 述
帧速率上变换 也称 为帧频提升 ，广泛应用于低 比特率视 频通信和液晶显示中运 动拖尾 问题 的解决等领域 。帧速率上 变换算法主要包括 ：（） １非运动补偿 内插 ，其 内插帧 的获得不 考虑视频帧内物体 的运动 ，如帧重复法和帧平均法 ；（） ２运动 补偿 内插（ Ｉ ＭＣ ） 算法 ， 该类算法所获得 的内插帧质量取决于运 动估计的精度。非运动补偿 内插不适合处理场景运动较大的 视频序列 ，在 实际应 用中多采用运动补偿 内插算法 。 运动估计是运动补偿 内插算法 中的关键环节 ，运动估计 的精度直 接决 定内插 帧的质量 。尽管光流法可以获 得高精 度
Ｅ ｐｒ ｎａ ｒｓｌ ｈ ｗ ｔａ ｔｅ ｐｏｏ ｅ ｌｏｉ ｍ ｒｖｄ ｓｂｔ ｒｓｂｅｔ ｅａ ｄ ｏｊｃｉｅ ｑ ａｉ ， ｅ ｏ ￣ｅ ｏ ｔｅ ｃｎ ｅ ｔ ｎ ｌ ｘ ｅｉ ｔｌ ｅｕｔ ｓｏ ｈ ｔｈ ｒｐ ｓｄ ａｇ ｒｈ ｐｏ ｉｅ ｅ ｅ ｕｊｃｉ ｎ ｂｅｔ ｕ ｌ ｗｈ ｎ ｃｍｐ ｄ ｔ ｏ ｖ ｎｉ ａ ｍｅ ｓ ｔ ｔ ｖ ｖ ｔ ｙ ｈ ｏ
（．ｎｔｕｅ ｆｍａｅＣ ｍｍｕ ｉａｉｎａｄＩｆｒ ｔ ｎＰｏｅｓ ｇ Ｄ ｐｒ ｎ ｆ ｌｃ ｏ ｉ ｎ ｉｅｒ ｇ Ｓ ａｇ ａＪ ｏｏ ｇＵｎｖ ｒｉ ， １ Ｉｓｉ ｔｏ Ｉ ｇ ｏ ｔ ｎｃｔ ｎ ｏｍａｉ ｒｃｓｉ ， ｅ ａｔ ｔ Ｅｅｔ ｎｃ ｇｎ ｅｉ ， ｈｎ ｈ ｉ ｉ ｔｎ ｉｅｓｙ ｏ ｎ ｏ ｎ ｍｅ ｏ ｒ Ｅ ｎ ａ ｔ
向量，利用可变尺寸块运动 向量场估 计逐级对运动 向量 求精 ，采取 自适应重叠块补偿方法解决帧频提升过程 中产 生的重叠及空洞问题 ，提
高双向运动 向量 的精度 ，减小块效应 。实验结果表明 ，与传统的帧频提升算法相 比，该算法在 内插 图像主、客观质量方面都有较大提升。 关健词 ：帧速率上变换 ；双 向运动补偿 ；可变尺寸块 ；重叠块运动补偿
HD-SDI数字视频信号处理及传输的FPGA设计与实现
《单片机原理与接口技术》期中论文论文题目HD-SDI数字视频信号处理及传输的FPGA设计与实现姓名学号学院电气工程学院专业班级2008级通信工程目录引言 (3)1.HD-SD I卡电路结构 (4)2.HD-SD I数字行、场定时关系 (5)3.视频数据的提取及处理 (9)4.DMA控制模块 (13)5.PLX9656局部总线到Avalon总线转换模块 (13)6.实验调试 (14)7.结束语 (15)参考文献: (16)HD-SD I数字视频信号处理及传输的FPGA设计与实现专业：通信工程姓名：黄鑫摘要：设计了一种符合SMPTE292M标准的高清晰度数字电视信号采集传输用的HD-SD I卡,介绍了其电路结构,对HD-SD I中的视频数据、视频定时基准码、行号数据、校验码进行了分析,并就数字视频识别和提取模块、DMA传输模块和PLX9656 局部总线到Avalon总线的转换模块进行了设计。
FPGA采用Altera公司的StratixEP1S25,实验调试结果表明, HD-SD I数字视频信号处理及传输工作稳定可靠。
关键词:高清晰度电视; 比特串行数字接口; HD-SD I; 现场可编程门阵列FPGA design and implementation of HD-SD I digital video signalprocessing and transportAbstract: This paper designed a newly developed SDI card for HDTV of SMPTE292M, and gave the construction of the HD-SD I card’s circuits. Gave detailed analyses of video data, timing reference codes, line number data, DMA transport，conversion between PLX9656 local bus and Avalon bus. This paper also p resented the design of these model.The design adopted Altera’s Stratix EP1S25 as FPGA, and experimental results show that the processing and transport of HD-SD I card isstabilization and trustiness.Key words: HD-SD I; FPGA; bit-serial digital interface引言高清晰度数字电视节目的制作在我国还处于起步阶段。
ffmpeg 动变帧率和固定帧率编码
ffmpeg 动变帧率和固定帧率编码【实用版】目录1.概述2.动变帧率编码3.固定帧率编码4.编码设置5.总结正文1.概述FFmpeg 是一款功能强大的开源音视频处理软件，广泛应用于视频编解码、处理、转换等领域。
在视频编码过程中，帧率是一个重要参数，影响着视频的播放速度和质量。
本文将介绍如何使用 FFmpeg 对动变帧率和固定帧率进行编码。
2.动变帧率编码动变帧率编码是指在编码过程中，根据视频内容的运动情况动态调整帧率。
这种编码方式可以在保证视频质量的同时降低码率，提高压缩效果。
对于运动较大的视频内容，动变帧率编码能够更好地体现其优势。
使用 FFmpeg 进行动变帧率编码，可以通过设置 `vbv_buffer_size` 和 `max_bitrate` 参数实现。
其中，`vbv_buffer_size` 决定了编码器如何调整码率以适应视频内容的变化，取值范围为 0-65535。
取值越小，动态范围越大，但可能导致视频卡顿。
`max_bitrate` 参数则限制了编码器的最大码率，取值越小，压缩效果越好，但可能导致视频质量下降。
示例命令：```ffmpeg -i input.mp4 -c:v libx264 -b:v 1000k -vbv_buffer_size6 -max_bitrate 1500k output.mp4```3.固定帧率编码固定帧率编码是指在编码过程中，保持帧率不变。
这种编码方式简单易实现，但对运动较大的视频内容可能导致视频卡顿、模糊等问题。
使用 FFmpeg 进行固定帧率编码，只需要设置 `帧率` 参数即可。
帧率的取值应根据视频内容和播放设备来选择，常见的帧率有 24、25、30、50、60 等。
示例命令：```ffmpeg -i input.mp4 -c:v libx264 -b:v 1000k -帧率 25 output.mp4 ```4.编码设置在进行 FFmpeg 编码时，还可以根据需要设置其他参数，如视频编码格式、码率、分辨率等。
应用MMX技术实现数字视频格式的快速转换
应用MMX技术实现数字视频格式的快速转换
曾昭平;张文军
【期刊名称】《计算机工程》
【年(卷),期】2001(027)006
【摘要】详细地介绍了数字视频的格式和适合多媒体计算的MMX技术,并采用MMX技术实现了不同格式的数字视频之间的转换,大大提高了运算速度,在作者自行开发的图象压缩和远程传输系统中获得良好的实时效果.
【总页数】2页(P81-82)
【作者】曾昭平;张文军
【作者单位】上海交通大学图象通信所,;上海交通大学图象通信所,
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.一种BT.656到XGA视频格式转换结构的FPGA实现 [J], 王经典;杨爱良
2.一种视频格式转换电路的设计与实现 [J], 柴屹华;葛晨阳;冯华
3.数字视频格式的转换及转码 [J], 冯传岗
4.数字电视中的视频格式转换技术 [J], 刘壮;余健
5.视频格式转换芯片中帧频提升算法及硬件实现 [J], 王南飞;姚素英;陆尧;史再峰因版权原因，仅展示原文概要，查看原文内容请购买。
视频帧率上转换技术综述
一
这样 通过序 列之 间配准 就可 以实现信 息 的互补 ，从 而达
到帧率 增强 的 目的。这种 方法 的优 点是 通过 多序列 配准 提 高 帧率 避 免 了复杂 的运动分 析 ； 是大 多数情 况下 但 考 虑到 成本 、功耗 等问题 ，视频 源都是 单序 列 ，无 法实 施 多序列配准 ．这也是该方法的局 。Ｃ ｏ 等人通过在 ｈｉ
间位置 ，在这 些位 置上 ．需 要根据 前后 帧 的内容预 测 出
一
待插帧 的前后帧之间使用双向运动估计来得到更精 确的运
动 向量 。如 图 ３所示 ．对于中间帧的每个待预测块 ，在 前
幅新的帧 （ 图 ２所示 ） 如 。序列 图像和视频 中具有 的丰
更好的视觉质量 。
一
图 ２ 帧 率 上 转 换 示 意 图
１ 非运 动补偿 帧率上转换算法 ．
非运 动补 偿 算 法根 据参 考 的低 帧率 视 频分 为 两类 ， 类是针 对单视 频序 列 的帧重复 、帧平均 等方 法 ，不考
虑 场景 的运 动 直接 通过 复 制或 平均 得 到 内插 的中 间帧。 这类方 法运算速度快 ，可以应用在 实时性要求高 的领域 ， 在处理 静 止场景 时也可 以得 到较好 的结 果 但是 在处理 运动 物体 时会产 生运动 模糊 。还 有一 类主要 针对 多视频 序列 ，这类 方法 的源视频 为不 同角度 的摄像机 拍摄 的同
一
（）视频 编码 中减 少 时间冗余 度。在 低 比特率视 频 ２
通信 中 （ 如远程视频 会议 ） 比 ，视 频 编 码 时 常 需 要 通 过 时
域 下采样 满足信 道 带宽 的要求 ，降低传 输帧率 （ 至每 降
场 景 的低 帧率视 频 ，这 些低 帧率视频 在 时间轴 上并不
具有场帧检测的自适应帧频提升算法及VLSI实现
正等视频处理模块及 四路嵌入 式 Ｄ Ａ等技术， ／ 并采用 ０３ 肿１ ＭＯ ．５ Ｃ Ｓ工艺， Ｔ ＭＣ流片， 在 Ｓ 具有 潜在 的商 业应 用价值
关键词 ：帧频 提 升 ； 场帧检测 ； 色瞬 态改 善 ； 彩 色度 空 阍转换 ； ７校正
中围分 类号 ：Ｔ ９ １３ 文献标 识码 ：Ａ Ｎ ４．
ｓ ｅ ｉ ｕｅ ｉ ｃ ｒ．Ｔｈ ｌｏｉ ｍ ｆ ｅ ｔａ ｄ ｃｎ ｂ ａ ｌ ｕｅ ｎｈｒ ｖ ｐｔ ｉ ａ ｒ ｈ ｉ ｅ＆ｌ ｎ ａ ｅｅｇ ｙ ｓｄ ｉ ｄ ｓ ｇ ｔ ｓ ｎ
ｉ ｐ ｅ ｔ ｉｎ ｒ １ ｎａ ｏ ．Ｏｔｅ ｎ ￣ｎ ｔ ｈｒ
ｖｄ ｏ ｐ ｏ ｅｓｎ ｌｏ ｉ ｍｓａ ｓ ｎｅ ｒｔｄ ｉ ｈｓｃ ｉ ｎ ｌｄｎ ｌｃ ／ ｈｔ ｅ ｅ ｐ ｎ ｉｎ ｉｅ ｒ ｃｓｉｇ ａｇ ｒｔ ｒ ａ ｏ ｉｔｇａ ｅ ｎ ｔ ｉ ｈｐ，ｉｃｕ ｉｇ Ｂ ａ ｋ Ｗ ｉ Ｌ ｖ ｌ ｈ ｅ ｌ ｅ Ｅｘ ａ ｓｏ ，
ｓ ａ ｅ∞ ； 优 打 ｃｒ ｅｔｏ ｐｃ 删 瑚 ｍ ｏ ｒｃｉ
扫描 格 式 转 换 已 成 为 相 关领 域 的核 心 技 术 之
ｓ ｎ ａｅｐ ｅｅ ｔｄ．Ｔｈ ｌｏｉｈ ｏ ｄ ｐ ｉｅｆａ ｅｒｔ ｐ ｃ ｎ ｅ ｓ ｎ ｗｉ ｉ－ｒｍｅ ｄ ｔ ｔ ｎ ｆｒ ｉ ｒ ｒ ｓｎ ｅ ｏ ｅａ ｒ ｍ ｆａ ａ ｔｖ ｒｍ ａｅｕ ｏ ｖ ｒｉ ｔ ｆ ｄ ｆ ｇ ｔ ｏ ｈ ａ ｅ￣ ｉ ｏ ｏ
Ｉ ｔｕｅｏ ｔ ６ ｌ ｎ ｌｅｍ ｄＲ ｂｔ ｓ ｉ Ｊａｔｎ 忙 ｒ竹． ａ １ ０ ９ Ｃ ｉａ ｒ ｉ ｔ ｆ ｉ Ｂ Ｉｒｌ ｔｅｍｌ ｏ ｏｉ ．Ｘ ｉ ： ｇＵ ｍ ｔ Ａｒｆ ｅ ｇ ｉ ｃ 姐 ｏｏ ｓ Ⅺ ｎ７ ０ ４ ． ｈｎ ） ｉ
视频格式转换芯片中帧频提升算法及硬件实现
关键词 ：视频格式转换芯片 ；帧频提升 ；块匹配 ；硬件实现 ；Ｄ Ａ Ｄ
中图分类号 ：Ｔ ４． Ｎ９ １３ 文献标 识码 ：Ａ
Ｈａ ｄ ｒ ｍ ｐｌｍ ｅ ｎ ｌｏ ｉｈ ｆｆ ａ ｅｒ ｔ ｐ－ｏ ｖ ｒ ｉ ｎ ｒ ｗａ ｅｉ ｅ ｎｔａ ｄ ａ ｇ ｒｔ ｍ ｏ ｒ ｍ ａ ｅｕ ｃ ｎ ｅ ｓｏ ｉ ｅ ｒ ｔｄ ｉ ｉ ｏ ｆ ｒ ａ ｏ ｅ ｓｏ ｈｉ ｎｔｇ ａ ｅ ｎ ａ ｖｄｅ ｏ ｍ ｔｃ ｎｖ ｒ ｉｎ ｃ ｐ
维普资讯
电
子
测
量技Leabharlann 术 第３ ０卷 第 ８期
２０ 年 ８月 ０７
ＥＬ ＥＣＴＲ０ＮＩ Ｍ ＥＡＳ Ｃ ＵＲＥＭ ＥＮＴ ＴＥＣＨ Ｎ０ＬＯＧＹ
视 频 格 式 转 换 芯 片 中帧 频 提 升 算 法及 硬 件 实现 ＊
王 南 飞 姚 素英 陆 尧 史再 峰
Ｗ ａ ｇ Ｎａ ｆｉ Ｙａ ｙｎ Ｌｕ Ｙａ Ｓ ｉ ａｆｎ ｎ ｎｅ ｏＳｕ ｉｇ ｏ ｈ ｉ ｇ Ｚ ｅ
（ Ｉ ｅｉｎＣ ｎｅ ，ｃ ｏ ｌ ｆＥｅｔ ｎｃＩｆｒ ｔ ｎＥ ｇｎｅｉｇ Ｔｉ ｊ ｉｅｓ ｙ Ｔａｊ ０ ０ ２ ＡＳＣ Ｄ ｓ ｅ ｔｒＳ ｈ ｏ ｏ ｌ ｒ ｉ ｏｍａｉ ｎ ｉｅｒ ， ａ ｉ Ｕｎｖｒｉ ， ｉｎｉ ３ ０ ７ ） ｇ ｃｏ ｎ ｏ ｎ ｎｎ ｔ ｎ
（ 天津 大学电信 学院专用集成 电路 设计 中心 天津 ３０ ７ ） ０ ０ ２
摘 要 ：帧频提升算法 因算法复杂 、 运算量 大 ， 一直是视频格式 芯片硬件实 现 中的难点 所在 ， 针对 国内同类 型芯 片因 搜索方法的不足 ， 的在某些特殊运 动下图像效果差 ， 出了一种基于全搜索块 匹配运动估计 的帧频提升算法 。另 造成 提
视频格式转换资源最小FPGA解决方案
第30卷 第2期2007年4月电子器件Ch inese Jou r nal Of Elect ro n DevicesVol.30 No.2Ap r.2007A Most Compact FP GA Design f or Video For ma t Conver sionZ H E N G Y o ng 2j i n ,W U N ai 2l i n g(Lab 601,Elect roni c S cience and Engi neerin g Col lege ,S EU,Nanj i ng 210096,Chi na)Abstract :A most compact FP GA designing sche me of de 2interlaci ng ,f ra me rat e conver sion and rescali ng for interlace d di gi tal vi deo wit h t he least consumption of F P G A resources and outer RAM i s p rovi ded.The scheme si mult aneousl y pe rfor ms de 2interlaci ng ,f rame rate conver sion and rescaling ,which are formerly fulfilled one by one ,wit h a pai r of RA M operated by a Pi ng 2Pong mechani sm ,achievi ng t he mini mum us 2age of resources.In t he sche me ,de 2i nt erlacing use s a met hod of field combi ning while frame rate conver 2sion adopt s t he way of f ra me repeati ng and for rescaling ,by means of even i nt erpolat io n.K ey w or ds :de 2i nt erlacing ;f ra me rate conver sion ;rescali ng ;FP G A EEACC :6420视频格式转换资源最小FP GA 解决方案郑永进,吴迺陵(东南大学电子科学与工程学院601教研室,南京210096)收稿日期6225作者简介郑永进(2),男,硕士研究生,现主要研究视频格式转换算法及其F G 实现,z 2yj @j 摘 要:提供了对隔行数字视频进行去隔行,帧频转换,分辨率变换的最简FP G A 设计方案.达到F PG A 内部资源和外部RAM耗用量都为最小的目的.该方案通过一对乒乓工作的RAM 将去隔行,帧频转换,分辨率变换这三项本需分级完成的处理同时实现,使得资源耗用得以最小化.其中去隔行采用场合并方式,帧频转换采用帧重复方式,分辨率变换采用均匀插值方式.关键词:去隔行;帧频转换;分辨率变换;F P G A 中图分类号:TN 941.3 文献标识码:A 文章编号:100529490(2007)022******* 去隔行、帧频转换、分辨率变换是视频格式转换的基本内容[1,6],即将隔行数字信号转换成特定帧频和分辨率的逐行信号.本文给出其最简FP GA [2]解决方案.1 实现内容利用FPG A 和外接RAM 将分辨率为720×573帧频为25H z (场频为50H z)的RG B 隔行视频数字信号(其它格式信号同理)转换成分辨率为1024×768帧频和场频都为60H z 的逐行信号(可修改参数生成其它分辨率和帧频的逐行信号)[325],可接PDP 或其它逐行显示设备显示.RAM 使用量:8bit ×512k (19位地址线,高9位为行地址,低10位为像素地址)×3片(红、绿、蓝;输入为Y UV 信号时只需片)×组(乒乓工作)本方案不采用任何算法处理,只利用存取控制实现去隔行、帧频转换、分辨率变换,达到F PGA 内部资源和RAM 耗用量都为最小.2 方案详述A 、B 两组RAM 采用乒乓工作方式,即以原始输入信号场为周期,交替写入数据.乒乓工作切换的频率为原始输入信号场频50Hz.具体方案描述如下.2.1 去隔行(1)方法用场合并方式实现去隔行[7],每帧(场)输出数据由最新输入的两场原始信号组成,即每帧更新一半行数(全奇或全偶行).每写入一场原始信号就读出一帧完整信号见图1和图2.该方法相当于非运动补偿去隔行算法中的时间:200090:1979P A heng public1.ptt.s.c n.22.图1 原始逐行信号图2 去隔行后信号滤波线性算法.(2)具体实现用场合并方式实现去隔行,奇场输入信号数据写入RA M A中,偶场则写入RAM B中,以行为单位交替读出两组RAM中数据.因为每场数据输出时要交替读取两组RAM,同时原始信号数据也要写入某一组RAM中.这便要求对输入的原始信号进行缓存,并在该组RAM不处于读取状态(即读另一组RAM)时将缓存数据写入.由于输出信号场频为原始信号的2倍,即输出信号行频和像素频率也是原始信号的2倍.所以只需以与输出信号相同的像素频率在RAM空闲时将缓存数据写入即可,即缓存的读出速率也为写入速率的2倍,见图3.图3 场合并2.2 帧频转换(1)方法要求每写入5帧5z的信号同时读出6帧6z的信号采用帧重复方式,每读出5帧写入的原始信号数据后就再重复读出1帧相同数据.即每写入1帧原始信号的同时,读出1.2帧数据,输出信号每隔5帧重复1帧,见图4.图4 帧重复(2)具体实现每输入一帧原始信号,进行一次乒乓工作切换.(不考虑隔行影响,或输入信号已为去隔行后信号,即输入信号一场等于一帧.)一个乒乓工作周期内,当向写RAM写入一帧原始信号时,从另一RAM读出未读的数据,完成当前帧输出后再从写RAM首行起读出数据,开始新一帧输出.即读RAM行地址计数器从原值继续计至行最大值后再从0开始重新计数,共完成约1.2个计数周期.这样每经过5次乒乓工作切换(一个循环),读RAM的行地址计数器计满6个周期,输出6帧数据.只要使输出场同步信号VS的6个周期与输入场消隐信号VBL K的5个周期对齐,且VS低电平宽度小于VBL K高电平宽度,就能保证每输出5帧已更新的RAM数据后,就重复输出1帧(对齐后的输出帧)未更新的RAM数据.即输出信号每隔5帧重复1帧,见图5.图5 帧对齐在RA M写入阶段的后期,其已存数据也要被连续读出,故输入输出都需使用缓存.输入缓存读出速率、输出缓存写入速率等于2倍输出像素频率即可.(2.4节综合实现时只需等于输出像素频率)2.3 分辨率变换(1)方法分辨率增加后,每场行数增加,行同步频率增加,每场需要产生新的行数据;每行像素数量增加,像素时钟频率增加,每行需要产生新的像素值.采用均匀插值方式,即对原始信号中的某些行进行重复读取,对所有行的某些像素进行重复读取[8],见图6和图7.()具体实现R M中存放原始信号数据,产生有重复的地址计数值作为R M的读取地址,实现某些行像素086电 子 器 件第30卷0H0H.2AA/图6 原始低分辨率信号图7 分辨率变换后信号的重复读取.为保证变换后图像拉伸均匀,重复的地址应均匀出现,见图8.图8 均匀重复地址由于分辨率变换的比值不能化简成N :N +1(N 为整数)的形式,如720:1024,573:768.所以地址产生时不能采用每隔固定长度就重复一次当前值的方法.本方案中采用分辨率变换值累加比较法.设分辨率变换后的像素时钟频率为f ,每行像素数量变换比值为M:N (M <N).用f 从0开始计数,并从初值0开始每一时钟周期进行模N 累加M 计算.即加法器每个时钟上升沿将初值(一开始为0)加M ,若结果小于N ,则直接作为下次累加初值;若结果大于等于N ,则结果减去N 作为下次累加初值.根据累加结果对f 的计数进行计数使能控制:当累加结果小于N 时,不允许计数;当累加结果大于等于N 时,允许计数.这样每N 次累加中会有M 次允许计数,即每N 个时钟均匀产生了M 个有重复的计数值,该计数值就作为读取RAM 的像素地址.行数变换同理,对分辨率变换后的行同步计数,并根据累加去模计算结果进行计数使能控制,计数值作为读取RAM 的行地址,见图9.图 有重复计数值产生2.4 去隔行+帧频转换+分辨率变换(1)方法去隔行、帧频转换、分辨率变换要全部处理时,可采用上述方案分级实现,即每级完成一项功能.这样实现简单,但会耗费较多RA M 资源.现仍使用一组乒乓工作的RAM ,将上述三种方式同时实现:每帧输出信号由最近的两场原始信号经均匀插值后合并而成,且每写入5场原始信号就产生5+1帧分辨率变换后的输出信号.(2)具体实现RAM A 写入经缓存后的奇场原始信号数据,RA M B 写入经缓存后的偶场原始信号数据.产生有重复的行地址和像素地址轮流对两组RAM 按行读取,读出数据经缓存后输出;并且每输入5场原始信号,读RAM 的行地址计数器计满6个周期.①同步信号 输出信号像素时钟为CL K_h (频率确定,可由F PGA 内部PLL 生成).依据转换后的每行像素数,对CL K_h 计数生成输出行同步HS_h ;依据转换后的每场行数,对HS_h 计数生成输出场同步V S_h ,并使其低电平宽度小于输入场消隐信号VBL K 高电平宽度,且其上升沿每隔6周期就与VBL K 5周期后的下降沿对齐(同图5).②内部缓存 为每一颜色(R/G /B )开辟两行输入缓存空间(1024byt e ×2)对输入原始信号进行缓存.也采用乒乓工作方式,即两行缓存轮流写入一行输入原始信号数据时.缓存的数据写入时钟为原始信号像素时钟,数据读出时钟即写入RAM 的时钟为输出信号像素时钟CL K _h.为每一颜色(R/G /B)开辟一行输出缓存空间(1024byt e )对RAM 读出信号进行缓存.数据写入、读出时钟都为CL K _h.③工作过程 产生有重复的行地址和像素地址(均从0开始)对两组RAM 进行读取,读取时钟为CL K _h ,并由行地址生成部分得到行重复标志(即行地址重复).行地址最低位作为RAM 的读取选择.即行地址为0、2、4……且非重复行时读取RA M A 中数据;行地址为1、3、5……且非重复行时读取RAM B 中数据.读出数据均写入输出缓存,重复读取时无数据写入,即缓存数据保持不变,同样使输出重复一行.输入原始信号以行为单位交替写入两行输入缓存中.输入为奇场时:当RAM A 不处于读取状态,即输出VBI 期间或行地址为、3、5……或为重复的、、……时,若输入缓存已写满一行新数据,则将该数据写入R M 对应行中;输入为偶场时当R M B186第2期郑永进,吴迺陵:视频格式转换资源最小F P G A 解决方案91024A A :A不处于读取状态,即输出VBI期间或行地址为0、2、4……或为重复的1、3、5……时,若输入缓存已写满一行新数据,则将该数据写入RAM B对应行中.写入时钟都为C L K_h,也由HS_h同步.由于最多每隔一个输出行周期对应RAM就可写入缓存中的数据,且写入一行数据所用的时间小于缓存乒乓工作切换周期的一半,因此所有缓存的数据都会写入RAM的相应行中,即不会有输入原始信号数据丢失.由于V S_h上升沿每6周期就与VBL K下降沿对齐,且V S_h低电平宽度小于VBL K高电平宽度,所以对齐前后的两帧输出数据完全相同,每写入5场原始信号就产生5+1帧输出信号.图10、11为综合实现示意(行数:18->22).图10 去隔行+帧频转换+分辨率变换示意21/2图11 去隔行+帧频转换+分辨率变换示意22/2 奇场信号输入(当前循环第3场):9～17输完第3帧,VB I,0～13输出第4帧.偶场信号输入(当前循环第4场):14～17输完第4帧,VB I,0～17输出第5帧.奇场信号输入(当前循环第5场):VB I,0～13输出完第6帧(同下一循环第1帧),VB I.注:VB I即输出场同步(VS_h低电平阶段).本方案实现的关键在于生成符合要求的同步信号以及利用行重复标志和行地址最低位控制RAM 的行读写切换.其中行重复标志可由行地址生成单元中的计数使能信号得到.3 程序实现结果本方案中使用的F P G A为Cyclone EP1C6 (EP1C6Q240C8).使用6片512k×8的RAM(若处理Y U V信号只需4片即可).程序中将读RAM行地址生成单元中M值设为573、N值设为768;将读R AM像素地址生成单元中M值设为720、N值设为1024.实现分辨率720×573ϖ1024×768的变换.由于是不采用任何算法处理,只利用存取控制的最简解决方案,故程序耗用资源极少,只使用了Cyclone EP1C6Q240C8的222个逻辑单元,为总逻辑单元数5980的3%.参考文献:[1] 余兆明主编,数字电视和高清晰度电视[M],人民邮电出版社,1997.[2] 褚振勇、翁木云,FP GA设计及应用[M],西安电子科技大学出版社,2002,7.[3] 张光烈,郑南宁,吴勇,张霞,面向格式转换的数字视频处理方法及其硬件实现[J],中国工程科学,2001,3(6).[4] 朱听荣,数字视频后处理芯片的算法研究[D],浙江大学硕士毕业论文,2003.[5] 周源华,视频格式转换算法研究,上海交通大学硕士学位论文[D],2003.[6] A.Murat Tekalp,Digit al Vi deo Proces s i ng[M],Prenti ce2Hall,Inc.1996.[7] de haan Gand Bellers E B,De2Interl acing of Video Dat a[J],IEEETr.On C o nsum er El ect ronics,Augus t1997,43(3):8192825. [8] Hent s chel,C,Generic Met hod for2D Image Resizi ng wit hS i mple,No n2Separabl e F i lt er s[C]//IEEE Int ernatio nal Con2 ference o n,J une2003:14215,17219.286电 子 器 件第30卷。
视频转换芯片
视频转换芯片视频转换芯片（Video Conversion Chip）是一种集成电路芯片，用于处理不同格式的视频信号转换和输出。
随着数字多媒体技术的飞速发展和应用的广泛推广，视频转换芯片在数字电视、智能手机、电脑、摄像机、监控系统等领域有着重要的应用。
视频转换芯片可以将各种不同格式的视频信号转换成目标设备所需的标准视频信号输出。
这些不同格式的视频信号可能来自不同的设备，如DVD播放器、电视接收器、摄像机和计算机等。
通过使用视频转换芯片，用户可以将这些视频信号转换为适合于自己设备的标准视频信号，从而实现各种设备之间的互联互通。
视频转换芯片通常具有以下几个主要功能：1. 视频格式转换：视频转换芯片能够将一种视频格式的信号转换成另一种视频格式的信号。
常见的视频格式包括MPEG-2、MPEG-4、H.264等。
通过视频转换芯片，用户可以将一种格式的视频信号转换为其他格式，以适应不同设备的需求。
2. 分辨率转换：分辨率是视频图像包含的像素个数，也是视频画面清晰度的重要指标。
视频转换芯片可以实现不同分辨率之间的转换，比如将高清视频转换为标清视频或将标清视频转换为高清视频。
这样用户就可以根据设备的屏幕分辨率要求来进行转换。
3. 色彩空间转换：视频信号的色彩空间表示了视频图像中不同颜色分量的表示方式。
常见的色彩空间包括RGB、YUV、YCbCr等。
视频转换芯片可以实现不同色彩空间之间的转换，从而满足不同设备对于色彩表示方式的需求。
4. 音视频同步：视频转换芯片能够实现音视频信号的同步输出，确保音频和视频的时间同步。
这对于实现高质量的视频播放和录制是非常重要的。
5. 图像增强和修复：视频转换芯片能够对视频图像进行增强和修复，以提升视频质量。
例如，可以对图像进行去噪、锐化、对比度增强等处理，使视频画面更加清晰和鲜艳。
视频转换芯片的应用十分广泛。
在数字电视领域，视频转换芯片用于将数字电视信号转换为普通电视机可以接收的模拟信号。
单片机与视频处理实现视频编解码和像处理
单片机与视频处理实现视频编解码和像处理单片机与视频处理实现视频编解码和图像处理随着科技的发展，视频编解码和图像处理已经成为了人们生活中不可或缺的一部分。
而单片机作为一种嵌入式系统的核心控制器，也在各个领域中被广泛应用。
本文将介绍如何利用单片机与视频处理技术实现视频编解码和图像处理的方法和步骤。
一、视频编解码的原理与实现方法视频编解码是将视频信号进行压缩和解压缩的过程，目的是降低数据量，提高传输和存储效率。
在单片机中实现视频编解码需要以下几个步骤：1. 视频信号采集：利用视频采集芯片将外部视频信号转化为数字信号，并通过串口或者并口传输给单片机。
2. 图像压缩编码：将采集到的视频信号进行压缩编码处理，常用的编码算法有MPEG、H.264等。
在单片机中，可以实现一些简单的编码算法，如JPEG压缩算法。
3. 数据传输和存储：将压缩编码后的数据通过串口或者并口传输到其他设备或存储介质中，以供解码和播放。
4. 解码和解压缩：将接收到的压缩编码数据进行解码和解压缩处理，恢复原始的视频信号。
常用的解码算法有MPEG解码、H.264解码等。
二、图像处理的原理与实现方法图像处理是对图像进行各种处理和算法操作，以获得增强图像质量或者提取出感兴趣的信息。
在单片机中实现图像处理需要以下几个步骤：1. 图像采集：利用图像传感器将外部图像转化为数字信号，并通过串口或者并口传输给单片机。
2. 图像预处理：对采集到的图像进行预处理，包括图像增强、滤波、边缘检测等操作。
这些操作可以通过在单片机中编写相应的图像处理算法实现。
3. 图像分析和特征提取：对预处理后的图像进行进一步分析，提取出感兴趣的信息和特征。
常用的图像分析算法有模板匹配、边缘检测、物体识别等。
4. 图像显示和输出：将处理后的图像通过液晶显示屏或者其他设备输出，以供用户查看和分析。
三、单片机与视频处理的应用领域1. 智能监控系统：利用单片机和视频处理技术实现智能监控摄像头，可以实现人脸识别、目标跟踪、移动侦测等功能，提高监控系统的智能化水平。
ffmpeg转码时对变帧率和固定帧率的处理
ffmpeg转码时对变帧率和固定帧率的处理⼀般fps在代码⾥这样表⽰Fps = den/num如果den = 15，num=1，则fps = 15。
如果帧率固定， pts*fps 就表⽰当前是第⼏帧。
当输⼊视频流的帧率不固定，如rmvb ,⽽输出视频流的帧率固定，ffmpeg作如下处理（参考ffmpeg代码版本0.6.1）：1、记录和输出视频流ost相对应的输⼊视频流ist,变量为ost->sync_ist。
这是在av_transcode函数进⾏输出流初始化时进⾏的。
代码分别为：1. if (ist->discard && ist->st->discard != AVDISCARD_ALL && !skip &&2. ist->st->codec->codec_type == ost->st->codec->codec_type) {3. if(best_nb_frames < ist->st->codec_info_nb_frames){4. best_nb_frames= ist->st->codec_info_nb_frames;5. ost->source_index = j;6. found = 1;7. }8. }9. if (!found) {10. if(! opt_programid) {11. /* try again and reuse existing stream */12. for(j=0;j<nb_istreams;j++) {13. ist = ist_table[j];14. if ( ist->st->codec->codec_type == ost->st->codec->codec_type15. && ist->st->discard != AVDISCARD_ALL) {16. ost->source_index = j;17. found = 1;18. }19. }20. }21. ist = ist_table[ost->source_index];22. ist->discard = 0;23. ost->sync_ist = (nb_stream_maps > 0) ?24. ist_table[file_table[stream_maps[n].sync_file_index].ist_index +25. stream_maps[n].sync_stream_index] : ist;2、记录输出视频流ost的时间戳。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
研究设计电 子 测 量 技 术ELECT RON IC M EASU REM ENT T ECH N OLOGY 第30卷第8期2007年8月视频格式转换芯片中帧频提升算法及硬件实现*王南飞 姚素英 陆 尧 史再峰(天津大学电信学院专用集成电路设计中心 天津 300072)摘 要:帧频提升算法因算法复杂、运算量大,一直是视频格式芯片硬件实现中的难点所在,针对国内同类型芯片因搜索方法的不足,造成的在某些特殊运动下图像效果差,提出了一种基于全搜索块匹配运动估计的帧频提升算法。
另外通过加权重相关系数,有效地消除了噪声,通过自适应滤波插值算法,使算法具有更广泛的适应性,并且提供一种基于流水线、串并结合和DD A (Dig ital Differ ential A na lyzer,数字微分分析)算法的硬件实现结构。
最后,整个设计通过了FP GA 验证,并且图像效果良好。
关键词:视频格式转换芯片;帧频提升;块匹配;硬件实现;DDA 中图分类号:T N941.3 文献标识码:AHardware implement and algorithm of frame rate up -conversionintegrated in a video format conversion chipWang Nanfei Y ao Suying Lu Y ao Shi Zaifeng(ASIC Des ign C enter,Sch ool of Electronic Information Engineering,T ianjin U nivers ity,Tianjin 300072)Abstract:F rame rate up -co nversio n is alw ays reg arded as the difficulty in the har dw are implement w hen designing the v ideo for mat conversio n chip for its heavy calculat ion and complex algo rithm.T o deal w ith t he sho rtag e of sear ch t echnique in the same ty pe chip,w hich causes unacceptable imag e quality at same special mo ve ty pes,a fr ame r ate up -co nv ersion algo rithm based on ful-l search blo ck matching inter po lation is pr oposed.In additio nal,combining ser ial and par allel and DDA algo rit hm,elim inate no ise is fulfilled by adding weighted co rr elation index ,self -adaptiv e interpolatio n is ado pted to enlar ge mor e use,and t he hardw are implement architecture is used based o n pipelining.F inally,the desig n is validated by F PGA ,and the image is g oo d.Keywords:video fo rmat conver sion chip;f rame rate up -co nv ersio n;blo ck -matching;har dw are implement;DDA*基金项目:天津市科委科技攻关项目(043184511)资助0 引 言随着科技的进步,各种各样的显示器在市场中出现,如PH P 、L CD 、DLP 、CRT 、RPTV 等。
对大多数显示器来讲,视频信号的输入格式与本身规格存在很大差异,为了解决上述格式间的不同,视频格式转换芯片[1]成为显示系统不可缺少的关键芯片。
在帧频提升算法中,传统的场复制,场平均在对运动图像处理时会产生明显的运动抖动和图像的模糊[2],早已不能满足人们对图像质量的要求。
在近些年中,人们不断提出各种基于块匹配运动估计和运动补偿帧插入的帧频提升方法。
国内在该方面目前尚处于起步阶段,普遍采用小匹配块和快速搜索方法,图像效果较差,本文针对这一不足,并综合考虑算法的复杂性、硬件实现难度给出一种基于小匹配块和全搜索块匹配帧频提升算法,有效地改善了图像质量。
另外,在硬件实现上,通过DDA 算法实现对任意比例的帧频变换的控制,采用串并结合的结构大大减小对硬源的利用,最后给出了FPGA 验证结果。
1 基于块匹配运动估计帧频提升算法1.1 块匹配运动估计及搜索方法的选取首先考虑的是匹配块的大小,较小的匹配块产生更多不正确的运动指针,但由于假定匹配块里运动指针一致,所以较大的匹配块不太精确。
设计中采用较小的匹配块,因为较大的匹配块即使采用快速搜索方法,搜索出一个匹配块的运算次数是较小匹配块的5倍以上(如表1,其中d 为搜索范围,N 为匹配块大小),硬件资源消耗太大,根本无法满足视频格式转换芯片芯片级设计要求。
另外,由于#14#王南飞等:视频格式转换芯片中帧频提升算法及硬件实现第8期采用较小匹配块而产生的更多不正确运动指针通过加权重相关系数的方法来减少。
表1 各算法性能比较搜索方法运算个数公式匹配块大小运算个数本设计全搜索(2d +1)2@N2@2100文献3空间递归搜索9@N 3@381大匹配块空间递归搜索9@N8@8576其次是搜索方法的问题,由于采用较小的匹配块,因此一些快速搜索方法[3]在某些特殊运动上很容易陷入局部最佳点,产生更多不正确的运动指针,使得图像效果差。
以空间递归搜索[4]为例,该方法是在假设图像的运动方向一致的情况下,用前一个匹配块的运动指针作参考,只搜索其相邻的9个匹配块,但事实上通常会出现图像中运动方向不同的情况,如背景和物体向相反方向运动,这样反而会产生更多不正确的运动矢量,并且恢复周期非常长。
针对这一问题,设计中采用全搜索的方法。
并且由于匹配块较小,增加的运算量并不多(如表1),但性能上有很大的改进,而且对于各种运动情况下均适用。
1.2 块匹配算法说明在块匹配算法中,每帧图像被分成M @N 匹配块,并假定在一个块中所用像素的运动相同,并将当前帧中的参考块与前一帧中的候选块比较,得到最佳的匹配块。
由于两帧相隔的时间间隔很短(以PAL 制式为例约20m s),也就说明两帧之间匹配块的运动矢量比较小。
没有必要搜索所有的像素,这样需要设定一个水平和垂直的最大搜索范围来减小运算,搜索范围限定在(M +2p )@(N +2q)个像素之中,算法描述如图1。
图1 算法描述定义最佳匹配的搜索判据有以下几种,包括相关函数(Cross -Correlat ion Funct ion,CCF ),均方误差(Mean -Square Error,MSE ),平均绝对差(M ean Absolute Difference,MA D )和绝对差之和(Sum of Absolute Difference,SAD)。
在实际应用中,由于SAD 函数简单,便于硬件实现[5],而且具有令人满意的性能,因此应用最为广泛,设计中也采用这种算法。
公式为:SA D (x,y)=E M-1i=0EN -1j =0|f (i,j ,n)-f (i +x ,j +y ,n -1)|式中:(x,y)为运动指针;-p [x [p ,-q [y [q;搜索窗范围为(M +2p )@(N +2q);f (i,j ,n)表示当前参考块的像素值;f (i +x ,j +y,n -1)表示前一帧搜索窗中候选块的像素值。
1.3 权重相关系数在大面积亮度变化缓慢的地方,本算法匹配块较小,各个匹配块之间亮度值差异可能较小,噪声对上述算法匹配的结果影响很大,可能会产生一些不正确的运动指针。
设计采用加权重相关系数(Weigh ted correlat ion index,WCI)的方法减小噪声的影响[6],降低了块匹配错误出现的概率。
在WCI 中,假定大部分的运动指针都靠近(0,0)点。
其公式如下:W CI (x,y)=SAD (x ,y)(1+K (x 2+y 2)),(vx ,vy )=argmin (WCI (x ,y))。
式中:K 为弹性系数,由实验结果得出,一般在0.01到0.2之间。
(v x ,v y)为运动指针坐标。
选择加权重相关系数后计算出的最小值的块为最佳匹配块。
1.4 自适应中值滤波帧插值非运动补偿的帧插入虽然简单,但没有考虑像素点的运动信息,图像质量不能满足要求。
运动补偿帧插入在运动区域分辨性很高,且能有效地消除闪烁,但仍会造成错误的运动指针和误差[7]。
设计中采用自适应中值滤波的方法,如图1,以插补帧中需要插补的块为中点,在当前帧和前一帧相应位置的周围搜索匹配块,进行插补,能够最大程度的减小错误的运动指针所带来的误差。
如图1所示,由上述算法得到的运动指针,在假设指针场是平滑的情况下,采用中值滤波得到其平均值。
公式如下:f p (x,y,n -12)=f (x +v x 2,y +v y 2,n -1)+f (x -v x 2,y -v y2,n)2另外,由于匹配块,搜索块等受大小限制,任何算法都会在某些特殊运动,和运动非常剧烈等极端情况下产生不匹配的情况,本算法虽然在绝大部分情况下均能适用,但仍不能排除某些极端情况的产生,因此本算法采用和场间均值加权的方法得到最终像素值,使得本算法具有广泛的适用性。
公式如下:#15#f (x,y,n-12)=(1-A )f av g(x,y,n-12)+A f p (x,y,n-12)式中:fav g(x,y,n-12)=f (x,y,n -1)+f (x ,y ,n)2A 是由在搜索范围里,匹配块的匹配程度所确定的。
2 帧频提升算法的硬件实现2.1 帧频提升模块的体系结构总体结构如图2,总体分为控制单元,RA M组模块和算法模块。
其中算法模块负责块匹配的运算。
RAM 组模块和片外SDRAM 共同组成存储子系统,缓存数据并提供算法模块所需的数据。
控制单元负责数据的组织,输出控制以及控制核心算法部分的运算,实现对任意比率帧频变换的控制。
图2 模块总体结构2.1.1 以改进的DDA 算法为基础的控制策略DDA 算法[8]是以输出频率为分母,输入频率为分子组成DDA 因子c ,如从50H z 到60H z 的帧频提升,c 为50/60,此系数由系统在进行对输入格式的判定之后给出。